Hovedkvarter: Canada URL: https://mindrift.ai/ Send inn CVen din på engelsk og oppgi nivået på engelsk. Mindrift kobler spesialister med prosjektbaserte AI- muligheter for ledende tech- selskaper, med fokus på testing, evaluering og forbedring av AI- systemer. Deltaking er prosjektbasert, ikke permanent sysselsetting. Hva dette innebærer Vi bygger et datasett for evaluering av AI- kodeagenter – hvor godt en modell håndterer virkelige utvikleroppgaver. Du vil lage utfordrende oppgaver og evalueringskriterier i realistiske simulerte miljøer: • Bygg realistiske utbyggermiljøer – et virtuelt selskap med kodebase, infrastruktur og kontekst (sjekker, dokumenter, samtaler) som danner en troverdig utvikling historie • Designoppgaver fra mellomtilstander i disse miljøene – håndverk hurtigheten, definere hva « løst » betyr, og sikre at oppgaven kan løses av en AI- agent.

• Skriv tester som verifiserer agentløsninger - godta alle gyldige tilnærminger og avvise feilaktige, verken for strenge eller for milde • Iter på oppgaver og tester basert på QA tilbakemelding -gjennomgå agentløsninger, analysere feil og forbedre til evalueringen er rettferdig og robust Hva dette er IKKE • Ikke datamerking • Ikke rask ingeniør • Ikke skrive kode fra ripet – agenten skriver det meste av koden, du veileder og evaluerer Hva vi ser etter • 5+ år i programvareutvikling • Kjernestabel: Python (QUAAPI), JavaScript/TypeScript (react), Docker, Postgres, Kafka, Redis • Erfaringstest (funksjonell, integrering) • Engelske ferdigheter - B2+

Hvorfor dette er hard Frontier- modeller allerede er gode til koding. Å lage en oppgave som virkelig utfordrer de beste modellene er ikke- tradisjonell. Du må forstå grundig hvor modeller mislykkes og hvilke scenarier som viser forskjellen mellom en god og en dårlig løsning. Oppgaver har mange gyldige løsninger – å skrive tester som aksepterer alle riktige løsninger og avvise feil er vanskeligere enn det lyder. Hvordan det virker Bruk → Godkjenn kvalifisering( er) → Bli med i et prosjekt → Bli betalt Innsatsestimatoppgaver for dette prosjektet anslås å ta 20 timer å fullføre, avhengig av kompleksitet. Dette er et estimat og ikke et krav til tidsplan. Du velger når og hvordan du skal jobbe. Oppgaver må sendes inn innen fristen og oppfyller de angitte akseptkriteriene for å bli godtatt. Kompensasjon opp til $50/ timer, avhengig av nivå og tempo. Oppgaver beregnes til ~ 20 timer hver, du setter opp din egen tidsplan.

Skal gjelde: https://weworkremotely.com/remote-jobs/minirift-senior-software-ingeniører-ai-agent-evaluation