Sedež: Kanada URL: https://mindrift.ai / Prosimo, predložite svoj življenjepis v angleščini in navedite svojo raven angleške usposobljenosti. Mindrift povezuje strokovnjake z projektno usmerjenimi možnostmi AI za vodilna podjetja, ki so osredotočena na testiranje, ocenjevanje in izboljšanje sistemov AI. Sodelovanje je projektno, ne trajno zaposlovanje. Kaj vključuje gradnjo podatkovnega niza za ocenjevanje AI kodiranja sredstev - kako dobro model ureja naloge realnega sveta razvijalca. Ustvarite izzive in merila za ocenjevanje v realnih simuliranih okoljih: • Gradnja realističnih razvojnih okolij - virtualno podjetje z bazo, infrastrukturo in kontekst (kletketi, dok., pogovori), ki oblikujejo verjetno razvojno zgodovino • Projektne naloge iz vmesnih držav teh okoljskih okolij - izdelati takojšnje, opredeliti, kaj je "solven" sredstvo in zagotoviti, da je naloga rešljiva z AI agentom AI

• Napišite teste, ki preverijo različice agentov - sprejmejo vse veljavne pristope in zavrnejo napačne, niti prestrog niti preveč popustljiv • Iterirajte na naloge in teste na podlagi QA povratne informacije - pregled rešitev agentov, analizirajo napake, in rafine, dokler ocena ni poštena in robusta Kaj je to • Neoznačevanje podatkov • Neoznačevanje • Neoznačevanje kode iz praska - agent piše večino kode; vi vodite in ocenite Kaj iščemo • 5+ let v razvoju programske opreme • Jedro slog: Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis • Izkušeni testi pisanja (funkcionalno, integracija) • Angleško znanje - B2+

Zakaj je to težko Kronirni modeli so že dobri pri kodiranju. Ustvarjanje naloge, ki resnično izziva najboljše modele ni trivialno. Treba je globoko razumeti, kje modeli ne uspejo in kakšne scenarije odkrivajo razliko med dobro in slabo rešitev. Naloge imajo številne veljavne rešitve - pisati teste, ki sprejemajo vse pravilne rešitve in zavračajo napačne zvoke je težje kot je zvok. Kako deluje Uporabi → Prehodne kvalifikacije → Pridruži se projektu → Zaključek nalog → Zagotovo → Zagotovo plačano oceno napora Naloge za ta projekt se ocenjuje, da traja 20 ur, odvisno od zapletenosti. To je ocena, ne pa zahteva urnika; izberete kdaj in kako delati. Naloge je treba predložiti v roku in izpolniti našteta merila sprejemanja, ki jih je treba sprejeti. Odškodnina do 50 $/h, odvisno od stopnje in hitrosti. Naloge se ocenjujejo na ~20 ur vsak.

Uporabiti: https://weworkremotely.com/remote-jobs/mindrift-senior-software-inženjeringer-ai-agent-evaluacija