Päätoimipaikka: Canada URL: https://mindrift.ai/ Ole hyvä ja lähetä ansioluettelosi englanniksi ja kerro englannin taitotasosi. Mindrift yhdistää asiantuntijat projektipohjaisiin tekoälyihin, jotka keskittyvät tekoälyjärjestelmien testaamiseen, arviointiin ja parantamiseen. Osallistuminen on projektipohjainen, ei pysyvä työpaikka. Tähän tilaisuuteen kuuluu tietokannan laatiminen tekoälykoodaajien arvioimiseksi - kuinka hyvin malli hoitaa tosimaailman kehittäjän tehtävät. Luot haastavia tehtäviä ja arviointiperusteita realistisissa simuloiduissa ympäristöissä: • Rakenna realistisia kehittäjäympäristöjä - virtuaaliyritys, jolla on koodipohja, infrastruktuuri ja tausta (koodaukset, dokumentit, keskustelut) ja joka muodostaa uskottavan kehityshistorian • Suunnittelemme tehtäviä näiden ympäristöjen välitilasta - selvitämme nopeasti, mitä "ratkaisemme" tarkoittaa ja varmistamme, että tehtävä on selvennettävä tekoälyagenttien avulla.

• Kirjoita testejä, jotka vahvistavat agentit, ratkaisut – hyväksy kaikki pätevät lähestymistavat ja hylkää väärät, eivät liian tiukkoja eikä liian lieviä • Kirjoita QA-palauteeseen perustuviin tehtäviin ja testeihin – arvioi agentit, analysoi epäonnistumiset ja hio, kunnes arviointi on oikeudenmukainen ja kestävä. • Ei datatarroja • Ei nopeaa suunnittelua • Ei tyhjästä kirjoittamista - agentti kirjoittaa suurimman osan koodista; ohjaat ja arvioit, mitä etsimme • 5+ vuotta ohjelmistojen kehittämisessä • Core pino: Python (Fastiapi), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis • Koekirjoitustestit (toiminnallinen, integroituminen) • Englantilainen taito - B2+

Se, miksi tämä on kova Frontier-malli, on jo hyvä koodaus. Luominen tehtävä, joka aidosti haastaa parhaat mallit, ei ole kolminaista. Sinun on ymmärrettävä hyvin, missä mallit epäonnistuvat ja mitä skenaarioita paljastaa hyvän ja huonon ratkaisun eron. Tehtävät ovat monta pätevää ratkaisua - kirjalliset testit, joissa hyväksytään kaikki oikeat ratkaisut ja hylätään väärät, ovat vaikeampia kuin miltä se kuulostaa. Miten se todella haastaa parhaat mallit. Käytä → Läpäistävä pätevyys (t) → Liity projektiin → Suorita tehtäväarvio Projektin tehtävän suorittamisen arvioidaan kestävän 20 tuntia, riippuen monimutkaisuudesta. Tämä on arvio eikä aikatauluvaatimus. Sinä päätät, milloin ja miten toimia. Tehtävät on jätettävä määräaikaan mennessä ja täytettävä hyväksytyt hyväksymiskriteerit. Korvaus on 50 dollaria/h, tasosta ja tahdista riippuen. Tehtävät arvioidaan 20 tunniksi.

Sovellettavana: https://weworkremotely.com/remote-jobs/mindrift-senior-software-enginer-ai-agent-evaluation