Zentrale: Canada URL: https://mindrift.ai/ Bitte geben Sie Ihren Lebenslauf in Englisch an und geben Sie Ihre Englischkenntnisse an. Mindrift verbindet Spezialisten mit projektbasierten KI-Möglichkeiten für führende Tech-Unternehmen, die sich auf die Prüfung, Bewertung und Verbesserung von KI-Systemen konzentrieren. Die Teilnahme erfolgt projektbasiert, nicht dauerhaft. Was diese Möglichkeit beinhaltet, ist der Aufbau eines Datensatzes zur Bewertung von KI-Coding Agents - wie gut ein Modell die Aufgaben von Entwicklern in der realen Welt abwickelt. Sie schaffen anspruchsvolle Aufgaben und Bewertungskriterien in realistisch simulierten Umgebungen: • Bauen Sie realistische Entwicklerumgebungen - ein virtuelles Unternehmen mit Codebase, Infrastruktur und Kontext (Tickets, Docs, Gespräche), die eine glaubwürdige Entwicklungsgeschichte bilden • Designaufgaben aus Zwischenzuständen dieser Umgebungen - erstellen Sie den Termin, definieren Sie, was "gelöst" bedeutet, und stellen Sie sicher, dass die Aufgabe durch einen KI-Agenten gelöst werden kann.

• Schreiben Sie Tests, die Agent-Lösungen überprüfen - akzeptieren Sie alle gültigen Ansätze und ablehnen Sie falsche, weder zu streng noch zu nachsichtig • Iterieren Sie auf Aufgaben und Tests basierend auf QA-Feedback - überprüfen Sie Agenten-Lösungen, analysieren Sie Fehler und verfeinern Sie, bis die Auswertung fair und robust ist Was dies NICHT ist • Nicht Datenetikettierung • Nicht schnelles Engineering • Nicht schreiben Code von Grund auf - der Agent schreibt die meisten des Codes; Sie führen und bewerten Was wir suchen • 5+ Jahre in der Softwareentwicklung • Kernstapel: Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis • Erfahrung Schreibtests (Funktionalität, Integration) • Englisch Kompetenz - B2+

Warum dies hart Frontier-Modelle sind bereits gut in der Kodierung. Erstellen einer Aufgabe, die wirklich Herausforderungen die besten Modelle ist nicht trivial. Sie müssen tief verstehen, wo Modelle scheitern und welche Szenarien zeigen den Unterschied zwischen einer guten und einer schlechten Lösung. Aufgaben haben viele gültige Lösungen - Schreiben Tests, die alle richtigen Lösungen akzeptieren und ablehnen falsche ist schwieriger, als es klingt. Wie es funktioniert Bewerben → Pass Qualifikation(en) → Schließen Sie sich einem Projekt → Vollständige Aufgaben → Belohnte Aufwand Schätzung Aufgaben für dieses Projekt werden geschätzt, um 20 Stunden dauern, um, je nach Komplexität. Dies ist eine Schätzung und keine Zeitplan Anforderung; Sie wählen, wann und wie zu arbeiten. Aufgaben müssen bis zum Stichtag eingereicht werden und erfüllen die aufgeführten Annahmekriterien akzeptiert werden. Entschädigung Bis zu $ 50/h Äquivalent, je nach Niveau und Tempo. Aufgaben werden auf ~20 Stunden geschätzt; Sie Ihren eigenen Zeitplan.

Anwendung: https://weworkremotely.com/remote-jobs/mindrift-senior-software-engineer-ai-agent-evaluation