Nous sommes l'équipe qui aide à alimenter et à soutenir Grass, un réseau de partage de bande passante qui nous permet d'exploiter un rampeur distribué massif, nous donnant un accès unique à des données web publiques de haute qualité à l'échelle mondiale. En outre, nous avons construit des pipelines pour l'ingestion, le segmentage et l'annotation de milliards de vidéos, de transcriptions et de fichiers audio, pour la création de séries de données pour les laboratoires frontaliers. Were maigre, technique et rapide. Pas de paperasserie, pas de prise de décision lente; juste une équipe de constructeurs poussant à élargir ce qui est possible pour les données web ouvertes et l'IA. Aperçu: En tant qu'ingénieur de recherche, vous concevrez et exploiterez des systèmes d'acquisition de données web à grande échelle pour la recherche et le développement de modèles.

• Expérience de la construction de réseaux de données ou de pipelines de données à grande échelle • Connaissance solide du comportement HTTP, du réseau et du navigateur • Connaissance des systèmes distribués et du traitement parallèle • Expérience du travail avec de grands ensembles de données (échelle TB-PB préférée) • Capacité de déboguer des environnements instables ou contradictoires Préféré / Bonus: • Expérience des pipelines NLP ou de la mise en oeuvre de systèmes de collecte de données ou de données pour ML • Connaissance des systèmes de préformation ou de récupération de données LLM • Expérience des navigateurs sans tête (par exemple, Chrome DevTools Protocol, Playwright, Puppeteer) • Connaissance des systèmes de remplacement, rotation IP et orchestration de demandes à grande échelle • Contexte de l'évaluation ou de l'analyse comparative de la qualité des données • Expérience de la gestion de la charge de travail sur l'infrastructure cloud ou nu-métalique Ce rôle implique: • Fonctionnement à la limite de l'échelle et de la fiabilité • Adaptation à des environnements web en constante évolution • Équilibration du débit, de la couverture et de la qualité des données • Expérience de gestion de l'acquisition de données en bout en

• Extraire des données structurées à partir de sites dynamiques et lourds de JS • Améliorer la déduplication et le score de qualité à travers les ensembles de données multimodales Pourquoi travailler avec nous: • Opportunité. Nous sommes à l'avant-garde du développement d'un graphique de rampeur et de connaissance à l'échelle du web qui améliore l'accès aux données web publiques et étend la valeur de l'IA aux gens. • Culture. Nous sommes une équipe maigre avec une barre haute. Nous venons travailler non pour être à l'aise, mais pour découvrir ce que nous sommes capables et pour faire du travail qui compte. Nous n'appelons pas pour les gens qui font bouger les choses. Nous appelons pour les gens qui font que tout le monde est meilleur autour d'eux. • Nous privilégions l'ego faible et le rendement élevé.