Wie we zijn: We bouwen infrastructuur die enorme hoeveelheden web data levert aan de bedrijven die de meest krachtige AI-modellen trainen. We zijn het team dat helpt om Grass aan te drijven en te ondersteunen, een bandbreedte-sharing netwerk waarmee we een massaal gedistribueerde rups kunnen bedienen, waardoor we unieke toegang hebben tot hoogwaardige openbare webdata op wereldwijde schaal. Daarnaast hebben we pijpleidingen gebouwd voor het opnemen, segmenteren en annoteren van miljarden video's, transcripten en audiobestanden, het aandrijven van uitklapbare gegevens voor grenslabs. We zijn lean, technisch en snel. Geen rode tape, geen trage besluitvorming; alleen een team van bouwers die proberen uit te breiden wat mogelijk is voor open webdata en AI. Overzicht: Als Research Crawling Engineer ontwerp en gebruik je grootschalige web data-aanwinstsystemen voor onderzoek en modelontwikkeling. Je zal werken aan gedistribueerde systemen, afslanking van infrastructuur en data-pijpleidingen. Verantwoordelijkheden: • Build and onderhoud grote webscrawlers over diverse domeinen • hoge kosten voor design-bounds, miljoenen aan des (ingen

• Sterke programmeerervaring in één of meer van: Go, Rust, Python, Java, of C++ • Ervaringen met het bouwen van webruppers of grootschalige datapijpleidingen • Solid understanding of HTTP, netwerking, en browsergedrag • Geheimhouding met gedistribueerde systemen en parallelle verwerking • Ervaring met grote datasets (TB

• Uitpakken gestructureerde gegevens uit dynamische, JS-zware sites op schaal • Verbeteren deduplicatie en kwaliteit scoren over multimodale datasets Waarom Werk met ons: • Mogelijkheid. We zijn in de voorhoede van het ontwikkelen van een web-schaal crawler en kennis grafiek die de toegang tot openbare webdata verbetert en de waarde van AI uitbreidt tot de mensen. • Cultuur. We zijn een mager team met een hoge bar. We komen om te werken niet om comfortabel te zijn, maar om uit te vinden wat we in staat zijn en om werk te doen dat van belang is. We roepen niet op voor mensen die dingen in beweging te houden. We roepen voor mensen die iedereen om hen heen beter. • We prioriteren lage ego en hoge output. Dit is een volledig afgelegen team. • Compensatie. Je ontvangt een concurrerend salaris, voordelen en aandelenpakket.