Wir sind das Team, das hilft, Grass zu versorgen und zu unterstützen, ein Bandbreiten-Sharing-Netzwerk, das uns einen massiven verteilten Suchmaschinen-Betrieb ermöglicht, und uns einzigartigen Zugang zu hochwertigen öffentlichen Web-Daten auf globaler Ebene gibt. Darüber hinaus haben wir Pipelines für das Ein- und Aus- und Aus- und Aus- schreibung von Milliarden von Videos, Transkripten und Audiodateien gebaut, die die Erstellung von Datensätzen für Grenzlabore ermöglichen. Wir sind schlank, technisch und schnell. Kein bürokratisches Band, keine langsame Entscheidungsfindung; nur ein Team von Bauarbeitern, die das Erweitern von Möglichkeiten für offene Web-Daten und KI vorantreiben. Überblick: Als Research Crawling Engineer entwerfen und betreiben Sie groß angelegte Web-Datenerfassungssysteme für Forschung und Modellentwicklung. Sie werden verteilte Systeme, Schaber-Infrastrukturen und Datenpipelines umfassen. Aufgaben Responsabilities: • Prüfen und pflegen Sie groß angelegte Web-Crawling-Systeme für die Erstellung von Mess- und Messverfahren • Konvert- und Messverfahren für die Erfassung von Daten und die Erstellung von Mess- und Prüf- und Prüf- und Prüfsystemen • Prüf- und Prüfverfahren •

• Starke Programmiererfahrung in einer oder mehreren von: Go, Rust, Python, Java oder C++ • Erfahrung beim Aufbau von Web-Crawler oder großflächigen Datenpipelines • Solides Verständnis von HTTP, Netzwerk und Browserverhalten • Vertrautheit mit verteilten Systemen und paralleler Verarbeitung • Erfahrung bei der Arbeit mit großen Datensätzen (vorzugsweise TB–PB-Skala) • Fähigkeit, instabile oder feindliche Umgebungen zu debuggen Bevorzugte / Bonus: • Erfahrung mit NLP-Pipelines oder Datensatz-Kuratation für ML • Vertrautheit mit LLM-Vortrainingsdaten oder Retrieval-Systemen • Erfahrung mit kopflosen Browsern (z.B. Chrome DevTools Protocol, Playwright, Puppeteer) • Wissen über Proxy-Systeme, IP-Rotation und großflächige Anfrage-Orchestrierung • Hintergrund in Datenqualitätsbewertung oder Benchmarking • Erfahrung bei der Erstellung von Daten auf Cloud- oder blanke-Metall-Infrastruktur Welche Rolle spielt diese Rolle bei: • Betrieb an der Grenze von Maßstab und Zuverlässigkeit • Anpassung an ständig wechselnde Webumgebungen • Hintergrund, Abdeckung und Daten- und

• Extrahieren Sie strukturierte Daten von dynamischen, JS-schweren Standorten im Maßstab • Verbessern Sie Deduplikation und Qualität Scoring über multimodale Datensätze Warum mit uns arbeiten: • Gelegenheit. Wir sind an der Spitze der Entwicklung eines Web-Skala-Crawler und Wissensdiagramm, das den Zugang zu öffentlichen Web-Daten verbessert und den Wert von KI auf die Menschen erweitert. • Kultur. Wir sind ein schlankes Team mit einer hohen Bar. Wir kommen, um nicht zu arbeiten, um bequem zu sein, aber herauszufinden, was wir in der Lage sind und zu tun, dass die Dinge wichtig sind. Wir rufen nicht nach Menschen, die die Dinge in Bewegung halten. Wir rufen nach Menschen, die alle um sie herum besser machen. • Wir priorisieren niedriges Ego und hohe Leistung. Dies ist ein komplett entferntes Team. • Entschädigung. Sie erhalten ein wettbewerbsfähiges Gehalt, Vorteile und Eigenkapital-Paket. Finden Sie Jobs in Großbritannien auf Arbeitnow