Vilka vi är: Vi bygger infrastruktur som levererar enorma mängder webbdata till företagen som utbildar världens mest kraftfulla AI-modeller. Vi är det team som hjälper till att driva och stödja Grass, ett bandbreddsdelningsnätverk som låter oss driva en massiv distribuerad krypskytte, vilket ger oss unik tillgång till högkvalitativa offentliga webbdata på global skala. Dessutom har vi byggt pipelines för förtäring, segmentering och kommentera miljarder videor, utskrifter och ljudfiler, driva datauppsättning för gränslabb. Vi har byggt snabbt. Ingen byråkrati, ingen långsam beslutsfattande, bara ett team av byggare som driver för att expandera vad som är möjligt för öppna webbdata och AI. Översikt: Som forskningskraschande Ingenjör, kommer du att designa och driva storskaliga webbdatasystem för forskning och modellutveckling. Du kommer att arbeta med distribuerade system, skrapa infrastruktur och data pipelines. Uppgifter: • Bygga och underhålla storskaliga webb krypare över olika domäner. • Design höggenomströmning, fel-tryckning, städteknik och ledningssystem för att hantera datasystem för att hantera dataflöde.

• Stark programmeringserfarenhet i en eller flera av följande: Go, Rust, Python, Java eller C++ • Upplev att bygga webbklättrar eller storskaliga datapipelines • Solid förståelse av HTTP, nätverk och webbläsarbeteende • Förtrogenhet med distribuerade system och parallell bearbetning • Upplev arbetet med stora datauppsättningar (TB–PB-skalan föredras) • Förmåga att avlusa instabila eller kontraariska miljöer Föredragen / Bonus: • Erfarenhet med NLP-pipelines eller dataset kuration för ML • Förtrogenhet med LLM förutbildningsdata eller hämtningssystem • Erfarenhet med huvudlösa webbläsare (t.ex. Chrome DevTools Protocol, Playwright, Puppeter) • Kunskap om proxysystem, IP-rotation och storskalig begäran om orkestrering • Bakgrund i utvärdering av datakvalitet eller benchmarking • Erfarenhetskörning av arbetsbelastning på moln eller barmetal infrastruktur Vad denna roll involverar: • Operativ vid gränsen för skal- och tillförlitlighet • Anpassning genomströmning, täckning och datakvalitet • Ägaren i hög grad av hög kvalitets-inhämtningspipetspipetering av data

• Extrahera strukturerade data från dynamiska, JS-tunga webbplatser i skala • Förbättra deduplikation och kvalitet poäng mellan multimodala dataset Varför arbeta med oss: • Möjlighet. Vi är i framkant av att utveckla en webb-skala krypare och kunskapsgraf som förbättrar tillgången till offentliga webbdata och utökar värdet av AI till folket. • Kultur. Vi är ett magert team med en hög bar. Vi kommer att arbeta inte för att vara bekväm, men för att ta reda på vad vi är kapabla till och att göra arbete som spelar roll. Vi kräver inte människor som håller saker i rörelse. Vi kräver människor som gör alla runt omkring dem bättre. • Vi prioriterar lågt ego och hög produktion. Detta är ett helt avlägset team. • Ersättning. Du kommer att få en konkurrenskraftig lön, fördelar och kapital paket. Sök jobb i Storbritannien på Arbeitnow