Hovedkvarter:

Sammendrag Vi søker en dataingeniør for å støtte utviklingen av en dataintelligentplattform. Denne rollen fokuserer på datamodellering, datatjenester, datarørledninger og skybasert datainfrastruktur for rapportering, analyse og datavitenskap. Generell informasjon Denne dataingeniøren vil støtte datarelatert virksomhet på tvers av et bredere team for dataintelligentplattform. Arbeidet omfatter bygging og forbruk av netttjenester, integrering av søketeknologi, støtte til personaliserings- og anbefalingsmotorer og anvendelse av beste praksis for datateknikk på tvers av plattformen. Rollen spænder over skybasert dataarkitektur, databaseytelse, gassrørledningsautomatisering og støtte til dataforskere, forskere og interne forretningsenheter. Miljøet inneholder AWS-basert infrastruktur og en blanding av strukturerte og ustrukturerte datakilder. Oppgaver og leveringsmuligheter – Deltaking i arkitekturutformingen og gjennomføring av høyytelses-, skalerbare og optimaliserte dataløsninger. – Lag datamodeller fra skrape bruk av solide SQL- grunnleggende enheter. – Skriv og optimaliser SQL-erklæringer i bruk. – Sikre ytelse, sikkerhet og tilgjengelighet for databaser. – Forbered dokumentasjon og tekniske spesifikasjoner. – Håndter databaseprosedyrer som oppgraderinger, sikkerhetskopier, gjenoppretting og migrasjon. – Profiltjenerens ressursbruk og optimaliserte konfigurasjoner etter behov. – Design, bygg og automatiser innføringen av datarørledninger og programmer. – Integrer data fra databaser og eksterne datakilder på forhånd ved hjelp av REST API og innhøstingsverktøy.

– Samarbeid med forretningsenheter og datavitenskapsgrupper om datatilgang, omforming, behandling og rapporteringsbehov. – Støtte gjennomføring, tekniske spørsmål og opplæring knyttet til økosystemet i innsjøen. – Arbeid med teamet for å styre AWS-ressurser, inkludert EMR- og ECS-klynger. – Støtte til levering, overvåking, konfigurasjon og vedlikehold av AWS-verktøy. – Vurdering og fremming av nye skyteknologier som forbedrer kapasiteten og lavere driftskostnader. – Støtte automatiseringsinnsats ved bruk av Infrastruktur som Kode med Terraform og CI/CD-verktøy som Jenkins. – Arbeid med teamet for å gjennomføre datastyring, tilgangskontroll og reduksjon av sikkerhetsrisiko. Nødvendig erfaring – 7-9 års erfaring med design og utvikling av skybaserte datamodeller, ETL-rørledninger og infrastruktur. – Erfaring med både strukturerte og ustrukturerte data. – Styrke ferdigheter med SQL på tvers av populære databaser. – Erfaring med å velge store, komplekse SQL-erklæringer. – Kunnskap om beste praksis for relasjonsdatabaser. – Opplev databasemotorer og orkestrerende klynger. – Mulighet til å planlegge ressursbehov fra høynivåspesifikasjoner. – Mulighet til å feilsøke felles databasespørsmål. – Erfaring med Spark, Glue, EMR og Apache Kafka eller AWS Kinesis. – Erfaring med versjonskontrollverktøy som Git eller Subversion. – Erfaring med automatiserte byggesystemer og CI/CD- arbeidsstrømmer. – Opplev programmering i Java, Python og Scala. – Kunnskap om datastrukturer og algoritmer.

– Kunnskap om relasjonell, NoSQL, graf, dokument, nøkkelverdi og tidsseriedatabaser. – Kunnskap om skalerbar utforming og styring av datamodell. – Kunnskap om ML modellutbygging. – Kunnskap om AWS skyplattformer. – Kunnskap om TDD og BDD. – sterk interesse for å forbedre programvareutviklingsferdigheter, rammer og teknologier. Engagement heights – Mulighet til å arbeide på tvers av datamodellering, datatjenester og datavitenskap innenfor en bredere dataintelligentplattform. – Eksponering for et variert teknisk miljø som strekker seg over AWS, ETL-rørledninger, databaser, søketeknologier og anbefalingssystemer. – Direkte samarbeid med datavitenskapsgrupper og interne interessenter om rapportering, omforming og plattformkapasitet.

Skal anvendes: https://weworkremotely.com/remote-jobs/toptal-senior-data-ingeniør-aws-data-lake-pipeline-architecture