Hoofdkwartier:

Samenvatting We zoeken een Data Engineer om de ontwikkeling van een Data Intelligence Platform te ondersteunen. Deze rol richt zich op datamodellering, dataservices, datapipelines en cloud-gebaseerde data-infrastructuur voor rapportage, analyse en data science. Algemene informatie Deze Data Engineer zal data-gerelateerde operaties ondersteunen in een breder Data Intelligence Platform team. Het werk omvat het bouwen en consumeren van webservices, het integreren van zoektechnologieën, het ondersteunen van personalisatie- en aanbevelingsmotoren, en het toepassen van data engineering beste praktijken over het platform. De rol omvat cloud-based data architectuur, database prestaties, pijplijn automatisering, en ondersteuning voor data wetenschappers, onderzoekers en interne business units. De omgeving omvat AWS-gebaseerde infrastructuur en een mix van gestructureerde en ongestructureerde gegevensbronnen. Taken en leverbare - Deelnemen aan het ontwerp en implementeren van hoge prestaties, schaalbare en geoptimaliseerde dataoplossingen. - Schrijf en optimaliseer SQL-verklaringen in toepassingen. - Zorg voor de prestaties, beveiliging en beschikbaarheid van databases. - Bereid documentatie en technische specificaties voor. - Gebruik databaseprocedures zoals upgrades, back-ups, herstel en migratie. - Profiel server resource use and optimalize configurations as needs. - Ontwerp, bouw en automatiseer de implementatie van datapipelines en toepassingen. - Integreer gegevens uit on-premise databases en externe gegevensbronnen met behulp van REST API's en oogsttools.

- Samenwerken met business units en data science teams over data toegang, transformatie, verwerking en rapportage behoeften. - Ondersteuning implementatie, technische problemen en training met betrekking tot het data lake ecosysteem. - Werk met het team om AWS bronnen te beheren, waaronder EMR en ECS clusters. - Ondersteuning van het verstrekken, monitoren, configuratie en onderhoud van AWS-tools. - Evalueren en bevorderen van nieuwe cloud technologieën die de mogelijkheden en lagere operationele kosten te verbeteren. - Ondersteuning automatisering inspanningen met behulp van de infrastructuur als code met Terraform en CI/CD-tools zoals Jenkins. - Werk met het team om gegevens governance, toegangscontrole en beveiligingsrisicoreductie te implementeren. - Vereiste ervaring - 7-9 jaar ervaring ontwerpen en ontwikkelen van cloud-gebaseerde datamodellen, ETL-pijpleidingen en infrastructuur. - Ervaring werken met zowel gestructureerde als niet-gestructureerde gegevens. - Sterk met SQL over populaire databases. - Ervaring met het optimaliseren van grote, complexe SQL-verklaringen. - Kennis van beste praktijken voor relationele databases. - Ervaring met het configureren van database-engines en orkestrerende clusters. - Mogelijkheid om resource eisen te plannen vanuit high-level specificaties. - Mogelijkheid om gemeenschappelijke database problemen op te lossen. - Ervaring met Spark, lijm, EMR, en Apache Kafka of AWS Kinesis. - Ervaring met versie controle tools zoals Git of Subversion. - Ervaring met behulp van geautomatiseerde bouwsystemen en CI/CD workflows. - Ervaring met programmeren in Java, Python en Scala. - Kennis van datastructuren en algoritmen.

- Kennis van relationele, NoSQL, grafiek, document, sleutelwaarde en tijdreeks databases. - Kennis van schaalbaar datamodelontwerp en -beheer. - Kennis van ML model implementatie. - Kennis van AWS cloud platforms. - Kennis van TDD en BDD. - Sterke interesse in het verbeteren van softwareontwikkeling vaardigheden, kaders en technologieën. Engagement highlights - Mogelijkheid om te werken tussen data modellering, data services en data science binnen een breder Data Intelligence Platform. - Blootstelling aan een gevarieerde technische omgeving over AWS, ETL pijpleidingen, databases, zoektechnologieën en aanbevelingssystemen. - Directe samenwerking met data science teams en interne stakeholders over rapportage, transformatie, en platform mogelijkheden..

Voor de toepassing: https://weworkremotely.com/remote-jobs/toptal-senior-data-engineer-aws-data-lake-pipeline-architecture