Hauptverwaltung:

Zusammenfassung Wir suchen einen Data Engineer, um die Entwicklung einer Data Intelligence Plattform zu unterstützen. Diese Aufgabe konzentriert sich auf Datenmodellierung, Datendienste, Datenpipelines und Cloud-basierte Dateninfrastruktur für Reporting, Analytik und Datenwissenschaft. Allgemeine Informationen Dieser Data Engineer unterstützt datenbezogene Operationen in einem breiteren Data Intelligence Platform Team. Die Arbeit umfasst den Aufbau und den Verbrauch von Webservices, die Integration von Suchtechnologien, die Unterstützung von Personalisierungs- und Empfehlungsmaschinen und die Anwendung von Best Practices im Bereich Data Engineering auf der gesamten Plattform. Die Rolle umfasst cloudbasierte Datenarchitektur, Datenbankleistung, Pipeline-Automatisierung und Unterstützung für Datenwissenschaftler, Forscher und interne Unternehmenseinheiten. Die Umgebung umfasst AWS-basierte Infrastruktur und eine Mischung aus strukturierten und unstrukturierten Datenquellen. Aufgaben und Deliverables - Teilnahme am Architekturdesign und der Implementierung von leistungsstarken, skalierbaren und optimierten Datenlösungen. - Erstellen Sie Datenmodelle von Grund auf neu mit starken SQL-Grundlagen. - Schreiben und optimieren Sie in Anwendung SQL-Anweisungen. - Sicherstellen der Leistung, Sicherheit und Verfügbarkeit von Datenbanken. - Vorbereitung der Dokumentation und technischen Spezifikationen. - Handhabung von Datenbankverfahren wie Upgrades, Backups, Recovery und Migration. - Nutzung der Ressourcen des Profilservers und Optimierung der Konfigurationen, wenn nötig. - Design, Bau und Automatisierung der Bereitstellung von Datenpipelines und Anwendungen. - Integrieren von Daten aus On-Premise-Datenbanken und externen Datenquellen mit REST-APIs und Ernte-Tools.

- Zusammenarbeit mit Geschäftseinheiten und Data Science Teams über den Datenzugriff, Transformation, Verarbeitung und Berichtsanforderungen. - Unterstützung der Implementierung, technische Probleme und Schulungen im Zusammenhang mit dem Data Lake Ökosystem. - Zusammenarbeit mit dem Team, um AWS Ressourcen zu verwalten, einschließlich EMR und ECS Cluster. - Unterstützung Bereitstellung, Überwachung, Konfiguration und Wartung von AWS-Tools. - Evaluierung und Förderung neuer Cloud-Technologien, die Fähigkeiten verbessern und Betriebskosten senken. - Unterstützung von Automatisierungsbemühungen mit Infrastruktur als Code mit Terraform und CI/CD-Tools wie Jenkins. - Zusammenarbeit mit dem Team, um Data Governance, Zugangskontrolle und Sicherheitsrisikoreduktion zu implementieren. Erforderliche Erfahrung - 7-9 Jahre Erfahrung bei der Entwicklung und Entwicklung von Cloud-basierten Datenmodellen, ETL-Pipelines und Infrastruktur. - Erfahrung bei der Arbeit mit strukturierten und unstrukturierten Daten. - Starke Kompetenz mit SQL über beliebte Datenbanken hinweg. - Erfahrung bei der Optimierung großer, komplexer SQL-Anweisungen. - Wissen über beste Praktiken für relationale Datenbanken. - Erfahrung mit der Konfiguration von Datenbankengines und der Orchestrierung von Clustern. - Fähigkeit, Ressourcenanforderungen aus hohen Spezifikationen zu planen. - Fähigkeit, häufige Datenbankprobleme zu beheben. - Erfahrung mit Spark, Glue, EMR und Apache Kafka oder AWS Kinesis. - Erfahrung mit Versionskontrolltools wie Git oder Subversion. - Erfahrung mit automatisierten Build-Systemen und CI/CD-Workflows. - Erfahrung mit Programmieren in Java, Python und Scala. - Kenntnisse von Datenstrukturen und Algorithmen.

- Kenntnisse der relationalen, NoSQL, Graphen, Dokument-, Key-Value- und Time-Serien-Datenbanken. - Kenntnisse des skalierbaren Datenmodelldesigns und -managements. - Kenntnisse der ML-Modellbereitstellung. - Kenntnisse der AWS-Cloud-Plattformen. - Kenntnisse der TDD und BDD. - starkes Interesse an der Verbesserung von Softwareentwicklungskompetenzen, -rahmen und -technologien. Engagement-Highlights - Möglichkeit, über Datenmodellierung, Datendienste und Datenwissenschaft innerhalb einer breiteren Data Intelligence-Plattform zu arbeiten. - Exposition gegenüber einem vielfältigen technischen Umfeld, das AWS-, ETL-Pipelines, Datenbanken, Suchtechnologien und Empfehlungssysteme umfasst. - Direkte Zusammenarbeit mit Data Science Teams und internen Stakeholdern in den Bereichen Reporting, Transformation und Plattformfunktionen.

Anwendung: https://weworkremotely.com/remote-jobs/toptal-senior-data-engineer-aws-data-lake-pipeline-architecture