Data Engineer. AWS Data Lake & Pipeline Architecture

Toptal | Anywhere in the World

Completamente remoto Tempo pieno Sviluppo software
Tradotto in macchina per te (English → Italian) Visualizza originale
Designazione delle merci

Sede:

Sommario Stiamo cercando un Data Engineer per supportare lo sviluppo di una piattaforma di intelligence dati.Questo ruolo si concentra sulla modellazione dei dati, sui servizi di dati, sulle condotte di dati e sull'infrastruttura basata su cloud per la comunicazione, l'analisi e la scienza dei dati. Informazioni generali Questo Data Engineer sosterrà le operazioni relative ai dati in un team più ampio di Data Intelligence Platform. Il lavoro include servizi web di costruzione e consumo, l'integrazione di tecnologie di ricerca, il supporto ai motori di personalizzazione e raccomandazione e l'applicazione di best practice di ingegneria dati in tutta la piattaforma. Il ruolo spazia dall'architettura basata su cloud, le prestazioni dei database, l'automazione delle condotte e il supporto per scienziati, ricercatori e business unit interni. L'ambiente comprende l'infrastruttura basata su AWS e un mix di fonti di dati strutturate e non strutturate. - Scrivi e ottimizza le dichiarazioni SQL in applicazione. - Assicurati le prestazioni, la sicurezza e la disponibilità dei database. - Prepara documentazione e specifiche tecniche. - Gestisci procedure di database come aggiornamenti, backup, recupero e migrazione. - Utilizzo delle risorse dei server profilo e ottimizza le configurazioni se necessario. - Progetta, costruisci e automatizza la distribuzione di condotte e applicazioni di dati. - Integra i dati da database on-premise e fonti di dati esterne utilizzando API REST e strumenti di raccolta.

- Collaborare con le unità aziendali e i team di esperti in materia di dati sulle esigenze di accesso, trasformazione, elaborazione e reporting. - Supportare l'implementazione, le questioni tecniche e la formazione relative all'ecosistema dei dati. - Collaborare con il team per gestire le risorse AWS, compresi i cluster EMR e ECS. - Supportare la fornitura, il monitoraggio, la configurazione e la manutenzione degli strumenti AWS. - Valutare e promuovere nuove tecnologie cloud che migliorano le capacità e i costi operativi più bassi. - Supportare gli sforzi di automazione utilizzando l'infrastruttura come codice con strumenti Terraform e CI/CD come Jenkins. - Lavorare con il team per implementare la governance dei dati, controllo accessi e riduzione del rischio di sicurezza. - Esperienza necessaria - 7-9 anni di esperienza nella progettazione e nello sviluppo di modelli di dati basati sul cloud, condotte ETL e infrastrutture. - Esperienza lavorando con dati strutturati e non strutturati. - Forte competenza con SQL in tutte le banche dati più diffuse. - Esperimentazione nell'ottimizzazione di grandi e complessi dichiarazioni SQL. - Conoscenza delle migliori pratiche per i database relazionali. - Esperienza nella configurazione di motori di database e cluster di orchestra. - Capacità di pianificare i requisiti delle risorse da specifiche di alto livello. - Capacità di risolvere problemi comuni di database. - Esperienza con Spark, Glue, EMR, e Apache Kafka o AWS Kinesis. - Esperienza con strumenti di controllo delle versioni come Git o Subversion. - Esperienza utilizzando sistemi di generazione automatizzati e flussi di lavoro CI/CD. - Esperienza nella programmazione in Java, Python e Scala. - Conoscenza delle strutture dati e algoritmi.

- Conoscenza delle piattaforme cloud AWS. - Conoscenza delle piattaforme cloud AWS. - Conoscenza di TDD e BDD. - Forte interesse nel migliorare le competenze di sviluppo software, i framework e le tecnologie. - Evidenziazione - Possibilità di lavorare attraverso modelling dei dati, servizi di dati e scienze dei dati all'interno di una più ampia piattaforma di intelligenza dati. - Esposizione a un ambiente tecnico vario che abbraccia AWS, condotte ETL, banche dati, tecnologie di ricerca e sistemi di raccomandazione. - Collaborazione diretta con team di esperti scientifici dei dati e stakeholder interni sulle funzionalità di reporting, trasformazione e piattaforma.

Data di nascita: 19.12.1954

Dettagli del lavoro

Esperienza: 0 anni

Pubblicato: 1 month, 2 weeks fa

Vista: 866

Applica su We Work Remotely

Fonte da We Work Remotely · apre la pubblicazione originale.

Ottieni un'applicazione personalizzata per questo ruolo

Lascia il tuo curriculum e scriveremo una lettera di copertura mirata a questo elenco esatto molto gratis, e pronto nel momento in cui il tuo account viene creato.

PDF, Word o testo. Creiamo il tuo account gratuito sulla schermata successiva © © senza carta.

Assumere un ruolo come questo?

Pubblica il tuo lavoro remoto su WFHJ e raggiungi i candidati abbinati.

Pubblicare un lavoro gratis
Feedback