Sede:

Resumo Estamos procurando um Engenheiro de Dados para apoiar o desenvolvimento de uma Plataforma de Inteligência de Dados. Este papel se concentra na modelagem de dados, serviços de dados, pipelines de dados e infraestrutura de dados baseado em nuvem para relatórios, análises e ciência de dados. Informação geral Este Engenheiro de Dados apoiará operações relacionadas com dados em uma equipe mais ampla da Plataforma de Inteligência de Dados. O trabalho inclui a construção e consumo de serviços web, a integração de tecnologias de pesquisa, o apoio de motores de personalização e recomendação e a aplicação de melhores práticas de engenharia de dados em toda a plataforma. O papel abrange arquitetura de dados baseado em nuvem, desempenho de banco de dados, automação de condutos e suporte para cientistas de dados, pesquisadores e unidades de negócios internos. O ambiente inclui infraestrutura baseada em WS e uma mistura de fontes de dados estruturadas e não estruturadas. - Assegurar o desempenho, segurança e disponibilidade de bases de dados. - Preparar documentação e especificações técnicas. - Manusear procedimentos de banco de dados como atualizações, backups, recuperação e migração. - Utilização de recursos do servidor de perfil e otimização de configurações conforme necessário. - Conceba, construír e automatizar a implantação de pipelines e aplicações de dados. - Integrar dados de bases de dados on-premise e fontes de dados externas usando APIs REST e ferramentas de recolha.

- Colaborar com as unidades de negócios e as equipes de ciência de dados sobre as necessidades de acesso aos dados, transformação, processamento e comunicação de dados. - Implementação, questões técnicas e treinamento relacionados ao ecossistema do lago de dados. - Colaborar com a equipe para gerenciar recursos da AWS, incluindo os clusters de EMR e ECS. - Apoiar a disponibilização, monitoramento, configuração e manutenção de ferramentas da AWS. - Avaliar e promover novas tecnologias de nuvem que melhorem as capacidades e menores custos de funcionamento. - Apoiar esforços de automação utilizando Infraestrutura como código com ferramentas de Terraform e CI/CD como Jenkins. - Trabalhar com a equipe para implementar a governação de dados, controle de acesso e redução de risco de segurança. Experiência requerida - 7-9 anos de experiência de concepção e desenvolvimento de modelos de dados baseados em nuvem, tubetes de ETL, e infraestrutura. - Experiência de trabalho com dados estruturados e não estruturados. - Proficiência forte com SQL em bases populares populares. - Experiência optimizando grandes e complexas demonstrações SQL. - Conheciências SQL. - Experiência configurando motores de banco de dados e clusters de orquestração. - Capacidade de planejar requisitos de recursos de especificações de alto nível. - Capacidade de resolver problemas comuns de banco de dados. - Experiência com Spark, Glue, EMR, e Apache Kafka ou AWS Kinesis. - Experiência com ferramentas de controle de versões como Git ou Subversion. - Experiência usando sistemas de construção automatizados e fluxos de trabalho CI/CD. - Programação de experiência em Java, Python e Scala. - Conhecimento de estruturas e algoritmos de dados.

- Conhecimento de bases de dados relacionais, noSQL, gráfico, documento, valor chave e séries de tempo. - Conhecimento de modelos de dados escalados de design e gestão. - Conhecimento de modelos de ML implantação. - Conhecimento de plataformas de nuvem de dados. - Conhecimento de TDD e BDD. - Interesse forte em melhorar as habilidades, quadros e tecnologias de desenvolvimento de software. Engajamento - Oportunidade de trabalhar em toda a modelagem de dados, serviços de dados e ciência de dados dentro de uma plataforma de informação de dados mais ampla. - Exposição a um ambiente técnico variado que abrange as AWS, o ETL condutos, bases de dados, tecnologias de pesquisa e sistemas de recomendação. - Colaboração direta com equipes de ciências de dados e intervenientes internos em matéria de relatórios, transformação e capacidades de plataforma..

Aplicação: https://weworkremotely.com/remote-jobs/toptal-senior-data-ingener-aws-data-lake-pipeline-architecture