Kierownik:

Podsumowanie Szukamy Inżyniera Danych w celu wsparcia rozwoju platformy wywiadowczej. Rola ta skupia się na modelowaniu danych, usługach danych, rurociągach danych oraz bazie danych na chmurze, infrastrukturze danych do sprawozdawczości, analizy i nauki danych. Ogólne informacje Ten Inżynier danych będzie wspierał działania związane z danymi w szerszym zespół z wywiadem danych. Działalność ta obejmuje budowę i konsumpcję usług internetowych, integrację technologii wyszukiwania, wspieranie zintegrowanych silników personalizacji i rekomendacji oraz stosowanie najlepszych praktyk inżynierii danych w całej platformie. Rola obejmuje architekturę danych opartą na chmurze, wydajność baz danych, automatyzację rurociągów i wsparcie dla naukowców, naukowców i wewnętrznych jednostek biznesowych. Środowisko obejmuje infrastrukturę opartą na AWS oraz mieszanie zorganizowanych i niestrukturyzowanych źródeł danych. Zadania i dostawy - Uczestniej w projektowaniu architekturze i wdrażaniu rozwiązań wysoko wydajnych, zdostępnych i optyzanych i zmożnych danych. - Napisz i zoptymalizuj deklaracje SQL. - Zapewnij wydajność, bezpieczeństwo i dostępność baz danych. - Przygotuj dokumentację i specyfikacje techniczne. - Zarządzaj procedurami baz danych, takimi jak upgrady, kopie zapasowe, odzyskanie i migracja. - Profilowanie serwera zasobów i optymalizuj konfiguracje w razie potrzeby. - Projektowanie, budowanie i automatyzacja rozmieszczenia rurociągów i aplikacji danych. - Iнтегрuj dane z baz danych on-premise i zewnętrznych źródeł danych przy użyciu REST API i narzędzi zbiorowych.

- Współpracuj z jednostkami biznesowymi i zespołami naukowymi w zakresie danych w zakresie dostępu do danych, przekształcenia, przetwarzania i potrzeb sprawozdawczości. - Wsparcie realizacji, kwestii technicznych i szkolenia związanych z ekosystemem danych. - Praca z zespołem w celu zarządzania zasobami AWS, w tym zespołami EMR i ETS. - Wsparcie dostarczania, monitorowania, konfiguracji i utrzymania narzędzi AWS. - Ocena i promowanie nowych technologii chmury, które poprawiają możliwości i obniżają koszty eksploatacyjne. - Wsparcie wysiłki automatyzacyjne przy użyciu kodu infrastruktury jako narzędzi Terraform i CI/CD, takich jak Jenkins. - Praca z zespołem w celu wdrożenia zarządzania danymi, kontroli dostępu i redukcji ryzyka bezpieczeństwa. Wymagane doświadczenie - 7-9 lat doświadczenia projektowania i opracowywania modeli danych opartych na chmurze, rurocinach ETL i infrastruktury. - Doświadczenie z pracami z strukturacją i niestrukturyzowanymizacją danych. - Silna sprawność SQL w całej popularnych bazach danych. - Doświadczenie optyfikujące duże, złożone SQL. - Doświadczenie konfiguracji silników bazy danych i klastrów orkiestrujących. - Możliwość planowania wymogów dotyczących zasobów z specyfikacji wysokiego szczebla. - Możliwość rozwiązywania problemów ze wspólnymi problemami z bazami danych. - Doświadczenie ze Spark, Glue, EMR i Apache Kafka lub AWS Kinessis. - Doświadczenie z narzędziami sterowania wersjami, takimi jak Git lub Subversion. - Doświadczenie z wykorzystaniem automatycznych systemów budowy i CI/CD przepływów pracy. - Programowanie doświadczeń w Java, Python i Scala. - Znajomość struktur danych i algorytmów.

- Wiedza o modelu relacjonalnym, noSQL, wykresie, dokumencie, wartości kluczowej i serii czasowych. - Wiedza o projektowaniu i zarządzaniu modelami danych skalalnymi. - Wiedza o modelu ML. - Wiedza o platformach chmury AWS. - Wiedza o TDD i BDD. - Znajomość TDD i BDD. - Znajomość sposobności rozwoju oprogramowania, ramy i technologie. Aнгаżacja podkreśla - Możliwość pracy w różnych modelach danych, usługi danych i naukę danych w szerszej platformie wywiadowczej danych. - Narażenie na zróżnicowane środowisko techniczne, które obejmuje AWS, rurociągi ETL, bazy danych, technologie wyszukiwania i systemy rekomendacyjne. - Bezpośrednia współpraca z zespołami naukowymi i wewnętrznymi zainteresowanymi stronami w zakresie sprawozdawczości, transformacji i możliwości platform.

Zastosowanie: https://weworkremotely.com/remote-jobs/toptal-senior-data-inżyniery-aws-data-architektura-pipeline-pipeline-architecture