Karargâh:

Kısaca, bir Veri Bilgi Platformu geliştirilmesini desteklemek için bir Veri Mühendisi arıyoruz. Bu rol veri modelleme, veri hizmetleri, veri boru hatları ve raporlama, analiz ve veri bilimi için bulut tabanlı veri altyapısına odaklanmaktadır. Genel bilgi Bu Veri Mühendisi, geniş bir Veri Bilgi Platformu ekibinde veri ile ilgili operasyonları destekleyecek. İş, web hizmetlerinin inşası ve tüketimi, arama teknolojilerinin entegrasyonu, kişiselleştirme ve öneri motorlarının desteklenmesi ve platformun tümünde en iyi veri mühendisliği uygulamalarını uygulamayı içerir. Rol bulut tabanlı veri mimarisini, veritabanı performansını, boru hatları otomasyonunu ve veri bilimcileri, araştırmacılar ve iç iş birimlerine destek sağlamayı kapsar. Çevre AWS tabanlı altyapı ve yapısal ve yapısal olmayan veri kaynaklarının bir karışımını içerir. Görevler ve Teslim Edilecekler - Yüksek performanslı, ölçeklenebilir ve optimizasyonlu veri çözümlerinin mimari tasarımına ve uygulamasına katılmak. - Güçlü SQL temelleri kullanarak sıfırdan veri modelleri oluşturmak. - Uygulama içinde SQL ifadelerini yazmak ve optimizasyonu sağlamak. - Veritabanlarının performansı, güvenliği ve erişilebilirliğini sağlamak. - Belgelendirme ve teknik özellikleri hazırlamak. - Üst düzey, yedekleme, geri yükleme ve göç gibi veritabanı prosedürlerini yönetmek. - Sunucu kaynak kullanımını profillemek ve gerekli durumlarda ayarları optimizasyonu. - Veri boru hatları ve uygulamaların dağıtımını tasarlamak, inşa etmek ve otomatikleştirmek. - REST API' lar ve hasat araçları kullanarak yerel veritabanlarından ve dış veri kaynaklarından gelen verileri entegre etmek.

- İş birimleri ve veri bilimi ekipleriyle veri erişimi, dönüşüm, işleme ve raporlama ihtiyaçları konusunda işbirliği yap. - Veri göl ekosistemi ile ilgili uygulama, teknik sorunlar ve eğitimi destekleyin. - EMR ve ECS kümeleri de dahil olmak üzere AWS kaynaklarını yönetmek için ekiple birlikte çalış. - AWS araçlarının sağlanmasını, izleme, konfigürasyonu ve bakımını destekleyin. - Kapasiteleri artıran ve işletim maliyetini azaltan yeni bulut teknolojilerini değerlendirin ve tanıtın. - Terraform ve Jenkins gibi CI / CD araçları ile Kod olarak Altyapı kullanarak otomasyon çabalarını destekleyin. - Veri yönetimi, erişim kontrolü ve güvenlik riskini azaltmak için takımla çalış. Gereken deneyim - Bulut tabanlı veri modelleri, ETL boru hatları ve altyapı tasarımı ve geliştirilmesinde 7-9 yıllık deneyim. - Hem yapısal hem de yapısal olmayan verilerle çalışma deneyim. - Popüler veritabanılarda SQL ile güçlü beceri. - Büyük, karmaşık SQL ifadelerini optimize etme deneyim. - İlişkili veritabanı için en iyi uygulamaların bilgisi. - Veritabanı motorlarını konfigürasyon ve orkestrasyon kümeleri ile konfigürasyon deneyim. - Kaynak gereksinimlerini yüksek seviye spesifikasyonlardan planlama becerisi. - Ortak veritabanı sorunlarını çözme becerisi. - Spark, Glue, EMR ve Apache Kafka veya AWS Kinesis ile deneyim. - Git veya Subversion gibi versiyon kontrol araçlarıyla deneyim. - Otomatik inşa sistemleri ve CI / CD iş akışlarını kullanan deneyim. - Java, Python ve Scala'da programlama deneyim. - Veri yapıları ve algoritmaları hakkında bilgi.

- İlişkili, NoSQL, grafik, belge, anahtar-değer ve zaman serileri veritabanlarının bilgisi. - Ölçülebilir veri modeli tasarımı ve yönetimi bilgisi. - ML model dağıtım bilgisi. - AWS bulut platformlarının bilgisi. - TDD ve BDD bilgisi. - Yazılım geliştirme becerileri, çerçeveleri ve teknolojileri geliştirmeye güçlü bir ilgi. Karşılıklı başlıca özellikler - Daha geniş bir Data Intelligence Platformu içinde veri modelleme, veri hizmetleri ve veri bilimi üzerinde çalışma fırsatı. - AWS, ETL boru hatları, veritabanı, arama teknolojileri ve tavsiye sistemleri dahil olmak üzere çeşitli teknik ortamlara maruz kalma. - Veri bilimi ekipleri ve raporlama, dönüşüm ve platform becerileri üzerinde iç paydaşlarla doğrudan işbirliği..

Başvuru için: https://weworkremotely.com/remote-jobs/toptal-senior-data-engineer-aws-data-lake-pipeline-architecture