Markas:

Ringkasan Kami mencari seorang Jurutera Data untuk menyokong pembangunan Platform Intelijen Data. Peranan ini fokus pada model data, perkhidmatan data, paip data, dan infrastruktur data berasaskan awan untuk melaporkan, analisis, dan sains data. Maklumat umum Jurutera Data ini akan menyokong operasi berkaitan data di sepanjang pasukan Platform Intelijen Data yang lebih luas. Kerja termasuk membina dan menggunakan perkhidmatan web, mengintegrasikan teknologi carian, menyokong enjin peribadi dan cadangan, dan melaksanakan amalan terbaik dalam kejuruteraan data di sepanjang platform. Peranan meliputi arsitektur data berasaskan awan, prestasi pangkalan data, automasi paip, dan sokongan untuk saintis data, penyelidik, dan unit perniagaan dalaman. Persekitaran termasuk infrastruktur berasaskan AWS dan campuran sumber data struktur dan tidak struktur. Tugas dan hasil - Menyumbang dalam reka bentuk dan pelaksanaan reka bentuk dan pelaksanaan penyelesaian data berprestasi tinggi, boleh skala, dan dioptimumkan. - Cipta model data dari awal menggunakan asas SQL yang kuat. - Tulis dan optimasikan pernyataan SQL dalam aplikasi. - Pastikan prestasi, keselamatan, dan ketersediaan pangkalan data. - Siapkan dokumentasi dan spesifikasi teknikal. - Mengendalikan prosedur pangkalan data seperti penambahbaikan, sandaran, pemulihan, dan migrasi. - Profil penggunaan sumber pelayan dan mengoptimumkan konfigurasi seperti yang diperlukan. - Reka bentuk, bina, dan automatikkan pelaksanaan paip data dan aplikasi. - Mengintegrasikan data dari pangkalan data tempatan dan sumber data luaran menggunakan API REST dan alat penanaman.

- Berkerjasama dengan unit perniagaan dan pasukan sains data mengenai akses data, transformasi, pemprosesan, dan keperluan melaporkan. - Sokongan pelaksanaan, isu teknikal, dan latihan berkaitan ekosistem data lake. - Bekerja dengan pasukan untuk mengurus sumber AWS, termasuk EMR dan ECS clusters. - Sokongan pemberian, pemantauan, konfigurasi, dan pemeliharaan alat AWS. - Menilai dan mempromosikan teknologi awan baru yang meningkatkan keupayaan dan mengurangkan kos operasi. - Sokongan usaha automasi menggunakan Infrastruktur sebagai Kod dengan Terraform dan CI/CD tools seperti Jenkins. - Bekerja dengan pasukan untuk melaksanakan pentadbiran data, kawalan akses, dan pengurangan risiko keselamatan. Pengalaman yang diperlukan - 7-9 tahun pengalaman merancang dan membangunkan model data berasaskan awan, paip ETL, dan infrastruktur. - Pengalaman bekerja dengan data struktur dan tidak struktur. - Keterampilan yang kuat dengan SQL di seluruh pangkalan data popular. - Pengalaman mengoptimumkan pernyataan SQL yang besar dan kompleks. - Pengetahuan mengenai amalan terbaik untuk pangkalan data hubungan. - Pengalaman mengkonfigurasi enjin pangkalan data dan orkestrasi cluster. - Keupayaan untuk merancang keperluan sumber dari spesifikasi tahap tinggi. - Keupayaan untuk menyelesaikan masalah masalah pangkalan data biasa. - Pengalaman dengan Spark, Glue, EMR, dan Apache Kafka atau AWS Kinesis. - Pengalaman menggunakan alat kawalan versi seperti Git atau Subversion. - Pengalaman menggunakan sistem binaan automatik dan aliran kerja CI/CD. - Pengalaman pemprograman dalam Java, Python, dan Scala. - Kefahaman struktur data dan algoritma.

- Kefahaman mengenai pangkalan data hubungan, NoSQL, graf, dokumen, nilai kunci, dan siri masa. - Kefahaman mengenai reka bentuk dan pengurusan model data yang boleh diukur. - Kefahaman mengenai pelaksanaan model ML. - Kefahaman mengenai platform awan AWS. - Kefahaman mengenai TDD dan BDD. - Kepentingan yang kuat dalam meningkatkan kemahiran pembangunan perisian, kerangka kerja dan teknologi. Kepentingan yang ditonjolkan - Kesempatan untuk bekerja di sepanjang model data, perkhidmatan data, dan sains data dalam Platform Intelijen Data yang lebih luas. - Kehadiran kepada pelbagai persekitaran teknikal yang meliputi AWS, paip ETL, pangkalan data, teknologi carian, dan sistem cadangan. - Kerjasama langsung dengan pasukan sains data dan pihak berkepentingan dalaman mengenai laporan, transformasi, dan keupayaan platform.

Untuk memohon: https://weworkremotely.com/remote-jobs/toptal-senior-data-engineer-aws-data-lake-pipeline-architecture