Galvenā mītne:

Kopsavilkums Datu informācijas inženieris meklē iespēju atbalstīt datu izlūkošanas platformas izveidi. Šī funkcija ir koncentrēta uz datu modelēšanu, datu pakalpojumiem, datu cauruļvadiem un datu zinātni uz mākoņiem balstītu datu infrastruktūru ziņošanai, analīzei un datu zinātnei. Vispārīgā informācija Šis datu inženieris atbalstīs datu apstrādes darbības plašākā datu izlūkošanas platformas komandā. Darbs ietver tīmekļa pakalpojumu izveidi un patēriņu, meklēšanas tehnoloģiju integrēšanu, personalizēšanas un ieteikumu dzinēju izmantošanu, kā arī datu inženierijas paraugprakses piemērošanu visā platformā. - Rakstīt un optimizēt lietotnē SQL paziņojumus. - Nodrošināt datubāzu darbību, drošību un pieejamību. - Sagatavot dokumentāciju un tehniskās specifikācijas. - Apkopot datu bāzes procedūras, piemēram, atjauninājumus, rezerves kopijas, rekuperāciju un migrāciju. - Profilu servera resursu izmantošana un optimizētu konfigurācijas pēc vajadzības. - Projektēt, būvēt un automatizēt datu cauruļvadu un lietojumprogrammu ieviešanu. - Iekļaut datus no datu bāzēm, kas ir aktuālas, un ārējiem datu avotiem, izmantojot REST API un novākšanas rīkus.

- Sadarbojieties ar uzņēmumu vienībām un datu zinātnes grupām par datu pieejamību, transformāciju, apstrādi un ziņošanas vajadzībām. - Atbalstīt ieviešanu, tehniskos jautājumus un apmācību saistībā ar datu ezera ekosistēmu. - Strādājiet ar AWS resursu, tostarp EMR un ECS klasteru, pārvaldību. - Atbalsts AWS rīku nodrošināšanai, uzraudzībai, konfigurācijai un uzturēšanai. - Novērtēt un veicināt jaunas mākoņu tehnoloģijas, kas uzlabo iespējas un samazina darbības izmaksas. - Atbalsts automatizācijas centieniem, izmantojot infrastruktūru kā Terraformas un CI/CD rīkus, piemēram, Jenkins. - Strādājiet kopā ar komandu, lai īstenotu datu pārvaldību, piekļuves kontroli un drošības risku samazināšanu. - Nepieciešamā pieredze - 7-9 gadu pieredze, projektējot un attīstot uz mākoņiem balstītus datu modeļus, ETL cauruļvadus un infrastruktūru. - Pieredze, strādājot ar strukturētiem un nestrukturētiem datiem. - SQL spēcīga pieredze ar SQL visā populārajā datubāzē. - Pieredze, kas optimizē lielus, sarežģītus SQL paziņojumus. - Zināšanas par labāko praksi attiecībā uz sakariem datubāzēm. - Pieredzes konfigurēšana datu bāzes dzinējiem un kosmētikā. - Spēja plānot resursu prasības no augsta līmeņa specifikācijām. - Spēja novērst kopējas datu bāzes problēmas. - Pieredze ar Spark, Glue, EMR un Apache Kafka vai AWS Kinesis. - Pieredze ar versijas kontroles rīkiem, piemēram, Git vai Subversion. - Pieredze, izmantojot automatizētas būves sistēmas un CI/CD darbplūsmas. - Pieredze programmēšana Java, Python un Scala. - Zināšanas par datu struktūru un algoritmiem.

- Zināšanas par saistību, NoSQL, grafiku, dokumentu, atslēgas un laika datu bāzes. - Zināšanas par mērogojamu datu modeļu izstrādi un pārvaldību. - Zināšanas par ML modeļa ieviešanu. - Zināšanas par AWS mākoņu platformām. - Zināšanas par TDD un BDD. - Spēcīga interese par programmatūras izstrādes prasmju, sistēmu un tehnoloģiju uzlabošanu.

Pieteikums: https://weworkremotely.com/remote-jobs/toptal-senior-data-inženieri-aws-data-lake-pipeline-architecture