Selia:

Përmbledhje Ne jemi duke kërkuar një Inxhinier të Të dhënave për të mbështetur zhvillimin e një Platforme Inteligjence të Të dhënave. Ky rol fokusohet në modelimin e të dhënave, shërbimet e të dhënave, tubacionet e të dhënave dhe infrastrukturën e të dhënave të bazuara në re për raportimin, analizën dhe shkencën e të dhënave. Informacione të përgjithshme Ky Inxhinier i të dhënave do të mbështesë operacionet e lidhura me të dhënat në një ekip më të gjerë të Platformës Inteligjence të Të dhënave. Puna përfshin ndërtimin dhe konsumimin e shërbimeve web, integrimin e teknologjive të kërkimit, mbështetjen e personalizimit dhe motorëve të rekomandimit dhe zbatimin e praktikave më të mira të inxhinierisë së të dhënave në të gjithë platformën. Roli përfshin arkitekturën e të dhënave të bazuara në re, performancën e bazave të të dhënave, automatizimin e tubacioneve dhe mbështetjen për shkencëtarët e të dhënave, kërkuesit dhe njësitë e brendshme të biznesit. Ambienti përfshin infrastrukturën e bazuar në AWS dhe një përzierje të burimeve të të dhënave të strukturuara dhe të pastrukturuara. Detyra dhe rezultate - Përfshihet në dizajnin e arkitekturës dhe zbatimin e zgjidhjeve të të dhënave me performancë të lartë, të shkallëzuara dhe të optimizuara. - Krijo modele të të dhënave nga zero duke përdorur bazat e forta SQL. - Shkrimi dhe optimizimi i deklaratave SQL në aplikacion. - Sigurimi i performancës, sigurisë dhe disponueshmërisë së bazave të të dhënave. - Përgatitja e dokumentacionit dhe specifikimeve teknike. - Menaxhimi i procedurave të bazave të të dhënave si përmirësimet, backup-et, rimëkëmbja dhe migrimi. - Profilimi i përdorimit të burimeve të serverit dhe optimizimi i konfigurimeve siç është e nevojshme. - Projektimi, ndërtimi dhe automatizimi i shpërndarjes së tubacioneve të të dhënave dhe aplikacioneve. - Integrimi i të dhënave nga baza të të dhënave lokale dhe burimet e jashtme të të

- Bashkëpunon me njësitë e biznesit dhe ekipet e shkencave të të dhënave në aksesin e të dhënave, transformimin, përpunimin dhe raportet e nevojave. - Mbështetje e zbatimit, çështje teknike dhe trainim lidhur me ekosistemin e liqenit të të dhënave. - Punon me ekipin për të menaxhuar burimet e AWS, duke përfshirë EMR dhe ECS clusters. - Mbështetje e furnizimit, mbikqyrjes, konfigurimit dhe mirëmbajtjes së instrumenteve AWS. - Vlerësimi dhe nxitja e teknologjive të reja cloud që përmirësojnë aftësitë dhe ulen kostot operative. - Mbështetje e përpjekjeve të automatizimit duke përdorur Infrastructure as Code me Terraform dhe CI / CD instrumente si Jenkins. - Punon me ekipin për të zbatuar qeverisjen e të dhënave, kontrollin e aksesit dhe zvogëlimin e rrezikut të sigurisë. Përvoja e kërkuar - 7-9 vjet përvojë në dizajnimin dhe zhvillimin e modeleve të të dhënave të bazuara në cloud, ETL pipelines dhe infrastrukturë. - Përvojë në punë me të dyja të strukturuara dhe të pastrukturuara të dhëna. - Aftësi e fortë me SQL në baza të dhënash të njohura. - Përvojë në optimizimin e deklaratave të mëdha dhe komplekse SQL. - Dijenia e praktikave më të mira për baza të dhënash relationale. - Përvojë në konfigurimin e motorëve të bazave të të dhënave dhe orkestrimin e grupeve. - Aftësia për të planifikuar kërkesat e burimeve nga specifikimet e nivelit të lartë. - Aftësia për të zgjidhur problemet e përbashkëta të bazave të të dhënave. - Përvojë me Spark, Glue, EMR dhe Apache Kafka ose AWS Kinesis. - Përvojë me instrumente të kontrollit të versionit si Git ose Subversion. - Përvojë në përdorimin e sistemeve të ndërtimit të automatizuar dhe CI / CD workflows. - Përvojë në programimin në Java, Python dhe Scala. - Dijenia e strukturave të

- Dijenia e bazë të të dhënave të marrëdhënieve, NoSQL, grafik, dokument, çelës-vlerë, dhe seri kohore. - Dijenia e modelit të të dhënave të shkallëzuar të dizajnit dhe menazhimit. - Dijenia e modelit të ML të vendosjes. - Dijenia e platformave AWS Cloud. - Dijenia e TDD dhe BDD. - Interes i fortë në përmirësimin e aftësisë së zhvillimit të softuerit, kornizave dhe teknologjive.

Për të aplikuar: https://weworkremotely.com/remote-jobs/toptal-senior-data-engineer-aws-data-lake-pipeline-architecture