مرکز:

خلاصه ما به دنبال یک مهندس داده برای پشتیبانی از توسعه یک پلتفرم اطلاعات داده هستیم. این نقش بر روی مدل سازی داده، خدمات داده، خطوط لوله داده، و زیرساخت داده مبتنی بر ابر برای گزارش، تجزیه و تحلیل، و علم داده تمرکز دارد. اطلاعات عمومی این مهندس داده عملیات مرتبط با داده را در تیم گسترده‌تر پلتفرم اطلاعات داده پشتیبانی خواهد کرد. کار شامل ساخت و مصرف خدمات وب، ادغام فناوری‌های جستجو، پشتیبانی از موتورهای شخصی‌سازی و توصیه، و اعمال بهترین روش‌های مهندسی داده در سراسر پلتفرم است. این نقش معماری داده مبتنی بر ابر، عملکرد پایگاه داده، خودکارسازی خط لوله، و پشتیبانی برای دانشمندان داده، محققان، و واحدهای تجاری داخلی را در بر می‌گیرد. محیط شامل زیرساخت مبتنی بر AWS و ترکیبی از منابع داده ساختاری و غیر ساختاری است. وظایف و دستاوردها - مشارکت در طراحی معماری و اجرای راه حل‌های داده با عملکرد بالا، مقیاس پذیر و بهینه شده. - ایجاد مدل‌های داده از صفر با استفاده از اصول قوی SQL. - نوشتن و بهینه سازی دستورات SQL در برنامه. - اطمینان از عملکرد، امنیت و در دسترس بودن پایگاه داده. - آماده سازی مستندات و مشخصات فنی. - مدیریت رویه پایگاه داده مانند ارتقا، پشتیبان، بازیابی و مهاجرت. - استفاده از منابع سرور پروفایل و بهینه سازی پیکربندی به صورت لازم. - طراحی، ساخت و خودکارسازی توزیع خطوط لوله داده و برنامه‌های کاربردی. - ادغام داده‌ها از پایگاه داده‌های محلی و منابع داده خارجی با استفاده از REST API و ابزارهای برداشت.

- همکاری با واحدهای تجاری و تیم‌های علوم داده در مورد دسترسی به داده، تبدیل، پردازش و نیازهای گزارش. - پشتیبانی از پیاده‌سازی، مسائل فنی و آموزش مرتبط با اکوسیستم دریاچه داده. - کار با تیم برای مدیریت منابع AWS، از جمله EMR و ECS clusters. - پشتیبانی از فراهم کردن، نظارت، پیکربندی و نگهداری ابزارهای AWS. - ارزیابی و ترویج فناوری‌های ابری جدید که قابلیت‌ها را بهبود می‌بخشد و هزینه‌های عملیاتی را کاهش می‌دهد. - پشتیبانی از تلاش‌های خودکارسازی با استفاده از زیرساخت به عنوان کد با Terraform و CI / CD ابزارهایی مانند Jenkins. - کار با تیم برای پیاده‌سازی حکومت داده، کنترل دسترسی و کاهش خطر امنیتی. تجربه مورد نیاز - ۷-۹ سال تجربه طراحی و توسعه مدل‌های داده مبتنی بر ابر، ETL خط لوله و زیرساخت. - تجربه کار با هر دو داده ساختار یافته و غیر ساختار یافته. - مهارت قوی با SQL در پایگاه داده‌های محبوب. - تجربه بهینه‌سازی دستورات SQL بزرگ و پیچیده. - دانش بهترین شیوه‌ها برای پایگاه داده‌های رابطه ای. - تجربه پیکربندی موتور پایگاه داده و خوشه سازی. - توانایی برنامه‌ریزی نیازهای منابع از مشخصات سطح بالا. - توانایی حل مشکلات پایگاه داده‌های مشترک. - تجربه با Spark، Glue، EMR و Apache Kafka یا AWS Kinesis. - تجربه با ابزارهای کنترل نسخه مانند Git یا Subversion. - تجربه استفاده از سیستم‌های ساخت خودکار و CI / CD workflows. - تجربه برنامه‌نویسی در جاوا، پایتون و Scala. - دانش ساختارهای داده و الگوریتم‌ها.

- دانش رابطه ای، NoSQL، گراف، سند، کلید-مقدار، و پایگاه داده‌های سری زمانی. - دانش طراحی و مدیریت مدل داده‌های مقیاس پذیر. - دانش پیاده‌سازی مدل ML. - دانش پلتفرم‌های ابری AWS. - دانش TDD و BDD. - علاقه قوی به بهبود مهارت‌های توسعه نرم‌افزار، چارچوب‌ها و فناوری‌ها. برجسته‌ترین فعالیت‌ها - فرصت کار در مدل‌سازی داده، خدمات داده، و علم داده در یک پلتفرم اطلاعات داده گسترده‌تر. - در معرض محیط فنی متنوعی که AWS، ETL Pipelines، پایگاه داده‌ها، فناوری‌های جستجو و سیستم‌های توصیه را در بر می‌گیرد. - همکاری مستقیم با تیم‌های علم داده و سهامداران داخلی در گزارش‌دهی، تبدیل و قابلیت‌های پلتفرم.

براي درخواست: https://weworkremotely.com/remote-jobs/toptal-senior-data-engineer-aws-data-lake-pipeline-architecture