Tổng hành dinh:

Tóm tắt Chúng tôi đang tìm kiếm một Kỹ sư Dữ liệu để hỗ trợ phát triển một Nền tảng Thông tin Dữ liệu. Vai trò này tập trung vào mô hình hóa dữ liệu, dịch vụ dữ liệu, đường ống dữ liệu, và cơ sở hạ tầng dữ liệu dựa trên đám mây cho báo cáo, phân tích, và khoa học dữ liệu. Thông tin chung Kỹ sư Dữ liệu này sẽ hỗ trợ các hoạt động liên quan đến dữ liệu trong một nhóm rộng hơn của Nền tảng Thông tin Dữ liệu. Công việc bao gồm xây dựng và tiêu thụ dịch vụ web, tích hợp công nghệ tìm kiếm, hỗ trợ cá nhân hóa và động cơ đề xuất, và áp dụng các thực hành tốt nhất của kỹ thuật dữ liệu trên nền tảng. Vai trò này bao gồm kiến trúc dữ liệu dựa trên đám mây, hiệu suất cơ sở dữ liệu, tự động hóa đường ống, và hỗ trợ cho các nhà khoa học dữ liệu, nhà nghiên cứu, và các đơn vị kinh doanh nội bộ. Môi trường bao gồm cơ sở hạ tầng dựa trên AWS và một hỗn hợp các nguồn dữ liệu cấu trúc và không cấu trúc. Nhiệm vụ và kết quả - Tham gia vào thiết kế kiến trúc và thực hiện các giải pháp dữ liệu hiệu suất cao, có thể mở rộng và tối ưu hóa. - Tạo mô hình dữ liệu từ đầu bằng cách sử dụng các nền tảng SQL mạnh mẽ. - Viết và tối ưu hóa các câu lệnh SQL trong ứng dụng. - Bảo đảm hiệu suất, an toàn và khả năng có sẵn của cơ sở dữ liệu. - Chuẩn bị tài liệu và các đặc điểm kỹ thuật. - Xử lý các thủ tục cơ sở dữ liệu như nâng cấp, sao lưu, phục hồi và di chuyển. - Phân tích sử dụng tài nguyên máy chủ và tối ưu hóa cấu hình như cần thiết. - Thiết kế, xây dựng và tự động hóa việc triển khai các đường ống dữ liệu và ứng dụng. - Tổng hợp dữ liệu từ cơ sở dữ liệu trong nhà và nguồn dữ liệu bên ngoài bằng cách sử dụng REST API và công cụ thu hoạch.

- Cộng tác với các đơn vị kinh doanh và các nhóm khoa học dữ liệu về truy cập dữ liệu, chuyển đổi, xử lý và báo cáo nhu cầu. - Hỗ trợ thực hiện, các vấn đề kỹ thuật và đào tạo liên quan đến hệ sinh thái hồ dữ liệu. - Làm việc với đội ngũ quản lý tài nguyên AWS, bao gồm các cụm EMR và ECS. - Hỗ trợ cung cấp, giám sát, cấu hình và bảo trì các công cụ AWS. - Đánh giá và thúc đẩy các công nghệ đám mây mới cải thiện khả năng và giảm chi phí hoạt động. - Hỗ trợ các nỗ lực tự động hóa bằng cách sử dụng Infrastructure as Code với Terraform và CI / CD công cụ như Jenkins. - Làm việc với đội ngũ để thực hiện quản lý dữ liệu, kiểm soát truy cập và giảm rủi ro an ninh. Thực tế yêu cầu - 7-9 năm kinh nghiệm thiết kế và phát triển mô hình dữ liệu dựa trên đám mây, ống dẫn ETL và cơ sở hạ tầng. - Kinh nghiệm làm việc với cả dữ liệu cấu trúc và không cấu trúc. - Kỹ năng tốt với SQL trên các cơ sở dữ liệu phổ biến. - Kinh nghiệm tối ưu hóa các câu lệnh SQL lớn và phức tạp. - Kỹ năng thực hành tốt nhất cho cơ sở dữ liệu quan hệ. - Kinh nghiệm cấu hình các động cơ cơ sở dữ liệu và dàn nhạc các cụm. - Khả năng lên kế hoạch yêu cầu tài nguyên từ các đặc điểm kỹ thuật cao. - Khả năng khắc phục các vấn đề cơ sở dữ liệu phổ biến. - Kinh nghiệm với Spark, Glue, EMR và Apache Kafka hoặc AWS Kinesis. - Kinh nghiệm với các công cụ kiểm soát phiên bản như Git hoặc Subversion. - Kinh nghiệm sử dụng hệ thống xây dựng tự động và luồng công việc CI / CD. - Kinh nghiệm lập trình trong Java, Python và Scala. - Kỹ năng về cấu trúc dữ liệu và thuật toán.

- Kiến thức về quan hệ, NoSQL, đồ thị, tài liệu, giá trị khóa và các cơ sở dữ liệu chuỗi thời gian. - Kiến thức về thiết kế và quản lý mô hình dữ liệu có thể mở rộng. - Kiến thức về triển khai mô hình ML. - Kiến thức về các nền tảng đám mây AWS. - Kiến thức về TDD và BDD. - Sự quan tâm mạnh mẽ vào việc cải thiện kỹ năng phát triển phần mềm, khung và công nghệ. Các điểm nổi bật tham gia - Cơ hội làm việc trên mô hình dữ liệu, dịch vụ dữ liệu và khoa học dữ liệu trong một Data Intelligence Platform rộng hơn. - Phơi bày với một môi trường kỹ thuật đa dạng bao gồm AWS, ống dẫn ETL, cơ sở dữ liệu, công nghệ tìm kiếm và hệ thống khuyến nghị. - Cộng tác trực tiếp với các đội khoa học dữ liệu và các bên liên quan nội bộ về báo cáo, chuyển đổi và khả năng nền tảng.

Để ứng tuyển: https://weworkremotely.com/remote-jobs/toptal-senior-data-engineer-aws-data-lake-pipeline-architecture