总部:

我们正寻求数据工程师,以支持数据情报平台的发展,这一作用侧重于数据建模、数据服务、数据管道和云基数据基础设施,用于报告、分析和数据科学。一般信息。数据工程师将支持更广泛的数据情报平台团队与数据有关的业务。工作包括建设和消费网络服务、整合搜索技术、支持个性化和建议引擎,以及在整个平台应用数据工程最佳做法。该作用涵盖云基数据架构、数据库性能、管道自动化,以及支持数据科学家、研究人员和内部业务单位。环境包括AWS基础设施以及结构化和非结构化数据源组合。任务和交付性-参与结构设计和实施高性能、可缩放和优化的数据解决方案。 - 利用强大的SQL基本原理从零开始创建数据模型。 - 编制并优化应用中SQL说明。 - 确保数据库的性能、安全和可用性。 - 编写文件和技术规格。 - 处理数据库程序,例如升级、备份、恢复和迁移。 - 配置服务器资源使用,必要时优化配置。 - 设计、建造和自动化部署数据管道和应用。 - 利用REST API和采集工具,将预设数据库和外部数据来源的数据整合在一起。

与企业单位和数据科学小组合作,处理数据获取、转换、处理和报告需求; 支持与数据湖生态系统有关的实施、技术问题和培训; 与AWS团队合作,管理AWS资源,包括EMR和ECS集群; 支持提供、监测、配置和维护AWS工具; 评估和推广提高能力和降低运营成本的新的云技术; 利用基础设施作为Terraform和CI/CD工具(如Jenkins)的编码,支持自动化工作; 与团队合作,实施数据治理、访问控制和降低安全风险; 积累7-9年经验,设计和开发云基数据模型、ETL管道和基础设施; 与结构化和非结构化数据合作的经验; 在所有流行数据库中高度熟练使用SQL。 · 有能力根据高规格规划资源需求;

- 相关知识、NSQL、图表、文件、关键价值和时间序列数据库;

应用:https://weworkremotely.com/remote-jobs/topptal-senior-data-engineer-aws-data-lake-ipipline-建筑 。