본부:

요약 Data Intelligence Platform 개발을 지원하는 Data Engineer를 찾고 있습니다. 이 역할은 데이터 모델링, 데이터 서비스, 데이터 파이프라인, 보고, 분석 및 데이터 과학을 위한 클라우드 기반 데이터 인프라에 중점을 두고 있습니다. 일반 정보 Data Engineer는 Data Intelligence Platform 팀의 데이터 관련 운영을 지원합니다. 웹 서비스 구축 및 사용, 검색 기술 통합, 개인화 및 추천 엔진 지원, 플랫폼 전반에 걸친 데이터 엔지니어링 모범 사례 적용 등이 포함됩니다. 이 역할은 클라우드 기반 데이터 아키텍처, 데이터베이스 성능, 파이프라인 자동화, 데이터 과학자, 연구자 및 내부 비즈니스 부서 지원을 포괄합니다. 환경에는 AWS 기반 인프라와 구조화된 데이터 소스와 비구조화된 데이터 소스가 포함됩니다. 작업 및 납품품 - 고성능, 확장 가능하고 최적화된 데이터 솔루션의 아키텍처 설계 및 구현에 참여합니다. - 강력한 SQL 기본 기능을 사용하여 처음부터 데이터 모델을 생성합니다. - 애플리케이션 내 SQL 문장을 작성하고 최적화합니다. - 데이터베이스의 성능, 보안 및 가용성을 보장합니다. - 문서 및 기술 사양을 준비합니다. - 업그레이드, 백업, 복구 및 마이그레이션과 같은 데이터베이스 절차를 처리합니다. - 서버 리소스 사용량 프로파일링 및 필요에 따라 구성을 최적화합니다. - 데이터 파이프라인 및 애플리케이션의 배포를 설계, 구축 및 자동화합니다. - REST API 및 수확 툴을 사용하여 온프레미스 데이터베이스

- 데이터 액세스, 변환, 처리 및 보고 요구 사항에 대해 비즈니스 부서 및 데이터 과학 팀과 협력. - 데이터 레이크 에코시스템과 관련된 구현, 기술 문제 및 교육 지원. - EMR 및 ECS 클러스터를 포함한 AWS 리소스를 관리하기 위해 팀과 협력. - AWS 도구의 프로비저닝, 모니터링, 구성 및 유지 관리 지원. - 기능을 향상시키고 운영 비용을 절감하는 새로운 클라우드 기술을 평가하고 홍보. - Terraform 및 Jenkins와 같은 CI/CD 도구와 함께 Infrastructure as Code를 사용하여 자동화를 지원. - 데이터 거버넌스, 액세스 제어 및 보안 위험 감소를 구현하기 위해 팀과 협력. 필요한 경험 - 클라우드 기반 데이터 모델, ETL 파이프라인 및 인프라 설계 및 개발에 대한 7~9년 경험. - 구조화된 데이터 및 비구조화된 데이터 작업 경험. - 인기 데이터베이스에서 SQL을 잘 사용하는 경험. - 대규모 및 복잡한 SQL 문장 최적화 경험. - 관계형 데이터베이스에 대한 모범 사례 지식. - 데이터베이스 엔진 구성 및 클러스터 조정 경험. - 고급 사양에서 리소스 요구 사항을 계획할 수 있는 능력. - 일반적인 데이터베이스 문제를 해결할 수 있는 능력. - Spark, Glue, EMR, Apache Kafka 또는 AWS Kinesis 사용 경험. - Git 또는 Subversion과 같은 버전 제어 도구 사용 경험. - 자동화된 빌드 시스템 및 CI/CD 워크플로우 사용 경험. - Java, Python 및 Scala 프로그래밍 경험. - 데이터 구조

- 관계형, NoSQL, 그래프, 문서, 키-값, 시계열 데이터베이스에 대한 지식. - 확장 가능한 데이터 모델 설계 및 관리에 대한 지식. - ML 모델 배포에 대한 지식. - AWS 클라우드 플랫폼에 대한 지식. - TDD 및 BDD에 대한 지식. - 소프트웨어 개발 기술, 프레임워크 및 기술 개선에 대한 강한 관심. 참여 하이라이트 - 광범위한 데이터 인텔리전스 플랫폼 내에서 데이터 모델링, 데이터 서비스 및 데이터 과학을 넘어서 작업할 기회. - AWS, ETL 파이프라인, 데이터베이스, 검색 기술 및 권장 시스템을 포함하는 다양한 기술 환경에 노출. - 데이터 과학 팀 및 내부 관계자와 보고, 변환 및 플랫폼 기능에 대한 직접 협업.

지원하기: https://weworkremotely.com/remote-jobs/toptal-senior-data-engineer-aws-data-lake-pipeline-architecture