Data Infra Platform Team Leader

Hinge (View all Jobs)

Seoul

Please mention No Whiteboard if you apply!
I'm a one-man team looking to improve tech interviews, and could use any support! 😄


Interview Process

1. Hiring manager screen 2. Take-home project 3. Discussions via Zoom that include pair-programming to iterate on homework and culture-fit interview

Programming Languages Mentioned

Python, ETL, SQL


[Platform Department 소개]

Hyperconnect Platform Department는 Data Infra Platform, Data Product Dev, SRE, DevOps, Core Platform, IT 등 구성원들이 모여 중앙 플랫폼과 시스템 인프라 개발 운영 역할을 수행하고 있습니다. Azar, 신규 프로덕트, AI/ML, Media 등 전사 모든 서비스에 인프라와 공통 플랫폼 기술을 제공하고 유관부서와 적극적 협업을 통하여 다양한 영역에서 비즈니스 임팩트를 만들어내고 있습니다. 또한, 전사 기술 조직의 Silo화를 방지하고 효율적이고, 생산성이 뛰어난 엔지니어링 문화를 만들어가는데 집중하고 있습니다.



[Data Infra Platform Team 소개]

- Data Infra Platform 팀은 Data Engineer들이 모여, 전사 직원 모두가 사용하는 Data Infra Platform을 효율적이고, 사용하기 편리하게 만들기 위한 엔지니어링 을 수행하는 팀입니다.
- Data 인프라들을 코드 기반으로 체계적으로 관리합니다.
- 다양한 Modern Data Platform에 필요한 도구, SaaS 등을 연구하고 Production에 도입합니다. 또한, 이것들을 전사 직원이 쉽게 활용할 수 있는 형태로 도구나 관행을 연구하고 제안합니다.
- Data 모델, 파이프라인을 개발하기 위한 CI/CD 환경을 구축하고 관리합니다.
- External/In-House 시스템의 Data Ingestion을 일관되고 변화관리에 유연한 형태로 운영 될 수 있도록 연구하고, 수집 퀄리티 관리를 담당합니다.
- 데이터 검증 및 운영을 위한 도구를 개발하고 제공합니다.
- DataOps 관행을 연구하고 도입합니다.



[Data Infra Platform Team에 join하신다면]

- Data Mesh, Self Service Data Platform 을 실현하기 위해, 주도적으로 Ideation을 하고 직접 거버넌스 및 시스템을 디자인 해볼 수 있습니다.
- 멀티 프로덕트 기반의 다양한 도메인 환경에서 발생하는 데이터를 주도적으로 관리할 수 있습니다.
- 데이터 파이프라인 유지 관리를 뛰어넘어, 데이터 기반으로 비즈니스 문제를 해결하기 위한 시스템 구축 및 디자인을 해볼 수 있습니다.
- 비즈니스에 필요한 Data Application을 개발해 볼 수 있는 경험을 할 수 있습니다.
- 글로벌 데이터를 다루다 보니 규모가 굉장히 크고 (수십 TB/day 이상), 대량의 데이터를 바탕으로 기술적으로 다양한 고민과 시도를 해볼 수 있습니다.
- 기존 보다 나은 방향을 끊임없이 연구하고, 합리적으로 새로운 업무 체계나 시스템 도입을 Production에 적용 해볼 수 있습니다.
- EKS, Bigquery, Databricks, Airflow를 활용 중이며, 퍼블릭 클라우드기반의 다양한 데이터 인프라 및 프레임워크를 경험할 수 있습니다.

Responsibilities
  • 데이터 Ingestion 자동화 파이프라인 시스템 구축 관리
  • Data Lakehouse 구축 관리 및 자동화
  • Data Platform 사용 가이드 작성 및 전파
  • 데이터 카탈로그, 리니지 추적 시스템 구축 및 관리
  • Data Infra 비용 최적화
  • ML조직과 ML 학습 파이프라인 최적화 작업 지원
  • 전사 DataOps Lifecycle에서 발생하는 비효율적인 업무를 정의하고 Automation 업무를 수행
  • Market에서 끊임없이 출시하는 다양한 Data Infra Platform 도구들과 시스템에 대한 연구 및 PoC
  • Required Qualifications
  • 5년 이상의 데이터 엔지니어링 실무 경험
  • RDBMS, NoSQL에 대한 기본적인 이해가 있으신분
  • SQL을 사용하여 자신이 분석하고자 하는 것을 능숙하게 구현 가능하신 분
  • Python을 능숙하게 사용할 수 있으시고, 필요한 경우 API 서버등을 활용해 자동화 및 In-House 시스템을 빌드할 수 있는 개발 능력을 보유하신 분
  • Tableau, Power BI, Looker 또는 이와 유사한 BI 도구 사용 경험이 있으신 분
  • Git/Git Actions 사용에 능숙하신 분
  • Databricks, Spark 등을 활용한 신뢰성 있는 대규모 데이터 파이프라인 구현이 가능하신 분
  • 다양한 형태의 데이터 로그들을 다루어 본적이 있고, 표준 데이터로그 설계와 변화관리 설계를 해보신 분
  • Airflow(ETL)에 능숙하고 트러블 슈팅을 주도적으로 해결해 보신 분
  • 영어를 기반으로 한 미팅과 메일 커뮤니케이션이 가능하신 분
  • AWS, Google Cloud등 퍼블릭 클라우드 플랫폼에 대해 사용 경험이 있으신 분
  • Terraform 등 IaC 도구를 통해 데이터 인프라 관리를 수행해보신 분
  • 전사의 다양한 이해관계자들과 협업하고 복잡한 엔지니어링 문제를 이해하기 쉽게 전달할 수 있는 커뮤니케이션 능력을 갖추신분
  • Preferred Qualifications
  • CI/CD, K8S 등 인프라 관련 실무 경험과 역량이 뛰어나신 분
  • Spark, Flink 등 대용량/실시간 처리를 위한 분산/병렬 시스템 개발 경험이 있으신 분
  • ML Pipeline 개발에 대한 실무 경험이 있으신분
  • 새로운 비즈니스 도메인 지식을 빠르게 이해하고, 데이터 기반 의사 결정에 기여하는 것을 즐거워 하시는 분
  • 대규모 데이터를 BI환경에서 최적화 해본 경험이 있으신 분
  • 데이터 품질 관리와 파이프라인 효율성을 높이기 위해 dbt와 같은 툴에 대한 실무 경험이 있으신 분
  • 고용형태/채용절차
  • 고용 형태: 정규직
  • 채용 절차: 서류전형 > Recruiter Call > 1차 면접 > 2차 면접 > 3차 면접 > 최종합격 (* 필요 시 면접 전형 등이 추가로 진행될 수 있습니다.)
  • 서류 전형의 경우 합격자에 한하여 개별 안내드릴 예정입니다.
  • 지원 서류: 자유 양식의 상세 경력기반 국문 또는 영문이력서(PDF)
  • 기타
  • 하이퍼커넥트는 증명사진, 주민등록번호, 가족관계, 혼인여부 등 채용과 관계없는 개인정보를 요구하지 않습니다.
  • 수습기간 중 급여 등 처우에 차등이 없습니다.
  • 제출해 주신 내용 중 허위 사실이 있을 경우 채용이 취소될 수 있습니다.
  • 관련법 상 근로제공에 결격사유가 있는 경우 채용이 취소될 수 있으며, 필요 시 사전에 안내된 채용 절차 외에도 추가 전형 및 서류 확인이 진행될 수 있습니다.
  • 필요 시 지원자의 동의 하에 평판조회 절차가 진행될 수 있으며, 평판조회 결과에 따라 채용이 취소될 수 있습니다.
  • 하이퍼커넥트가 채용하는 포지션에 지원하는 경우, 개인정보 처리에 관하여서는 본 개인정보처리방침이 적용됩니다: https://career.hyperconnect.com/privacy


    #HPCNT

    Please mention No Whiteboard if you apply!
    I'm a one-man team looking to improve tech interviews, and could use any support! 😄


    Get weekly alerts of new jobs from companies not using whiteboard interviews!