Data Engineering

ETL developer Full-time

О компании и команде

Проект: Построение дата-платформы компании, от выбора технологий, до реализации задач развёртывания компонентов для построения современного стека для принятия решений на данных

Стек: Java\python Kubernetes, Kafka, Kafka connect, Spark/Flink, Data lake (dremio), SQL (Postgres, Clickhouse), temporal database, GitOps, Argo CD

Ожидания от кандидата

От Вас:

  • уверенные знания SQL middle+ (Postgres, Clickhouse)
  • Понимание ETL процедур (Python, REST, SQL, Java) и способов интеграции
  • Опыт общения со стриминговыми данными (kafka)
  • базовое понимание GitOps
  • Опыт написания автотестов как плюс

Условия работы

Что делать:

  • Построение и поддержка интеграций с различными системами
  • Написание коннекторов, адаптеров и SQL кода по загрузке, трансформации и валидации данных 
  • Активное участие в построении мониторинга таких процедур и качества данных (совместно с DQ-инженерами)
  • Участие в построении DataOps, GitOps процедур

Дополнительные инструкции

Взамен:

  • ТК РФ, ДМС (включая стоматологию и госпитализацию)
  • Новый социально значимый проект в начальной стадии разработки с 500к пользователями
  • Дружный доброжелательный коллектив, в котором приятно работать, лояльное руководство
  • Скидки на спорт, кино, языковые курсы 

Overview

  • Employer: Газпром ID
  • Job Title: ETL developer
  • Published: 11 months, 2 weeks ago
Apply For This Job