Data Engineering

Data Engineer Full-time

О компании и команде

Цель нашей команды — построить надёжную дата-платформу, интерфейс в мир данных и решений на данных для бизнеса.
Для этого используем современный стек, LakeHouse архитектуру и не забываем об Observability.
Ищем талантливого инженера данных для усиления нашей команды. Будем вместе развивать дата-платформу, получать новый опыт и обмениваться знаниями. Присоединяйся, у нас интересно!

Основные задачи

  • Разработка пайплайнов для загрузки и обработки данных
  • Проектирование архитектуры и логики хранения данных
  • Настройка проверок качества и информирование об аномалиях
  • Развитие инфраструктуры платформы и мониторинг производительности
  • Организация деплоя, тестирования и ревью кода
  • Создание дата-продуктов для аналитических коман

Ожидания от кандидата

  • Практический опыт в проектах по созданию DWH, DataLake, LakeHouse
  • Работа с аналитической MPP базой, ClickHouse - отлично
  • Оркестрация Airflow, моделирование DBT
  • Разработка Python, SQL, PySpark
  • Интеграция Kafka, REST API, реляционными/NoSQL DB, CDC
  • Хранение S3, форматы Iceberg, Orc, Parquet
  • Настройка GitLab CI, Docker, docker-compose
  • Высшее техническое образование, широкий кругозор в data-технологиях

Будет плюсом

  • Управления Kubernetes кластером
  • DataOps с использованием Kubernetes
  • Работы с ArgoCD, Terraform, Vault
  • Практика внедрения Trino
  • Разработки self-service инструментов и дата продуктов

Условия работы

  • Оформление в официально аккредитованную IT-компанию
  • Белая заработная плата
  • Годовая премия по результатам работы до 15% от суммарного оклада за 12 месяцев
  • 30 000 бонусных рублей на услуги компании ежегодно
  • Релокационный бонус при переезде
  • Бесплатные обеды и кофе-брейки
  • Офис в Санкт-Петербурге, 10 минут пешком от м. Московские ворота, своя парковка (и для велосипедов тоже)

Overview

  • Employer: Selectel
  • Job Title: Data Engineer
  • Published: 1 month, 1 week ago
Apply For This Job