Data Engineering

Дата инженер (Data engineer) Full-time

О компании и команде

Мы в поиске Инженера данных.

Наша команда занимается разработкой моделей машинного обучения, аналитикой и визуализацией данных. В настоящий момент данные разрознены между отделами, подразделениями и многочисленными контрагентами и предстоит объединить, структурировать их и создать единое хранилище, которое станет основой для работы аналитиков и Data Scientist. Мы стремимся к тому, чтобы все данные были легко доступны для анализа и визуализации, создавая функциональные дашборды для принятия обоснованных решений.

Сейчас команда состоит из трех человек.

У нас ты будешь:

  • Разрабатывать, обслуживать и развивать DWH Clickhouse.
  • Наполнять хранилища данных актуальной информацией из различных источников.
  • Реализовывать, автоматизировать и поддерживать ETL процессы.
  • Обеспечивать надёжное хранение, обработку и передачу данных между системами.
  • Вести техническую документацию.

Ожидания от кандидата

  • Законченное высшее физико-математическое или IT образование.
  • Опыт работы от 3 лет.
  • Уверенные знания SQL, Python.
  • Знание моделей и структур проектирования баз данных.
  • Понимание процессов загрузки и обработки данных ETL и ELT.
  • Опыт работы с базами данных PostgreSQL, Oracle, GBQ.
  • Знание основных принципов и технологий: GitLab, Spark, Kubernetes, ArgoCD, Prefect (Airflow).
  • Аналитические способности и умение решать сложные задачи.

Будет преимуществом:

  • Знание Java или Scala.
  • Опыт разработки DWH хранилищ с нуля.

Стэк:

Spark on Kubernetes в инфраструктуре Yandex Cloud. В качестве оркестратора процессов используется Prefect. Используем Yandex Object Storage как Data Lake.

Условия работы

  • Команда, которая поможет влиться в коллектив и процессы: составим onboarding-план, ознакомим с документацией, расскажем о проектах.
  • Оформление ТК РФ и белая ЗП.
  • Конкурентоспособный уровень дохода (отталкиваемся от ожиданий и твоей квалификации).
  • График работы 5/2. Гибкое начало рабочего дня с 8:00 до 10:00.
  • Формат работы офис/гибрид.
  • Лояльное руководство, возможность влиять на принятие решений.
  • Комфортные условия труда: современный, светлый офис, мягкие зоны отдыха на каждом этаже.
  • Корпоративные мероприятия, благотворительные проекты, подарки к праздникам и значимым датам.

Overview

  • Employer: Вита
  • Job Title: Дата инженер (Data engineer)
  • Published: 5 months, 1 week ago
Apply For This Job