Data Engineering

Team Lead Data Engineer в Чековую аналитику Full-time

О компании и команде

X5 Group — российская розничная торговая компания, управляющая продуктовыми торговыми сетями «Пятёрочка», «Перекрёсток» и «Чижик», а также цифровыми сервисами «Vprok.ru Перекрёсток», 5Post, «Много Лосося» и медиаплатформой Food.ru.

X5 Tech - IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 4000 специалистов разрабатывает решения, которые помогают 372 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.

Основная задача, которую решает направление чековой аналитики — это обеспечение доступности товара на полке для конечного потребителя. У нас разработаны 2 системы, которые помогают в решении этой задачи:
1) Система детекции аномалий в продажах и отправка предупреждение для сотрудников магазинов о том, что нужно проверить/положить товар на полки;
2) Система, выполняющая оценку упущенных продаж и нахождение причин недоступности товаров. На выходе получается дашборд, с которым работает менеджмент компании, чтобы управлять доступностью товаров.

Проект строится вокруг ML моделей, также большая часть проекта связана с биг-дата-инженерией и интеграционными сервисами. Продукт работает на масштабе всех магазинов торговых сетей Пятерочка и Перекресток.

Ожидания от кандидата

В нашей команде тебе предстоит:

  • Заниматься написанием пайплайнов по работе с данными с использованием Airflow, Spark (пример: регулярный расчет фичей для модели, построение витрин с данными, их обновление, расчет метрик качества данных для мониторинга);
  • Оптимизировать расчеты для выдерживания SLA;
  • Настраивать мониторинг и алертинг качества данных и фичей;
  • Проектировать продукты (пример: пайплайны данных, микросервисы, взаимодействие с бэкендом);
  • Выбирать оптимальное хранилище данных, движка расчетов, под различные проекты/продукты подразделения;
  • Заниматься миграцией на новые версии hadoop, spark;
  • Общаться с заказчиком/продуктом, понимать бизнес-логику (пример: приземлить желания бизнеса на наши доступные данные). Также детальное погружение в требования бизнеса и оценка трудозатрат, поиск альтернатив;
  • Общаться с аналитиками (пример: поставить задачу на проверку качества данных смежной команде и по итогам сделать ревью), перевод концепций в SQL.

Мы ждём тебя, если ты:

  • Владеешь опытом работы с Python от 2 лет;
  • Имеешь опыт с Hadoop, Hive, Spark, понимание архитектуры больших данных;
  • Обладаешь опытом работы с потоками данных (Kafka или аналог);
  • Знаешь SQL;
  • Знаешь классические алгоритмы и структуры данных;
  • Имеешь опыт работы с docker, git (kubernetes, pyspark, airflow и ds фреймворков – не обязательно, но будет плюсом);
  • Умеешь нанимать команду и развивать ее, брать ответственность за ее результат.

Будет плюсом:

  • Понимание процессов тестирвоания (unit tests, pytest), тестов для различных участков ML пайплайна, участие в код ревью;
  • Внедрение и поддержание правил оформления кода в команде (с использованием CI, а также собственной харизмы);
  • Опыт работы с ML, выведения ML моделей в прод.

Условия работы

  • Официальное оформление с белой ЗП, ежеквартальные премии по результатам работы;
  • Удобный офис с бесплатной парковкой на м. «Волгоградский проспект» / МЦД «Калитники»
  • Гибкий график работы (с 8/9/10 утра) / График работы: 5/2, с 9:00 до 18:15 (в пятницу — до 17:00);
  • Возможность работать удалённо из любой точки мира или в гибридном формате;
  • Широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья;
  • Возможность учиться и развиваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, участие в крупнейших конференциях страны, программы развития цифровых и управленческих навыков (Цифровая академия, Школа Тимлидов), онлайн и офлайн мастер-классы, корпоративный университет «X5 Полка», школа наставников и многое другое;
  • Программы мотивации для спикеров и авторов: внутренняя школа Speak Up School, Write Up, ачивки и баллы за выступления, подготовка спикеров к крупнейшим конференциям страны, сообщество авторов на Хабре, возможность шерить опыт с комьюнити внутренних и внешних экспертов;
  • Обмен опытом через cообщества: 12 технических комьюнити от java до devops;
  • Яркая корпоративная жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации: регулярные внутренние митапы, демо-дни, открытые микрофоны, день IT-специалиста, программы волонтерства, корпоративное предпринимательство X5 Idea Challenge.

Overview

  • Employer: X5 Tech
  • Job Title: Team Lead Data Engineer в Чековую аналитику
  • Published: 3 weeks, 3 days ago
Apply For This Job