Data Engineering

Senior Data Engineer Full-time

О компании и команде

Мы создаем единую систему цифровой маркировки и прослеживания товаров в России и странах ЕАЭС. Наша система позволяет снизить уровень контрафакта и гарантировать подлинность товаров, производимых в стране или ввозимых в нее.

С помощью нашего мобильного приложения Честный ЗНАК любой потребитель может проверить товар на подлинность и узнать всю правду о продукте, просто сканируя Data Matrix код, нанесенный на упаковку!

Уже сейчас система обрабатывает миллиарды транзакций ежедневно и оперирует петабайтами данных на скоростях десятки тысяч запросов в секунду.

О команде:

Данные – это нефть 21 века. Данные «Честного знака» - настоящий «клондайк», глобальное месторождение эксклюзивных фактов о товарообороте страны. Мы трекаем поэкземплярно весь товарооборот маркированных товарных групп и на этом строим уникальные показатели.

Мы ищем крепкого инженера в bigdata-команду, обладающего экспертными знаниями в области построения систем на базе Hadoop/Spark.

Ожидания от кандидата

Технологический стек:

Текущий стек команды: Hadoop / Spark 3 (batch/streaming) / Scala / SQL / Parquet / Hive / Kafka / HBase / ClickHouse / PostgreSQL / Airflow / Zeppelin / Jupyter/ S3 MinIO

Смотрим в сторону: Iceberg для MOR, COW / DBT модели для данных / Твоего опыта и исследований

Наши данные в цифрах: поток > 20k RPS, > 900 млрд. фактов, > 10Пб данных в HDFS.

Чем предстоит заниматься:

  • Влиять на стратегию развития архитектуры платформы, исследованиями и разработкой пилотных решений.
  • Предлагать, отстаивать и реализовывать архитектурные решения (POC).
  • Настраивать сборку приложений и их размещение как docker контейнеров в k8s, мониторинг их работоспособности.
  • Участвовать в pre-prod тестировании, выводе приложений в PROD среду и диагностике в случае сбоев.
  • Тесное сотрудничать с другими командами департамента по внедрению разработанных решений.
  • Прототипировать ETL процессы c необходимым эмулированием данных с использованием Jupyter Lab / Zeppelin.
  • Работать в команде преимущественно в режиме удалённой работы.

От успешного кандидата мы ожидаем:

  • Подтвержденный опыт разработки от 5 лет.
  • Понимание базовых структур данных.
  • Опыт применения алгоритмов и возможность про них рассказать.
  • Уверенные знания и опыт работы в стеке Spark (batch/streaming) on Hadoop.
  • Опыт работы с реляционными БД.
  • Экспертное знание SQL.
  • Уверенное знание Scala.
  • Знание и опыт работы с DevOps, понимание принципов CI/CD в области обработки данных.

Условия работы

  • Сложные и интересные задачи, работа с реально большими объемами данных и современным востребованным стеком.
  • Возможность поработать с новыми технологиями и прокачать скиллы, постоянно развиваться.
  • Молодая, экспертная, увлеченная и талантливая команда, у которой можно многому научиться, культура открытости и взаимопомощи.
  • Конкурентная ЗП, оформление по ТК РФ.
  • ДМС со стоматологией после испытательного срока, ДМС для семьи с корпоративными скидками.
  • Страхование жизни и здоровья.
  • Корпоративный психолог.
  • Buddy-поддержка во время адаптации.
  • Обеспечиваем рабочей техникой на базе последних Macos / Windows.
  • Возможность участия в митапах, конференциях.
  • Гибкое начало рабочего дня.
  • Возможность работать удаленно/частично удаленно, в офисе в Москве или Санкт-Петербурге.
  • Корпоративный мерч.
  • “Кафетерий” льгот (возмещение расходов на любое самообразование, спорт, ДМС для членов семьи, доступ к ИТ сервисам и т.д).

Overview

Apply For This Job