Data Engineering

Data-инженер DWH в Маркет Full-time

О компании и команде

Яндекс Маркет — один из крупнейших мультикатегорийных маркетплейсов, которым ежедневно пользуются миллионы людей. Наши команды помогают покупателям приобретать товары не выходя из дома и получать заказы по всей стране, а партнёрам — развивать свой бизнес, повышая продажи и привлекая новых клиентов.

Мы команда инженеров данных, и продукт нашей команды — Data WareHouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Нашими пользователями являются как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Можно утверждать, что все бизнес-подразделения Маркета являются потребителями поставляемых нами данных.

Технологически ядро хранилища построено на системах хранения данных YTsaurus и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса.

Наше хранилище данных сейчас одно из самых крупных в России — порядка 30 петабайт — и с учётом темпов роста бизнеса оно будет самым большим. Стоит отметить, что к нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.

Какие задачи вас ждут

  • вести разработку ETL-процессов поставки данных;
  • выявлять неэффективность в существующих процессах и оптимизировать их;
  • проектировать структуру хранения данных;
  • участвовать в развитии фреймворка поставки данных;
  • погружаться в данные одной из прикладных бизнес-областей и становиться в них экспертом;
  • сопровождать разработанные процессы ETL.

Ожидания от кандидата

Мы ждём, что вы

  • уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов;
  • знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными.

Будет плюсом, если вы

  • проектировали DWH: слои, модели хранения данных, процессы ETL;
  • понимаете принципы работы хотя бы одной технологии распределенной обработки данных: Hadoop, ClickHouse;
  • имеете опыт промышленной разработки на одном из языков высокого уровня: Java или C++;
  • умеете работать в командной строке систем Unix-like: Linux, macOS.

Условия работы

Что мы предлагаем

  • Высокий совокупный доход
  • Премии каждые полгода для всех, кто успешно прошёл ревью.
  • Офисы, в которые хочется ходить
  • Удобные, красивые и технологичные офисы с зонами для работы и отдыха, спортзалами, йога-классами, массажными кабинетами и не только
  • В офисах есть бесплатные парковки для машин и велосипедов

Расширенная медицинская страховка

  • 9 видов чекапов, телемедицина 24/7, лечение критических заболеваний
  • Психотерапия — компенсация сессий в «Ясно» и Яндекс Здоровье, психотерапевты в клиниках и офисах
  • Стоматология — плановые процедуры, профессиональная чистка и приёмы стоматолога-ортодонта
  • Через год работы можно сделать лазерную коррекцию зрения. После 2 лет в ДМС входит ведение беременности и роды
  • компенсируем 80% стоимости ДМС для супругов и детей

Возможности для роста

  • Есть всё, чтобы учиться: внутренняя платформа с 100+ курсами, менторство и программы для руководителей
  • Оплачиваем участие в профильных конференциях и помогаем подготовиться к публичным выступлениям
  • Если для рабочих задач нужен иностранный язык, организуем обучение и оплатим 50% стоимости

Жилищная программа

  • После года работы при соответствии правилам программы можно получить заём с льготной ставкой на покупку жилья или ремонт

Компенсация питания

  • На бейджике сотрудника есть ежедневный лимит, который можно тратить на еду и напитки в столовых офисов, кофейнях и ресторанах поблизости

Скидки от партнёров

  • Бейджик Яндекса помогает экономить в самых разных местах: от спортивных магазинов и отелей до груминг-салонов и образовательных курсов

Overview

  • Employer: Яндекс
  • Job Title: Data-инженер DWH в Маркет
  • Published: 3 months, 1 week ago
Apply For This Job