О компании и команде
Привет!
Я Миша, Head DWH в Magnit Tech.
Ищу Data Engineer на проект построение и развитие Хранилища Данных.
Основные задачи - развитие существующего фреймворка загрузки сырьевых данных и построения витрин над ними, развитие Дата Каталога, движка Data Quality.
Чем ты будешь заниматься
В первые три месяца:
- Погрузиться во фреймворки загрузки данных и расчета витрин на основе задач по одному из направлений
- Освоиться в предметной области данных
- Проводить code review аналитиков с целью использования ими лучших технических решений и оптимизации производительности
Когда освоишься:
- Создавать новые паттерны загрузки данных и расчета витрин для дальнейшего переиспользования
- Развивать модель данных
- Рефакторить текущие процессы, предлагать лучшие практики работы с данными
- Самостоятельно вести проекты, нужные бизнесу. Декомпозировать их до понятных технических задач
Ожидания от кандидата
- Знать особенности MPP систем
- Уверенно владеть SQL(Оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса)
- Иметь опыт с Python достаточный для разработки операторов в AirFlow(ООП) и написания пайплайнов данных из различных источников
- Понимать принципы работы AirFlow(Даги, таски,операторы,сенсоры,хуки,контекст
Будет плюсом
Опыт в GreenPlum и/или ClickHouse(особенно шардированный)
Условия работы
- очень интересный сложный продукт с большим количеством пользователей
- формат работы: полная удаленка, при желании – гибрид/офис
- высокая заработная плата (обсуждается индивидуально - можно повлиять на сумму оффера)
- оформление в IT-компании, аккредитованной в Министерстве цифрового развития