Data Engineering

DWH-разработчик (PostgreSQL + Python) Full-time

О компании и команде

Группа НМЛК – это крупнейший в России производитель стали для ключевых отраслей: от строительства до ветроэнергетики. У компании есть площадки в Европе, Азии и США, и ИТ-специалистов в штате около тысячи.

Меня зовут Антон Устюгов, и я руководитель направления корпоративных решений, сейчас мы ищем middle DWH-разработчика (PostgreSQL + Python).

Ожидания от кандидата

Нам надо делать много локальных хранилищ на Постгресе. Основное корпоративное хранилище на Хадупе, но его трогать не надо. Например, одна из возможных наших задач — построить хранилище под HR-события. Сейчас там есть уже хранилище наподобие реляционной базы, и оно не очень-то удобно для расчёта сквозных отчётов. Если мы попробуем выгрузить что-то вроде «сколько человек имело опыт с энергетическими проектами в компании», ответ придёт через 2 дня. А надо — через 2 минуты. 

Или, еще пример запроса — монитор статуса заказов. Это похоже на трекер посылок, только для вагонов со сталью, чтобы клиенты НЛМК смогли онлайн отследить, где их металл. Есть ещё хранилище для сбора данных и аналитики по всей производственной цепочке, где мы эффективны, а где не очень, и в целом сколько нам нужно времени, чтобы реализовать тот или иной заказ.

Вам нужно будет проектировать и строить, а потом поддерживать такие хранилища.

Для нас важно:

Опыт 3–6 лет разработки или доработки DWH (структуры, модели данные, как делаются интеграции). SQL нужен сильнее, чем Питон.

Как строится работа:

Стек — PostgreSQL, Airflow (+NiFI, Oozie), Python (Numpy, Pandas, SCiPy). Плюсом будет знание Kafka Streaming and Connect, Flink, Spark Streaming; опыт с реляционными MSSQL, Oracle, PostgreSQL, MySQL; опыт с NoSQL типа ClickHouse, Cassandra, ScyllaDB, MongoDB, Redis; Git.

Речь про логическую и физическую архитектуру, модели данных источников, слои STG/ODS/DDS/DM, настройки интеграций, анализ требований к качеству данных, разработку методики и метрики управления качеством данных, поиск факторов и корневых причин: подготовка, очистка, обогащение, стратификация, визуализация, анализ данных.

Испытательный срок — мы на берегу договариваемся с кандидатом о перечне задач. Это то, что нужно успеть сделать за 3 месяца. Периодически вместе обсуждаем прогресс.

Годовая цель — техническое лидерство. Это значит, что вы в пределах своего кусочка системы или даже целой системы точно знаете, как она устроена. И если бизнес приходит с какой-нибудь доработкой, надо уверенно сказать: «вы чего удумали, это положит всю систему, так не работает, но можно сделать так-то и так-то».

Встреч довольно много, потому что полная удалёнка. Команда в разных городах России и в разных часовых поясах. Есть синхроны плюс работа с подрядчиком, работа с бизнес-заказчиком. Две встречи в день примерно. На код остаётся минимум полдня, но на разных стадиях проекта, возможно, эта пропорция меняется.

Условия работы

Зарплата в рынке + ежегодная переиндексация. 

Удалёнка или гибрид по желанию. Возможны выезды за границу, но постоянно за границей работать не получится.


Бонусы

ДМС с стоматологией, скидки на ДМС для родственников, страховки на время путешествий, внутренний университет, конференции и внешнее обучение. 

Корпоративные льготы: корпоративная сотовая связь, летние путёвки для детей, новогодние детские подарки, программы лояльности от партнеров, корпоративная дотация на питание, материальная поддержка сотрудников в различных жизненных ситуациях.

Overview

  • Employer: НЛМК
  • Job Title: DWH-разработчик (PostgreSQL + Python)
  • Published: 6 months ago
Apply For This Job