Разработчик Big data

16 ноября 2020    32
Откликнуться

Проект:
Построение единой аналитической платформы, хранилища Data Cloud с нуля, для внутреннего корпоративного пользования. Платформа включает в себя централизованное корпоративное хранилище данных, витрины отчетности и BI-инструменты, аналитические «песочницы» данных и инфраструктуру для применения моделей искусственного интеллекта.

Обязанности:

  • Проектирование и разработка процессов загрузки данных в единую модель данных КХД в Hadoop, загрузки данных и расчета витрин в Vertica;
  • Оптимизация и настройка производительности ETL процессов;
  • Проведение исследований новых технологий в рамках R&D;
  • Разработка системы контроля качества данных, регламентных служебных процессов для обслуживания загрузки КХД;
  • Рефакторинг существующих решений по загрузке данных и расчету витрин, перевод их на новую модель и инструменты.

Требования:

  • Опыт работы с экосистемой Hadoop (HDFS, Hive, Spark);
  • Опыт программирования на Python (базовый) и работы с Apache Airflow;
  • Понимание архитектуры организации хранилищ данных и систем обработки данных (онлайн, батч режим).


Бонусы

Компания готова предложить:

  • Развитие в команде профессионалов и работу с использованием гибких методологий разработки ПО;
  • Профессиональное обучение за счёт компании;
  • Стабильность, белая зарплата, полное соблюдение ТК РФ;
  • ДМС со стоматологией и скидки от компаний-партнеров;
  • График работы 5-дневка, в современном офисе в Москве рядом с метро (на время карантина на удалёнке) или полностью на удалёнке.

Подписывайтесь на наш телеграм-канал @remotelist, чтобы всегда быть в курсе новых вакансий! Дайджесты с новыми вакансиями появляются каждые 2-3 часа.

Еженедельная рассылка топ-15 самых просматриваемых вакансий сайта. Письмо приходит каждое воскресенье.