О компании и команде
Тебе предстоит заниматься разработкой аналитической платформы.
Мы стремимся сделать единую точку входа для всей аналитики в VK и ищем нового сотрудника, с которым мы смогли бы это сделать быстрее и успешнее.
У нас используется стек Hadoop/Kafka/PySpark/Clickhouse. Для аналитики используются данные размером десятки петабайт. Предстоит работать с настоящей BigData.
Мы планируем доработать и улучшить существующие сервисы, внедрить их как экосистему в большинство проектов внутри VK, объединить несколько Hadoop кластеров и многое другое.
Задачи:
- разработка DWH платформы;
- проектирование схем для хранения данных;
- автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/маркетинговые платформы и т.д.);
- автоматизация data-pipelines, ETL-процессов;
- автоматизация построения витрин данных;
- организация CI/CD и мониторинга процессов обработки данных;
- готовность разбираться в чужом коде;
- ревью кода в команде.
Ожидания от кандидата
- опыт разработки на Python;
- опыт DWH разработки;
- понимание принципов работы классических СУБД;
- работа с Linux Bash.
Будет плюсом:
- знакомство и опыт работы с экосистемой Hadoop;
- опыт работы с MPP базами;
- опыт организации ETL-процессов обработки данных.
Условия работы
Работа в VK— это:
- возможность создавать продукты и сервисы, которые меняют к лучшему жизнь миллионов пользователей;
- амбициозные задачи, масштабные проекты и возможности для профессионального роста;
- совместные интересы и увлечения: помогаем раскрывать таланты и отлично проводить свободное время;
- работа в команде профессионалов из разных сфер, которые всегда готовы поделиться опытом;
- программа благополучия: заботимся о здоровье и хорошем самочувствии сотрудников;
- компенсация питания в кафе и ресторанах рядом с офисами — 800 рублей в день;
- компенсация спортивных активностей — 30 000 рублей в год в регионах и 35 000 рублей в год в Москве и в Санкт-Петербурге;
- 16 корпоративных команд по 12 видам спорта.
Присоединяйтесь к нашей команде, чтобы создавать сервисы и технологии, которые улучшают качество жизни миллионов людей.