О компании и команде
Лига Цифровой Экономики находится в поисках коллеги на проект по автоматизации кредитного процесса крупного Банка. Команда будет заниматься разработкой и выводом витрин данных в промышленный контур (Hadoop), исследованием новых источников данных, строить интеграцию со смежными системами.
Мы ищем специалиста в области DE, готового делиться своими знаниями с коллегами. Планируется расширение команды под цели миграции функционала легаси-системы на целевую платформу. Впереди большое количество задач и широкий горизонт для их технической реализации. Есть возможность стоять у истоков проекта и непосредственно влиять на его технологическое развитие.
Твои задачи:
- Исследование источников данных (внешних данных, реплик АС Банка, других витрин)
- Разработка и изменение витрин данных на Hadoop исходя из требований аналитиков данных
- Создание алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц
- Написание функций для первичной обработки, преобразования и агрегации данных на Spark (Scala, Java, Python)
- Code Review изменений, предлагаемых коллегами из своей и соседних команд
Ожидания от кандидата
- Знание SQL на уровне аналитических запросов
- Умение обращаться с git, bash
- Знания языков программирования Java/Scala, Python
- Понимание работы Hive, Spark на Hadoop
Будет плюсом:
- Опыт разработки на Spark/PySpark
- Оптимизация выполнения сценариев на Spark
- Опыт использования Apache Oozie
- Понимание процессов ETL, ELT
Условия работы
- У нас современный стек технологий и работа в гибкой методологии разработки, микросервисная архитектура приложений
- Удаленный или гибридный формат работы, гибкое начало рабочего дня
- Безграничная прокачка скиллов
- Возможность принять участие в проектах разной сложности, масштаба и направленности, повысить свой экспертный уровень
- Сессии профессионального развития персонала дважды в год, результатом которых является план индивидуального развития каждого сотрудника и получение обратной связи
- Новая техника для комфортной работы
- Корпоративная культура с своими ценностями и традициями, в которой каждый чувствует себя частью команды