О компании и команде
Мы создаём и развиваем платформу данных (Data Platform) с распределённой архитектурой в крупном международном финтехе, которая предоставляет пользователям инфраструктуру, данные и экспертизу как единый сервис и обеспечивает непрерывную поставку ценностей для поддержки процессов принятия решений на основе данных.
В основе построения платформы данных заложен продуктовый подход (развитие функциональности от потребностей пользователей), который распространяется на платформу и сами данные.
Предполагается работа в сервисной команде, которая отвечает за интеграцию и доставку данных из продуктовой среды в контур платформы данных, разработку интеграционных сервисов/процессов, а также компонентов и утилит для автоматизации процессов и поддержки работы пользователей платформы.
Ваши задачи:
- Разрабатывать и сопровождать разработку потоков данных из корпоративных систем в контуре платформы данных.
- Взаимодействовать с коллегами DevOps/DBA по настройке окружений, деплоя, работы с инфраструктурой.
- Разрабатывать DQ процессы, средства мониторинга и уведомлений о качестве данных.
- Оперативно решать проблемы с качеством данных, задержками их доставки.
- Взаимодействовать с архитектором данных, командой инфраструктуры, командой разработки продукта, командой DWH
Ожидания от кандидата
- Продвинутый уровень владение Python от 1,5 лет
- SQL, умение писать production ready сервисы для деплоя в k8s
- Отличные навыки работы с Kafka и понимание внутреннего устройства
- Опыт построения пайплайнов потоковой и пакетной выгрузки/обработки данных
- Опыт оптимизации запросов и проектирования схем данных
- Знание концепций OLTP/OLAP, знакомство с современными системами хранения данных (MPP, NoSQL)
Желательно:
- Знание Java, Spark;
- Опыт работы с AirFlow;
- Понимание основ DataOps:
- Опыт DevOps (Docker, k8s, Gitlab-CI, настройка окружения и др.);
- Опыт работы с PostgreSQL/Clickhouse/Vertica;
- Опыт проектирования высоконагруженных приложений;
- Понимание архитектуры и принципов построения хранилищ данных;
- Навыки работы с облачными платформами (у нас AWS и Yandex Cloud).
Условия работы
Сильная команда экспертов.Личный наставник, помогающий погрузиться в проект.Самый передовой стек технологий.Обеспечиваем техникой (ноутбук, второй экран, гарнитура).Корпоративная мобильная связь.Сертификация за счет компании.Ежегодная аттестация, по итогам которой формируется индивидуальный карьерный план развития.Развитая корпоративная культура: неформальные мероприятия, интеллектуальные игры, собственная Киберлига, возможность заниматься волонтерской деятельностью и благотворительностью, творческие вечера.Регулярное обучение, участие в профильных конференциях. Дополнительные инструкции
Буду рада рассказать подробности в лс или тг @Anastasya_IBS