Мы набираем IT специалистов в большую команду для работы на проектах для крупного и динамичного российского банка.
В Центре экспертизы данных розничного бизнеса Департамента планирования и аналитики розничного бизнеса (ДПАРБ) открыта вакансия руководителя направления качества данных для розницы.
Основные источники данных: КХД и прочие мастер-системы. Проектирование решений осуществляется в двух системах: в Аналитической подсистеме розничного бизнеса (MS SQL) и в Новой платформе данных (Datamesh). Постепенная миграция на новую платформу данных.
В рамках проекта будет производиться разработка и внедрение Платформы Данных в парадигме DataMesh.
В рамках платформы создан Домен данных Розницы.
В нем будут использованы инструменты и сервисы, поставляемые платформой.
А также часть инструментов будет дорабатываться\внедряться командой Домена.
Домен является поставщиком (основная функция) и потребителем данных других доменов (типа орг. структура, НСИ и т.п.).
Источниками данных выступаю АС Банка по обслуживанию ФЛ, их интеграционные слои и система НСИ.
Стек:
• Spark, Spark Streaming, Scala - как язык для перекладки и обработки данных (ETL);
• ClickHouse - слой витрин для отчетов BI;
• GreenPlum - публичная зона для обмена данными между доменами;
• IceBerg, HDFS, S3 - детальные данные Домена;
• Оркестраторы из пула Argo, Dagster, AirFlow;
• BI: FineBI, PowerBI, SuperSet;
• Среда доступа к данным через SQL: Trino.
• Владение моделью данных Домена Розницы. (Сущности, атрибуты, связи и т.п.);
• Организация процесса взаимодействия с командами источников данных в части качества и полноты данных;
• Проработка и заключение SLA по качеству и доступности данных в источниках, а также с потребителями данных Домена Розницы;
• Участие в проработке архитектуры потоков данных в / из Домена Розницы;
• Руководство группой аналитиков по качеству данных;
• Проработка и контроль метрик по качеству данных в дата продукта Домена Розницы.
Mandatory Skills Description:
• Понимание жизненного цикла данных Розничного бизнеса банка (Жизненный цикл клиента ФЛ, банковского продукта, НСИ);
• Понимание учета данных в системах бек-офиса. Классификация и определение мастер-системы по данным;
• Опыт в проектировании систем качества данных (проектирование лог. модели системы, описание и бизнес логику проверок);
• Понимание влияния срабатывания контролей на процессы Розничного бизнеса;
• Опыт работы системным аналитиком на проектах по хранилищу данных / big data - дата-профайлинг в источниках, проектирование модели данных, витрин, маппинга на источники;
• Понимание архитектуры хранилища данных / big data систем;
• Понимание процесса разработки ETL (жизненный цикл разработки и вывода кода в ПРОМ);
• По стеку - знаком с особенностями и разницей РСУБД и noSQL, форматы интеграции систем в онлайн и батч-обработке.