Цели нашей команды:
Построить модель здоровья ML-сервисов
Модель здоровья — система мониторингов, следящая за тем, чтобы сервис работал как ожидается. В ожидания входят и стандартные технические показатели для бэкенд-сервисов (свободное место на диске, доля «пятисоток» в ответах сервиса и другие), и специфичные для ML показатели (свежесть поставки данных, корректность расчётов внутренних витрин данных, полнота данных в ответах сервиса).
Запустить Feature Store
ML-модели прогнозирования и рекомендаций в Еде базируются на статистических данных и их агрегатах. Каждое направление разрабатывает для ML-моделей сигналы и факторы на данных, соответствующих её доменной области. Feature Store позволит эффективно обмениваться факторами между командами без дублирования расчётов и предоставит платформу мониторинга качества сигналов. В рамках задачи предстоит дизайн архитектурного решения, реализация и интеграция в существующие пайплайны.
Развить инфраструктуру для реактивной поставки сигналов
Рекомендательные системы полагаются на историю пользовательских действий внутри приложения. Возможность доставлять события с задержкой до нескольких секунд позволит учитывать предпочтения пользователя в рамках сессии и повысит качество рекомендаций. Проект подразумевает разработку стриминга событий на базе Flink, хранение и раздачу профилей пользователей из key-value хранилищ Яндекса.