Наша сфера - интернет-траффик и всё, что с ним связано=) + Активно развиваемся в сторону нейросетей
В нашем арсенале более 10 внутренних b2b и b2c проектов собственной разработки.​​​​​​​​​​​​​​

Текущая задача: выстроить с нуля архитектуру ML отдела для нашего нового, но уже профитного, игрового продукта мирового масштаба, который динамично растет вместе с командой.​​​​​​​

Мы формируем новую Data Engineering-команду с амбициозной задачей выстроить Lakehouse-инфраструктуру с нуля. В компании уже есть сильные специалисты и ресурсы во всех смежных направлениях, и теперь нам нужен Data Engineer, который возьмёт на себя ключевую роль в проектировании и развитии гибкой и высокопроизводительной платформы для обработки данных.

Наша цель — обеспечить бизнес и продуктовые команды самым современным стеком, который позволит эффективно обрабатывать потоковые и batch-данные, создавать витрины, запускать ML-модели и применять лучшие практики DataOps/MLOps.

1. Разработать архитектуру Lakehouse:
   • Определять подходящие инструменты (Iceberg/Delta/Hudi),
   • Проектировать схемы хранения и структуры таблиц под ACID-транзакционность,
   • Встраивать Data Governance и контроль качества.
2. Создавать и поддерживать пайплайны:
   • Интегрировать данные из множества источников (SQL/NoSQL, API, события в Kafka, RabbitMQ),
   • Использовать Spark (PySpark или Scala) для batch- и streaming-обработки,
   • Оркестрировать пайплайны через Airflow.
3. Обеспечивать производительность и отказоустойчивость:
   • Настраивать кластерную инфраструктуру (Docker/Kubernetes) и CI/CD (GitLab/Jenkins/Bitbucket Pipelines),
   • Оптимизировать сложные запросы, Spark-джобы и логику распределённых вычислений.
4. Внедрять и развивать Data Quality:
   • Использовать библиотеки (Great Expectations, dbt tests или аналогичные решения),
   • Автоматизировать мониторинг качества данных и отслеживание метрик.
5. Работать в тесном контакте с другими командами:
   • Аналитики, ML-инженеры, продуктовые команды будут рассчитывать на стабильные витрины и удобный доступ к данным,
   • Участвовать в планировании и внедрении новых сервисов и функций, связанных с обработкой больших данных.
6. Стать одним из ключевых экспертов:
   • Менторить менее опытных коллег,
   • Участвовать в найме и развитии Data Engineering-отдела,
   • Вносить вклад в формирование культуры и стандартов разработки
     

     
     Наш ожидаемый стек

   • Хранилище: S3-совместимый стор (или распределённое HDFS) + слой Lakehouse (Iceberg/Delta/Hudi).
   • Аналитика и обработка: Spark (PySpark или Scala), SQL (PostgreSQL, ClickHouse), Kafka, Airflow.
   • Инфраструктура: Docker, Kubernetes, Git, CI/CD (Jenkins/GitLab/Bitbucket), мониторинг и логирование (Prometheus, Grafana, ELK).
   • Data Quality: Great Expectations/dbt или подобные инструменты.
   • (Мы открыты к выбору других решений, если вы сможете аргументированно показать их преимущества.)

     Наши требования к кандидатам

   • Опыт от 3–4 лет в Data Engineering или разработке высоконагруженных систем.
   • Уверенные знания:
     • Основы распределённых вычислений, Spark (batch/stream),
     • SQL (включая оконные функции, оптимизацию запросов),
     • Kafka или другой брокер сообщений,
     • Docker/K8s, CI/CD-подходы.
   • Понимание Lakehouse-парадигмы или опыт работы с Data Lake + транзакционными слоями (Iceberg, Delta, Hudi) — большой плюс.
   • Коммуникабельность: нужно будет плотно работать с другими командами и презентовать результаты руководству.
   • Английский язык не ниже Intermediate (для чтения документации и возможных внешних метапов).

Уровень дохода обсудим индивидуально — для нас важно найти «своего» человека.