Data Engineering

Data engineer/ Spark разработчик Full-time

О компании и команде

Наш проект, это система принятия решений, которая позволяет оценить возможность выдачи клиенту кредитного/ипотечного продукта.
Стек: Java 11 / 17, Python, SQL. Базы данных: Oracle, PostgreSQL, GreenPlum.
Эко-система Hadoop: HDFS, Apache AirFlow, Spark, Kafka, Hive.

Чем предлагаем заниматься:

  • Написание микросервисов на Java для системы с микросервисной архитектурой
  • Ревью кода, написанного другими разработчиками
  • Участие в проектирование систем с микросервисной архитектурой
  • Разработка системы финансовых расчетов с использованием Spark

Ожидания от кандидата

  • Знания и опыт использования Apache Airflow для создания и управления рабочими процессами и потоками данных
  • Знание Python для создания пользовательских задач и скриптов в Apache Airflow
  • Опыт работы с базами данных, предпочтительно PostgreSQL, для хранения метаданных и результатов обработки данных
  • Понимание принципов микросервисной архитектуры и опыт ее применения
  • Знание практик SOLID/GRASP или иных подходов к чистому коду
  • Опыт с работы с Kafka
  • Глубокие знания и опыт использования Apache Spark для обработки и анализа больших объемов данных
  • Опыт работы с распределенными системами и параллельным программированием
  • Умение оптимизировать производительность и работу приложений на основе Apache Spark

    Будет плюсом:
  • Cloudera Spark CCA или CCP
  • Опыт оптимизации запросов к Postgres, Oracle
  • Понимание как устроен Kubernetes
  • Опыт использования Spark без HDFS

Условия работы

  • Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия
  • Полную удалёнку, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи
  • Сложные и интересные задачи, современный стек технологий
  • Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
  • Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
  • Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
  • Доступ к бесплатным корпоративным библиотекам Alpina Digital, МИФ и бизнес-изданий
  • Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины
  • Льготные условия на банковские продукты
  • Персональные предложения от партнеров Альфа-Банка

Overview

  • Job Title: Data engineer/ Spark разработчик
  • Published: 1 month, 4 weeks ago
Apply For This Job