Data Engineering

Data engineer Full-time

Условия работы

Привет! На связи MAGNIT Tech 🧲 -  аккредитованная IT-компания. 

Мы объединяем технологии, цифры и людей, строим сложные системы, чтобы совершать самые важные покупки было просто во всех уголках страны.

Сейчас наша команда в поиске Data engineer для нового, перспективного проекта, связанного напрямую с E-commerce. 

Что нужно будет делать?: 

  • Создавать потоки для пакетной транспортировки данных (ETL/ELT) посредством технологий Apache Spark и Apache Airflow
  • Развивать потоки для потоковой транспортировки данных (Streaminig) посредством технологий Apache Kafka и Apache Structured Streaming
  • Реализовывать оптимальный код с учетом SLA для решения бизнес-задач в виде проектов Python и SQL на платформе Apache Hadoop с помощью технологий Apache Spark, Apache Livy, Apache Hive
  • Развивать и оптимизировать существующие процессы в системе управления задачами и балансировке нагрузки с помощью Python и Apache Airflow
  • Работать с версионным хранилищем кода и сложными процессами непрерывной интеграции и доставки кода на прод (CI/CD GitLab)
  • Работать с существующими процессами в различных СУБД (Teradata, Postgres, Oracle, Redis)
  • Поддерживать в актуальном состоянии документацию проекта
  • Проводить проверку кода младших специалистов
  • Работать с serverless сервисами в облаке (Yandex Cloud) и системами упаковки ПО (Docker, K8S)

Наш стек:

  • Apache (Spark, Hive, Airflow, Kafka)
  • Python
  • SQL
  • Linux
  • Docker
  • Yandex Cloud

Готовы предложить: 

  • Конкурентный уровень заработной платы
  • Оформление по ТК РФ,  ДМС
  • Возможность работать как удаленно - из своего дома или уютной кофейни, так и из комфортного офиса в Москве или Краснодаре
  • Современный стек технологий - мы не стоим на месте и всегда идем "в ногу" со временем :) 
  • Работу в креативной, молодой команде, где всегда можно предложить свои идеи и они будут услышаны

Скорее откликайся, возможно мы ищем именно тебя!

Overview

  • Employer: Магнит
  • Job Title: Data engineer
  • Published: 7 months, 2 weeks ago
Apply For This Job