Data Engineering

Разработчик PySpark/Hadoop Full-time

Условия работы

ПРОЕКТ ПО РАЗВИТИЮ РИСК-АНАЛИТИКИПостроение витрин на основе неструктурированных данных, ETL загрузка из различных источников данных, построение витрин банковской отчетности, разработка системы контроля качества загрузки данных.


ЧЕМ ТЫ БУДЕШЬ ЗАНИМАТЬСЯ:

  • Разработка ETL процессов Sqoop;
  • Разработка потоков обработки данных на PySpark;
  • Создание пайплайнов в планировщике задач Oozie;
  • Разработка систем контроля качества данных на Apache Griffin;
  • Написание Bash скриптов;
  • Обработка структурированных данных (XML/JSON) на Python/PySpark;
  • Исправление багов и проблем функционала;
  • Работа с системами контроля версий GIT/SVN.

ТЫ НАШ ИДЕАЛЬНЫЙ КАНДИДАТ, ЕСЛИ У ТЕБЯ:

  • Знание SQL на отличном уровне;
  • Опыт работы с инструментами обработки больших данных (Spark, MapReduce и др.)
  • Уверенное владение Python;
  • Опыт работы с любым ETL инструментом;
  • Опыт работы с СУБД (Oracle, MS SQL, Sybase и др.);
  • Опыт работы с Linux;
  • Опыт работы с Hadoop;
  • Опыт работы GIT/SVN.

У НАС ТЫ СМОЖЕШЬ НАЙТИ:

  • Прозрачную системы карьерного развития в компании;
  • Персонального наставника с первого дня работы;
  • Возможность развития личной экспертизы и экспертизы компании;
  • Собственную платформу внутренних и внешних образовательных программ;
  • Возможность пройти сертификацию;
  • Возможность участия в обучении, конференциях, митапах;
  • Неповторимую корпоративную культуру компании.

Мы ищем кандидата без привязки к локации.

Офисы компании находятся в городах: МОСКВА, САНКТ-ПЕТЕРБУРГ, НИЖНИЙ НОВГОРОД, САРАТОВ, ВОРОНЕЖ, ПЕНЗА.

Overview

  • Employer: Neoflex
  • Job Title: Разработчик PySpark/Hadoop
  • Published: 11 months, 3 weeks ago
Apply For This Job