DevOps

Lead DevOps Engineer (BIP) Full-time

О компании и команде

О нас:

Business Intelligence Platform - Мы команда разработки системы обработки больших данных, круглосуточно и в реальном времени обрабатывающей терабайты данных из различных источников. Вычислительный кластер обработки данных состоит из следующих компонентов: Hadoop собственной сборки, Spark, Hive, Kafka, Cassandra, JupyterHub, Docker, Kubernetes и множество сервисов, написанных на скале и развернутых в этой инфраструктуре.

Нашей главной задчей является построение распределенного и отказоустойчивого бэкенда обработки данных.

Ожидания от кандидата

Что для этого нужно:

  • Опыт администрирования Linux, глубокое понимание принципов работы;
  • Опыт развертывания и администрирования решений на базе стека Hadoop (Apache Spark, Apache Hive, HDFS и т.д.);
  • Опыт использования Ansible, либо других систем управления конфигурациями;
  • Опыт работы c системами виртуализации и контейнеризации (Docker, Podman, Kubernetes и т.д.);
  • Умение писать административные скрипты (Bash, Python);
  • Знания сетевых технологий (TCP/IP, HTTP, TLS и т.д.);
  • Понимание принципов, протоколов и технологий обеспечения сетевой безопасности;
  • Опыт настройки и конфигурирования систем CI/CD (TeamCity и т.д.);
  • Навыки диагностирования проблем работоспособности ПО.

Будет круто, если у вас есть:

  • Опыт использования и настройки систем мониторинга;
  • Опыт администрирования NoSQL хранилищ данных (Cassandra, Scylla, ClickHouse и т.д.);
  • Опыт работы с Apache Kafka;
  • Опыт работы с Kubernetes;
  • Опыт развертывания облачных приложений (MS Azure, AWS и др.).

Условия работы

Для чего вы нам нужны:

  • Развертывание сервисов под Linux и Windows;
  • Поддержка и развитие кластера хранения и обработки данных на Hadoop стеке (Apache Spark, HDFS и т.д.);
  • Поддержка и развития кластера Kubernetes;
  • Поддержка и развитие NoSQL хранилищ Cassandra, Scylla;
  • Автоматизация задач администрирования процессов разработки и тестирования;
  • Проектирование и оптимизация инфраструктуры для развертывания сервисов;
  • Создание технической документации по развертыванию и поддержке сервисов;
  • Развитие инструментов развертывания сервисов и конфигурирования серверов в различных окружениях;
  • Мониторинг состояния сервисов и оперативное решение возникающих проблем;
  • Согласование со смежными командами требований в части развертывания приложений.

Overview

Apply For This Job