О нас:

Business Intelligence Platform - Мы команда разработки системы обработки больших данных, круглосуточно и в реальном времени обрабатывающей терабайты данных из различных источников. Вычислительный кластер обработки данных состоит из следующих компонентов: Hadoop собственной сборки, Spark, Hive, Kafka, Cassandra, JupyterHub, Docker, Kubernetes и множество сервисов, написанных на скале и развернутых в этой инфраструктуре.

Нашей главной задчей является построение распределенного и отказоустойчивого бэкенда обработки данных.

Что для этого нужно:

• Опыт администрирования Linux, глубокое понимание принципов работы;
• Опыт развертывания и администрирования решений на базе стека Hadoop (Apache Spark, Apache Hive, HDFS и т.д.);
• Опыт использования Ansible, либо других систем управления конфигурациями;
• Опыт работы c системами виртуализации и контейнеризации (Docker, Podman, Kubernetes и т.д.);
• Умение писать административные скрипты (Bash, Python);
• Знания сетевых технологий (TCP/IP, HTTP, TLS и т.д.);
• Понимание принципов, протоколов и технологий обеспечения сетевой безопасности;
• Опыт настройки и конфигурирования систем CI/CD (TeamCity и т.д.);
• Навыки диагностирования проблем работоспособности ПО.

Будет круто, если у вас есть:

• Опыт использования и настройки систем мониторинга;
• Опыт администрирования NoSQL хранилищ данных (Cassandra, Scylla, ClickHouse и т.д.);
• Опыт работы с Apache Kafka;
• Опыт работы с Kubernetes;
• Опыт развертывания облачных приложений (MS Azure, AWS и др.).

Для чего вы нам нужны:

• Развертывание сервисов под Linux и Windows;
• Поддержка и развитие кластера хранения и обработки данных на Hadoop стеке (Apache Spark, HDFS и т.д.);
• Поддержка и развития кластера Kubernetes;
• Поддержка и развитие NoSQL хранилищ Cassandra, Scylla;
• Автоматизация задач администрирования процессов разработки и тестирования;
• Проектирование и оптимизация инфраструктуры для развертывания сервисов;
• Создание технической документации по развертыванию и поддержке сервисов;
• Развитие инструментов развертывания сервисов и конфигурирования серверов в различных окружениях;
• Мониторинг состояния сервисов и оперативное решение возникающих проблем;
• Согласование со смежными командами требований в части развертывания приложений.