Команда DWH занимается развитием и поддержкой корпоративного хранилища данных в Лаборатории Касперского. Наша платформа позволяет решать важные продуктовые задачи и принимать стратегические решения в компании на основе данных.

Основное хранилище данных реализовано на MS SQL Server. Его объем исчисляется терабайтами данных и продолжает расти. Сейчас активно в недряем DataLake на базе Kafka, Airflow, Hadoop, Hive, Spark и нам необходимо развивать процессы и инфраструктуру для тестирования.

В качестве источников данных используются: базы данных, API, SFTP(файлы разных форматов), брокеры сообщений (RabbitMQ, Kafka).

В команде хорошо развиты процессы и инженерные практики: написание автотестов, ревью, CI, автоматизированные мониторинги.

Мы ожидаем от вас:

• Понимание процесса разработки и целей процесса тестирования;
• Опыт написания автотестов на Python;
• Опыт работы с базами данных. SQL на хорошем уровне;
• Знание теории тестирования (техники тестирования, планирование тестирования, тест-дизайн).

Будет плюсом:

• Понимание что такое хранилища данных, ETL-процессы.
• Опыт их тестирования;
• Опыт работы с Docker;
• Опыт работы со Spark;
• Опыт работы с Azure DevOps

Задачи:

• Планирование и проведение необходимых видов тестирования для процессов загрузки данных в DWH, DataLake, DataVault;
• Разработка автоматизированных тестов (Python (pytest, pyspark), SQL); Помощь команде в анализе и решении инцидентов;
• Создание и поддержка в актуальном состоянии тестовых сред; Написание процессов по проверке качества данных в хранилище;