Циан — публичная аккредитованная IT-компания, крупнейший в России сервис для поиска недвижимости, входит в мировой топ-10.
Больше 20 лет мы помогаем быстрее решать вопросы с жилой и коммерческой недвижимостью: найти, оценить, купить, снять, продать, сдать и оформить сделку без рисков. Мы делаем сервисы, которые помогают владельцам недвижимости, застройщикам, агентам и обычным людям оптимизировать рутину поиска и продаж.
Ежемесячная аудитория превышает 18,7 млн человек. Растить число пользователей и решать их проблемы помогают уже больше 1000 человек.
Мы быстрорастущая компания и объём данных у нас постоянно растёт. С ростом данных появляется необходимость в их быстрой и качественной обработке, организации масштабируемого хранилища и предоставлении доступа различным потребителям данных. Команда Data Engineers отвечает за поддержку и развитие платформы данных на базе Hadoop ecosystem которая решает основные вопросы управления данными. У нас также есть свои продукты которые мы предоставляем пользователям внутри компании. Например, собственный feature store для команд Data Science и пайплайн расчёта статистики пользователей за день. Разноплановые задачи позволяют быстро расти не только в технических скилах, но и в soft skills - мы непосредственно работаем с командами Data Sciense, Analytics, ML Platform, DevOps и платформой Циан. Предоставляем возможность для внешнего и внутреннего обучения, а также посещения профильных конференций (например, Highload).
О команде:
Команда Data Engineers - часть отдела Machine Learnings со своим Team Lead. Кроме TL в команде на данный момент 3 разработчика. Мы работаем по scrum методологии и стараемся быть гибкими в процессах, поэтому у нас есть небольшой daily scrum meeting, планирование спринта по пятницам (1 спринт = 1 неделя) и в конце месяца мы совмещаем планирование с небольшим ретро. Раз в месяц весь отдел ML собирается на демо дни для обсуждения своих квартальных планов и обмена опытом. Т.к. у нас много задач по написанию кода, мы работаем по git branch flow с обязательными кросс-ревью.
О стеке, процессах разработки:
Python 3.9/3.10, Spark 3, Airflow 2.5, NoSQL DB (Redis, Cassandra), Kafka, Scala (есть небольшой процент задач по Spark Streaming).
Мы постоянно работаем над автоматизацией рутинных процессов и разрабатываем внутренние библиотеки для повышения developer experience. Стараемся своевременно обновлять кодовую базу и мигрировать на новые версии Python/Spark.
Кроме работы с DE технологиями, есть возможность повышать свой скилл в Python и присоединиться к Python-гильдии которая состоит из более чем 65 человек и активно развивается. Python разработчики собираются каждую неделю, обсуждают новости, проблемы, результаты работы гильдии за прошедшую неделю.