Инженер данных в Путешествия

Описание

Наша команда превращает терабайты данных в понятные и полезные инсайты, которые используют аналитики и сервис, помогающий миллионам людей путешествовать. Наш продукт растёт огромными темпами, и вместе с ним растут наши задачи, например развитие собственного DWH. Хранилище у нас построено на системах хранения данных YTsaurus (кластер MapReduce собственной разработки) и СlickHouse. Для разработки, оркестрации и мониторинга ETL-процессов используется собственный фреймворк, созданный внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются различные методологии проектирования хранилищ данных: Lambda-архитектура, Data Lake, Data Vault.

Обязанности

• Разработка, сопровождение и ревью ETL-процессов поставки данных
• Проектирование структуры хранения данных в разных слоях хранилища
• Выявление и оптимизация неэффективных участков в процессах поставки данных
• Погружение в данные прикладных бизнес-областей и становление в них экспертом

Требования

• Проектировали DWH (слои, модели хранения данных, ETL-процессы)
• Разрабатывали ETL-процессы на Apache Airflow или аналогах
• Настраивали поставки данных по API
• Разбираетесь в SQL на уровне эксперта
• Пишете на одном из языков высокого уровня (Python, Go, Java и т. д.)
• Понимаете устройство и архитектуру реляционных баз данных
• Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными

Будет плюсом

• Пользовались хотя бы одной MPP-СУБД (Greenplum, ClickHouse, Vertica, Teradata и т. д.)
• Понимаете принципы работы технологий распределённой обработки данных (Hadoop, MapReduce и MPP)

Условия

• Масштаб: работа с инфраструктурой и данными Яндекса — это задачи, которые редко встречаются даже в крупных международных компаниях
• Влияние: ваши решения будут напрямую влиять на эффективность ключевых бизнес‑процессов
• Экспертность: возможность обмениваться опытом с сильнейшими специалистами отрасли и расти профессионально
• Ресурсы: доступ к передовым технологиям и инструментам для реализации самых смелых идей
• Карьерные перспективы: возможности для профессионального и лидерского роста внутри одной из ведущих IT‑компаний России