Data Engineer

Описание

Мы ищем лидера, который сочетает глубокую техническую экспертизу в DWH/ClickHouse, архитектурное мышление и управленческие навыки. Продукт находится на этапе серьезной трансформации, и мы собираем сильную инженерную команду.

Обязанности

• Формирование и защита стратегии развития хранилища данных на 1–3 года: масштабирование, миграции, внедрение новых технологий
• Определение архитектурных стандартов и референсных решений для команды инженеров данных
• Принятие решений о выборе технологий и оценка рисков с прицелом на рост объёмов данных
• Найм, постановка задач, контроль сроков и качества, проведение performance review
• Построение процессов разработки: code review, стандарты, документация, knowledge sharing
• Развитие культуры данных внутри команды и компании
• Сбор и приоритизация требований от бизнес-заказчиков, аналитики, Data Science
• Согласование data contracts между командами-источниками и потребителями данных
• Презентация roadmap и результатов руководству, защита бюджета и инициатив

Требования

• Глубокое знание ClickHouse: проектирование схем (MergeTree, ключи партиционирования и сортировки, TTL), оптимизация запросов, администрирование кластера (шардирование, репликация, мониторинг слияний, управление ресурсами)
• Организация бэкапов в S3 и проверка процедур восстановления (backup/restore, disaster recovery)
• Опыт работы с Apache Airflow для оркестрации сбора данных (DAG, сенсоры, ретраи, backfill)
• Опыт работы с dbt для построения слоев данных (staging, marts, intermediate)
• Построение фреймворка тестирования, мониторинга свежести данных и аномалий, data contracts
• Python: разработка ETL-скриптов, работа с Pandas, интеграция с API
• SQL: владение на уровне эксперта (аналитические запросы, оптимизация)
• Инфраструктура: Docker, Git, CI/CD, IaC (Terraform/Ansible), мониторинг (Prometheus, Grafana)
• Управленческие компетенции: найм, онбординг, развитие, performance review, карьерные треки инженеров
• Планирование: roadmap DWH, приоритизация бэклога, OKR команды, бюджетирование инфраструктуры
• Стейкхолдер-менеджмент: коммуникация с C-level, продуктом, аналитикой, безопасностью
• Data Governance: каталог данных, lineage, ownership, compliance (GDPR/152-ФЗ), разграничение доступа
• Опыт работы от 5 лет

Условия

• Удаленная работа из любой точки мира
• Конкурентная зарплата + performance премия 2 раза в год
• Гибкий график и фокус на результат
• Оплата обучения, курсов и конференций
• Возможность реально влиять на продукт и команду
• Полная занятость