Data-engineer

Описание

Ищем инженера данных с сильными компетенциями архитектора данных и баз данных, который сможет взять на себя планирование и проведение внедрения инструментов хранения и обработки данных. Должно иметь подтвержденный опыт работы с нашим технологическим стеком (Postgres, MSSQL, Kafka, Flink, Airflow, Iceberg, Trino/StarRocks), уметь проектировать целевую архитектуру хранилищ, анализировать потоки данных и выбирать релевантный инструментарий. Критичны навыки работы с современными data-инструментами, опыт проектирования пайплайнов, обеспечения качества данных и уверенное владение Python для написания DAG, кастомных операторов и интеграций.

Обязанности

• Участие в масштабном проекте цифровой трансформации, влияющем на ключевые производственные процессы
• Планирование и проведение внедрения инструментов хранения и обработки данных
• Проектирование целевой архитектуры хранилищ
• Анализ потоков данных и выбор релевантного инструментария
• Проектирование пайплайнов
• Обеспечение качества данных
• Написание DAG, кастомных операторов и интеграций на Python
• Организация хранения данных для последующих задач OLAP / OLTP с учетом требований (consistency / integrity)
• Организация обработки данных в рамках задач OLAP / OLTP с применением различных паттернов (batch processing, CDC)
• Заведение и сопровождение заявок в Service-Desk
• Структурирование информации, работа с требованиями, документирование технических решений

Требования

• Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО
• Уверенная работа с Postgres и MSSQL
• Опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis)
• Практический опыт работы с Apache Airflow (написание DAG, кастомные операторы)
• Опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты)
• Опыт работы с Apache Iceberg
• Понимание архитектуры lakehouse
• Использование Lakekeeper для управления метаданными
• Работа с объектным хранилищем S3
• Опыт реализации Change Data Capture паттернов для синхронизации данных между системами
• Глубокие знания в области архитектуры данных и баз данных
• Понимание принципов нормализации и денормализации
• Проектирование relational и columnar моделей
• Знание стратегий управления данными (lifecycle, retention, versioning)
• Уверенное владение Python: написание скриптов, модулей, работа с асинхронностью при необходимости
• Опыт написания DAG в Apache Airflow, включая кастомные операторы, hooks, sensors
• Умение профилировать процессы, находить bottlenecks, оптимизировать SQL-запросы и настраивать ресурсы кластеров под нагрузку
• Владение Jira и Confluence на уровне confident user (структура страниц, шаблоны, макросы, связки задач и документации)
• Понимание ключевых особенностей и сценариев применения различных паттернов организации интеграционных потоков (batch processing, CDC) с учетом их характеристик (3V+)
• Английский — на уровне чтения и написания технической документации

Будет плюсом

• Опыт работы с Timeseries базами данных (InfluxDB, TimescaleDB, TDengine и др.)
• Глубокий опыт эксплуатации кластеров (Hadoop, YARN, Kubernetes) в production-среде
• Знание SQL на продвинутом уровне (оптимизация сложных запросов, window functions, CTE)
• Опыт работы с CI/CD для data-пайплайнов
• Понимание принципов DDD, event-driven архитектуры
• Опыт работы с Apache NiFi

Условия

• З/П: 270 000 - 295 000 р. gross
• Формат работы: удаленно по РФ
• Вид занятости: full-time
• Локация: любой город РФ
• Гражданство: РФ
• Возможность увидеть результаты своей работы на реальном производстве, включая реальные системы, терминалы, интеграции
• Доступ к команде зрелых разработчиков и проектной поддержке: Team Lead, Product Owner, Project Manager
• Пространство для инициатив, развития и расширения зоны ответственности