Умная Логистика 4 часа назад

Middle Data Engineer

  • Удалённо
  • Опыт от 1 года
  • Полная занятость
PythonPostgreSQLClickHouseETLData EngineeringDWHApache SparkELTS3Apache AirflowData Lake

Описание

Обязанности

  • Развитие DWH и Data Lake: Участие в проектировании и наполнении аналитических слоев данных на базе S3, PostgreSQL и ClickHouse
  • Разработка пайплайнов обработки данных: Написание и поддержка ETL/ELT-пайплайнов с использованием Apache Spark (PySpark) и Python
  • Оркестрация процессов: Создание, оптимизация и мониторинг регулярных DAG'ов в Apache Airflow
  • Подготовка витрин для BI: Проектирование и поставка агрегированных данных под задачи продуктовой и бизнес-аналитики в Apache Superset
  • Интеграция источников: Сбор данных из микросервисов, очередей сообщений и внешних API (телематика, скоринг контрагентов, картографические сервисы)
  • Контроль качества и оптимизация: Валидация входящих данных, мониторинг выполнения пайплайнов, профилирование и ускорение аналитических запросов в ClickHouse и PostgreSQL

Требования

  • Коммерческий опыт работы в роли Data Engineer или DWH-разработчика от 1.5 лет
  • Уверенное владение SQL: Сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения (EXPLAIN)
  • Опыт работы с Apache Airflow: Уверенная разработка DAG'ов, работа с кастомными и стандартными операторами, понимание принципов идемпотентности и бэкфилов
  • Практика работы с СУБД и хранилищами:
  • PostgreSQL (реляционное моделирование, индексы, транзакции)
  • ClickHouse (семейство движков MergeTree, специфика колоночного хранения)
  • S3-совместимые хранилища (организация структуры каталогов, работа с форматами Parquet/ORC)
  • Уверенный Python: Написание чистого, структурированного кода для задач обработки данных
  • Базовое понимание специфики подготовки данных для BI-инструментов (в частности, для Apache Superset)
  • Навыки работы с Git, Docker и Linux-окружением

Будет плюсом

  • Опыт работы с брокерами сообщений (Apache Kafka / RabbitMQ)
  • Опыт работы с dbt (data build tool) или инструментами валидации данных (Great Expectations, Pandera)
  • Опыт настройки подключений, дашбордов или семантического слоя в Apache Superset
  • Понимание логистического или B2B SaaS-домена

Условия

  • Формат работы: удалённо или гибрид или офис