Умная Логистика 4 часа назад
Middle Data Engineer
- Удалённо
- Опыт от 1 года
- Полная занятость
PythonPostgreSQLClickHouseETLData EngineeringDWHApache SparkELTS3Apache AirflowData Lake
Описание
Обязанности
- Развитие DWH и Data Lake: Участие в проектировании и наполнении аналитических слоев данных на базе S3, PostgreSQL и ClickHouse
- Разработка пайплайнов обработки данных: Написание и поддержка ETL/ELT-пайплайнов с использованием Apache Spark (PySpark) и Python
- Оркестрация процессов: Создание, оптимизация и мониторинг регулярных DAG'ов в Apache Airflow
- Подготовка витрин для BI: Проектирование и поставка агрегированных данных под задачи продуктовой и бизнес-аналитики в Apache Superset
- Интеграция источников: Сбор данных из микросервисов, очередей сообщений и внешних API (телематика, скоринг контрагентов, картографические сервисы)
- Контроль качества и оптимизация: Валидация входящих данных, мониторинг выполнения пайплайнов, профилирование и ускорение аналитических запросов в ClickHouse и PostgreSQL
Требования
- Коммерческий опыт работы в роли Data Engineer или DWH-разработчика от 1.5 лет
- Уверенное владение SQL: Сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения (EXPLAIN)
- Опыт работы с Apache Airflow: Уверенная разработка DAG'ов, работа с кастомными и стандартными операторами, понимание принципов идемпотентности и бэкфилов
- Практика работы с СУБД и хранилищами:
- PostgreSQL (реляционное моделирование, индексы, транзакции)
- ClickHouse (семейство движков MergeTree, специфика колоночного хранения)
- S3-совместимые хранилища (организация структуры каталогов, работа с форматами Parquet/ORC)
- Уверенный Python: Написание чистого, структурированного кода для задач обработки данных
- Базовое понимание специфики подготовки данных для BI-инструментов (в частности, для Apache Superset)
- Навыки работы с Git, Docker и Linux-окружением
Будет плюсом
- Опыт работы с брокерами сообщений (Apache Kafka / RabbitMQ)
- Опыт работы с dbt (data build tool) или инструментами валидации данных (Great Expectations, Pandera)
- Опыт настройки подключений, дашбордов или семантического слоя в Apache Superset
- Понимание логистического или B2B SaaS-домена
Условия
- Формат работы: удалённо или гибрид или офис