3 дня назад
Data Engineer
- Ташкент, Узбекистан
- В офисе
- Опыт от 2 лет
- Полная занятость
PythonSQLCI/CDGitAirflowSparkDBTIcebergHudiDelta
Описание
Обязанности
- Подключение источников данных (БД, файлы, CDC), инкрементальные загрузки
- Трансформации между слоями хранилища и проектирование аналитических витрин
- Разработка и поддержка пайплайнов в оркестраторе
- Контроль качества данных: тесты, полнота, идемпотентность загрузок
- Оптимизация производительности: партиционирование, форматы таблиц, планы выполнения
- Code review, CI/CD, документация, data lineage
Требования
- Опыт Data Engineer в промышленных проектах от 2 лет
- Продвинутый SQL, Python для обработки данных
- Spark или аналоги: партиции, shuffle, планы выполнения
- dbt и Airflow или аналоги
- Iceberg, Delta или Hudi; CDC-загрузки
- Моделирование данных: звезда, снежинка
- Git, CI/CD
- Русский свободный, английский для чтения документации
Будет плюсом
- Банковская сфера или платёжные системы, IOMETE, Databricks, Trino, Data Vault 2.0, Kubernetes, Great Expectations или Soda, BI (Qlik, Tableau, Power BI)
Условия
- Офис, полная занятость