3 дня назад

Data Engineer

  • Ташкент, Узбекистан
  • В офисе
  • Опыт от 2 лет
  • Полная занятость
PythonSQLCI/CDGitAirflowSparkDBTIcebergHudiDelta

Описание

Обязанности

  • Подключение источников данных (БД, файлы, CDC), инкрементальные загрузки
  • Трансформации между слоями хранилища и проектирование аналитических витрин
  • Разработка и поддержка пайплайнов в оркестраторе
  • Контроль качества данных: тесты, полнота, идемпотентность загрузок
  • Оптимизация производительности: партиционирование, форматы таблиц, планы выполнения
  • Code review, CI/CD, документация, data lineage

Требования

  • Опыт Data Engineer в промышленных проектах от 2 лет
  • Продвинутый SQL, Python для обработки данных
  • Spark или аналоги: партиции, shuffle, планы выполнения
  • dbt и Airflow или аналоги
  • Iceberg, Delta или Hudi; CDC-загрузки
  • Моделирование данных: звезда, снежинка
  • Git, CI/CD
  • Русский свободный, английский для чтения документации

Будет плюсом

  • Банковская сфера или платёжные системы, IOMETE, Databricks, Trino, Data Vault 2.0, Kubernetes, Great Expectations или Soda, BI (Qlik, Tableau, Power BI)

Условия

  • Офис, полная занятость