Data Engineer (ETL-миграция)

Описание

Ищем Data Engineers для участия в масштабном проекте миграции ETL-системы телеком-оператора с Oracle/Informatica на Apache-стек.

Обязанности

• Миграция ETL-системы с Oracle/Informatica на Apache-стек
• Перенос бизнес-логики из Informatica в высокопроизводительный SQL
• Разработка и оптимизация SQL-запросов для витрин данных и ETL-процессов
• Разработка DAG-ов в Airflow и настройка пайплайнов в NiFi
• Разработка Spark-джобов (PySpark) для обработки больших объёмов данных
• Интеграция с Kafka для потоковой передачи данных
• Настройка мониторинга ETL-процессов и отслеживание метрик
• Анализ инцидентов, связанных с качеством данных и ошибками загрузки
• Проведение Code Review

Требования

• Опыт миграции ETL-систем, желательно с Oracle/Informatica на Apache-стек
• Глубокое знание SQL: оконные функции, сложные JOIN, иерархические запросы
• Опыт оптимизации SQL для Highload: партиционирование, индексы, Explain Plans
• Уверенное владение Oracle (PL/SQL) и PostgreSQL
• Опыт работы с Greenplum и/или ClickHouse
• Опыт проектирования решений на Apache Spark (PySpark), NiFi, Airflow
• Знание Hadoop (HDFS) и Hive
• Опыт мониторинга ETL через Grafana/Prometheus или VictoriaMetrics
• Опыт работы с биллинговыми системами (телеком-домен будет преимуществом)

Будет плюсом

• Kafka Streams / Spark Streaming
• Informatica PowerCenter
• Бинарные форматы хранения данных в Hadoop
• Понимание различий Hive / Impala, Greenplum / PostgreSQL, ClickHouse / PostgreSQL
• Patroni для кластеризации PostgreSQL/Greenplum
• Опыт работы с S3-хранилищами

Условия

• Сфера: Телекоммуникации
• Грейд: Senior
• Локация и гражданство: РФ
• Формат: удалённо
• Оформление: только по ИП
• Занятость: Full-time
• График: МСК ±2 часа