Data Engineer

Описание

Компания Юзтех ищет инженера данных для анализа, миграции и развития витрин данных.

Обязанности

• Анализ существующих решений и витрин данных
• Миграция витрин данных со стека Hadoop на стек Apache Iceberg + Spark 3.5 + Apache Airflow
• Реализация недостающих реплик для витрин данных
• Переработка существующих решений на целевом стеке
• Построение и развитие витрин данных, участие в тестировании
• Наполнение и актуализация технической документации

Требования

• Уверенные знания SQL и Python
• Опыт работы с Apache Spark
• Практический опыт работы с хранилищами данных на базе Hadoop / S3
• Знание и опыт работы с Apache Iceberg
• Опыт использования Apache Airflow
• Понимание форматов хранения данных, в том числе Parquet
• Опыт работы с Git, CI/CD, Jira, Confluence
• Базовые знания Kafka

Условия

• Фултайм
• Удаленно по РФ
• Карьерная и профессиональная возможность в стабильной, аккредитованной ИТ-компании
• Расширенный полис ДМС со стоматологией
• Удаленная работа и гибкий график
• Обучение, сертификация, клуб английского языка
• Геймифицированная программа лояльности