Инженер данных мастер-систем / Data Engineer

Описание

Melon Fashion Group. IT ищет инженера данных мастер-систем.

Обязанности

• Проектировать структуры операционных хранилищ и модели мастер-данных
• Разрабатывать процессы загрузки, обработки, хранения и передачи данных
• Создавать пакетные и потоковые интеграции между информационными системами
• Настраивать получение изменений из систем-источников, включая CDC-механизмы
• Реализовывать правила нормализации, сопоставления, дедупликации и консолидации данных
• Обеспечивать хранение истории изменений мастер-данных
• Готовить данные для передачи в DWH и другие системы-потребители
• Разрабатывать проверки качества данных, технические и бизнес-сверки
• Настраивать мониторинг, логирование и обработку ошибок
• Анализировать причины расхождений, задержек и сбоев в интеграционных процессах
• Участвовать в выборе архитектурных и технологических решений
• Сопровождать и развивать разработанные решения в промышленной эксплуатации

Требования

• Уверенное владение SQL
• Опыт разработки на Python
• Опыт проектирования структур и моделей хранения данных
• Опыт создания ETL- или ELT-процессов
• Понимание принципов пакетной и потоковой обработки данных
• Понимание интеграционных паттернов и способов передачи данных между системами
• Навыки работы с реляционными СУБД
• Понимание механизмов обеспечения целостности и консистентности данных
• Опыт настройки логирования, мониторинга и обработки ошибок
• Умение самостоятельно прорабатывать техническое решение и доводить его до промышленной эксплуатации

Будет плюсом

• Опыт работы с Kafka, Flink или Debezium
• Практический опыт реализации CDC-процессов
• Опыт разработки процессов в Apache Airflow
• Опыт работы с ClickHouse
• Участие в создании MDM-решений, мастер-систем или операционных хранилищ
• Опыт реализации правил сопоставления, дедупликации и консолидации данных
• Опыт построения систем контроля качества данных и автоматизированных сверок
• Понимание событийно-ориентированной архитектуры
• Опыт интеграции с API, брокерами сообщений и внешними информационными системами
• Опыт работы с Git, CI/CD и контейнеризацией

Условия

• Полная занятость
• График 5/2
• Формат работы: удалённо или гибрид или офис