Data Engineer/ Инженер данных

Описание

Ищем Data Engineer/Инженера данных для высоконагруженного продукта в сфере беттинга.

Обязанности

• реализация в тандеме с архитектором физического уровня архитектуры данных в DWH для всех слоев (raw data layer, core data layer, data mart layer)
• реализация ETL-пайплайнов передачи данных из различных внутренних и внешних ИТ-систем, используя разные подходы получения данных из источника
• построение эффективной системы оркестрации ETL-пайплайнов обеспечивающей обновление данных в DWH согласно обозначенным бизнес требованиям
• реализация и поддержка прикладных решений для контроля качества данных в DWH
• реализация и поддержка прикладных решений для управления метаданными DWH
• участие в R&D для выбора инструментов для построение отдельных частей платформы данных

Требования

• опыт работы от 3х лет
• понимание концепций проектирования DWH
• продвинутый уровень знания SQL
• высокий уровень владения Python для обработки данных
• опыт работы с оркестраторами и понимание концепции DAG
• опыт разработки и поддержки end-to-end пайплайнов данных
• опыт получения данных из различных типов API
• опыт работы с потоковой обработкой данных
• умение работать с GIT

Условия

• график: на испытательном сроке офис 5/2
• далее гибрид
• оформление: трудоустройство по ТК РФ
• зарплата полностью белая