Инженер данных в DWH Лавки
PythonSQLAIClickHouseETLDWHGreenPlumApache FlinkYTLogBrokerYQL
Описание
Команда DWH Лавки работает над хранилищем, которое поддерживает аналитику и ключевые операционные процессы бизнеса. Сейчас мы развиваем направление RT/NRT‑данных для AI‑систем Лавки.
Обязанности
- Развитие поставок данных: Проектировать и развивать RT/NRT‑поставки данных для разных сценариев работы продуктовых команд — например, для жизненного цикла заказа, работы сотрудников, складских операций и отслеживания доступности товаров
- Проектирование RT‑данных: Помогать системным аналитикам и продуктовым командам проектировать RT‑данные: подбирать источники и способы обработки, определять модель событий, контракты, требования к свежести и качеству данных
- Поиск возможностей по RT‑данным: Искать новые способы работы с RT‑данными, разрабатывать универсальные подходы и помогать внутренним заказчикам разобраться, какие задачи можно решить с их помощью
- Инженерные задачи и развитие DWH: Вести инженерные задачи: исследование процессов и источников данных, запуск решений в промышленную эксплуатацию, контролирование их работы и безопасное развитие DWH, который имеет большой граф зависимостей
Требования
- Проектировали и поддерживали промышленные RT/NRT‑пайплайны
- Занимались разработкой в крупном DWH или распределённой платформе
- Умеете проектировать надёжную обработку событийных данных
- Уверенно владеете Python и SQL
Условия
- Ежегодные медицинские чекапы, йога и психотерапия