Data Engineer в команду CDP

Описание

2ГИС развивает внутреннюю Customer Data Platform, которая объединяет данные из разных источников, строит пользовательские профили и помогает персонализировать продукт.

Обязанности

• Повысить эффективность пайплайнов для расчета daily-признаков на основе batch процессинга
• Создать эффективный пайплайн для расчёта realtime-признаков на основе Kafka-топиков
• Проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей
• Решать сложные инженерные задачи: расчеты метрик, построение витрин
• Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС
• Влиять на архитектурные решения и качество кода
• Работать в распределенной команде, взаимодействуя с аналитиками, продактами и инженерами других направлений

Требования

• Опыт highload-систем
• Опыт проектирования архитектуры данных или платформенного кода
• Опыт работы с Kafka, ClickHouse либо другими системами потоковой и аналитической обработки данных
• Хорошо понимание, как работает Spark и умение его готовить
• Хорошее владение одним из языков программирования (например, Python или Scala)
• Самостоятельность и проактивность
• Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код

Будет плюсом

• Опыт работы с Airflow
• Опыт анализа данных с использованием SQL
• Знание инструментов мониторинга и автоматического контроля качества данных (Data Quality, Data Contracts)
• Опыт построения Data Lineage и работы с Data Catalog
• Понимание подходов к персонализации, сегментации или real-time аналитике
• Понимание, как работает S3 хранилище

Условия

• Удалённая работа
• Полный рабочий день
• Стек платформы ещё формируется, можно влиять на архитектуру
• Минимум бюрократии, максимум ответственности
• Все, что ты делаешь, влияет на продукт, коммуникации и рекламу 2ГИС