Data Engineer (Customer Data Platform)

Описание

2GIS CDP is an internal Customer Data Platform that underpins the development strategy of 2GIS for the coming years. CDP unifies data from dozens of sources, builds unified user profiles, calculates metrics, interests, and behavior models, helps launch real-time personalization directly in the product, and manages personalized advertising and communication. This is a startup within a large company, with freedom in architecture and technologies, high-load tasks, and a real impact on business results.

Обязанности

• Повысить эффективность пайплайнов для расчета с daily-признаков на основе batch процессинга
• Создать эффективный пайплайн для расчёта realtime-признаков на основе Kafka-топиков
• Проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей
• Решать сложные инженерные задачи: расчеты метрик, построение витрин
• Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС
• Влиять на архитектурные решения и качество кода
• Работать в распределенной команде, взаимодействуя с аналитиками, продактами и инженерами других направлений

Требования

• Опыт работы с highload-системами
• Опыт проектирования архитектуры данных или платформенного кода
• Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных
• Хорошее понимание того, как работает Spark, и умение его готовить
• Хорошее владение одним из языков программирования (например, Python или Scala)
• Самостоятельность и проактивность — не ждать постановок, а предлагать решения
• Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код

Будет плюсом

• Опыт работы с Airflow
• Опыт анализа данных с использованием SQL
• Знание инструментов мониторинга и автоматического контроля качества данных (Data Quality, Data Contracts)
• Опыт построения Data Lineage и работы с Data Catalog
• Понимание подходов к персонализации, сегментации или real-time аналитике
• Понимание, как работает S3 хранилище

Условия

• Масштаб: миллионы пользователей, миллиарды событий, сотни интеграций
• Рост: CDP — стратегическое направление, быстрый рост и возможность для роста команды
• Свобода: минимум бюрократии, максимум ответственности
• Видимый результат: все, что ты делаешь, влияет на продукт, коммуникации и рекламу 2ГИС