Описание

Flowwow ищет Senior Data Engineer для развития ядра платформы и работы с lakehouse.

Обязанности

Развивать ядро платформы: фреймворк Data Vault, обвязку Airflow, lineage-инструменты — проектировать API, которыми будут пользоваться другие инженеры, и нести за них ответственность
Писать библиотеки и фреймворки на Python: клиенты к источникам, инструменты тестирования пайплайнов, обёртки над инфраструктурой
Работать с lakehouse на глубине: Iceberg maintenance и оптимизация layout'а таблиц, тюнинг Trino, Spark-джобы для тяжёлых трансформаций
Строить интеграции с источниками: OLTP-базы, REST/gRPC API, Kafka, файловые хранилища, SaaS-системы — и проектировать унифицированные интерфейсы
Внедрять AI в инженерные процессы: агенты для расследования инцидентов и анализа качества данных, ассистенты для DAG'ов и code review
Участвовать в архитектурных решениях: выбор технологий, дизайн интерфейсов между компонентами, вынесение best practices в команду
Делать code review и менторить менее опытных коллег

Требования

Промышленный опыт от 5 лет в data engineering или backend-разработке с сильным дата-уклоном
Уровень senior Python разработчика: ООП, проектирование API библиотек, типизация, тесты, опыт написания переиспользуемых компонентов
Lakehouse-стек на практике: Apache Iceberg (или Delta/Hudi с готовностью быстро переключиться), понимание устройства таблиц, snapshots, компакции, schema evolution
Trino или другой MPP-движок: архитектура распределённого выполнения, чтение планов запросов, оптимизация, опыт работы с коннекторами
Apache Airflow глубоко: не только разработка DAG'ов, но и внутреннее устройство (scheduler, executors, метаданные), опыт написания собственных операторов и хуков
Apache Spark: PySpark, Spark SQL, понимание модели выполнения
SQL продвинутого уровня: оконные функции, CTE, оптимизация, чтение планов исполнения, работа с большими объёмами
Уверенное владение Git, CI/CD

Будет плюсом

Опыт разработки внутренних платформенных инструментов или фреймворков
AI-native подход к разработке: активное использование Claude Code / Codex и подобных инструментов, опыт построения harness-систем — агентов с инструментами, автоматизации через LLM, RAG
Kubernetes: деплой и эксплуатация дата-сервисов, Helm, понимание ресурсной модели
Опыт с CDC (Debezium, Kafka Connect) и стриминговыми пайплайнами
Знание форматов хранения (Parquet: row groups, статистики, predicate pushdown)
Опыт работы с системами контроля доступа к данным (OPA, row-level security, маскирование)

Условия

Полная занятость
Оформление по трудовому договору
График 5/2
Удаленный формат работы
Уровень дохода обсуждается на этапах найма