Data Engineer (Flink)

Описание

Обязанности

• Разработка шаблонов потоков данных на основе Flink DataStream
• Реализация архитектуры потоков данных
• Написание и доработка Java приложений для Big Data

Требования

• Java Core: Глубокое понимание Java Core, включая ООП, многопоточность, коллекции, исключения и generics
• Spring Boot: Опыт разработки микросервисов и REST API с Spring Boot, включая Spring Data, Security, Actuator и AOP
• Apache Flink: Опыт работы с Apache Flink для потоковой обработки, включая DataStream API, state management, checkpoints и Flink CDC
• Дата-инженерия: Работа с ETL/ELT, потоковыми и batch-процессами; инструменты вроде Airflow и Temporal
• Проектирование фреймворков: Понимание принципов проектирования фреймворков и библиотек — код "для других разработчиков"
• Большие данные: Знание принципов работы с большими данными (Spark, Dask, pandas на больших датасетах — плюс)
• Базы данных: Опыт работы с PostgreSQL, ClickHouse; знание форматов данных Iceberg и Paimon
• CI/CD и DevOps: Навыки работы с CI/CD, контейнеризацией (Docker), оркестрацией (Kubernetes — плюс)
• Качество кода: Умение писать тесты (unit, integration), следить за качеством кода и его поддерживаемостью
• Опыт программирования на питоне: скрипты, микросервисы, приложения

Будет плюсом

• Увлеченность разработкой: Активный интерес к новым технологиям и методам разработки
• Хороший кругозор: Знание и понимание различных аспектов разработки, включая агентный
• Практический опыт: Доказанный опыт практической реализации проектов, особенно в области баз данных и автоматизации

Условия

• Полная занятость
• График: 5/2
• Формат работы: удалённо или гибрид или офис