Разработчик DWH

Описание

Мы в поиске Разработчика DWH в проект транспортной компании.

Требования

• Опыт работы от 3 лет в качестве инженера данных, разработчика ETL на SQL и Pyspark
• Опыт работы с СУБД PostgreSQL, Apache Airflow, с API, веб-сервисами, очередями и другими стандартными технологиями интеграции данных
• Экспертиза в реализации ETL / ELT для хранилищ или озер данных
• Уверенное владение SQL и PL/SQL
• Оптимизация SQL, в том числе для целей OLAP
• Навыки работы с Pyspark
• Навыки работы с Apache Airflow — создание DAG’ов, управление зависимостями ETL-пайплайнов
• Знание подходов к разработке, документированию, тестированию потоков данных
• Обязательно хотя бы базовый уровень (курсы, практика или самостоятельное изучение) владения Apache Hadoop (Spark, Hive или Impala)
• Опыт работы с брокерами сообщений (Kafka, RabbitMQ)
• Опыт работы в Jira, Confluence, Git
• Самостоятельность: готовность докручивать постановки от аналитиков самостоятельно, документировать результаты своей работы в базе знаний
• Готовность работать в условиях сжатых сроков
• Взаимодействует с разработчиками, аналитиками и архитекторами внутри проектной команды, а также смежными подразделениями и экспертами заказчика

Будет плюсом

• Опыт работы с S3 Minio и Apache Iceberg

Условия

• Формат работы: Удаленно, фултайм, по ИП/смз/ГПХ
• Срок привлечения: 6+ месяцев