Data Engineer (Hadoop, Scala)

Описание

Это вакансия Data Engineer в компании Медиалогия, специализирующегося на разработке и оптимизации ETL/ELT-конвейеров для обработки больших данных.

Обязанности

• разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных
• настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase)
• оптимизация распределенных вычислений и запросов
• работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ)
• участие в проектировании и масштабировании архитектуры данных
• автоматизация процессов с использованием DevOps-практик (Docker, CI/CD)

Требования

• высшее (неоконченное высшее) образование
• опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop)
• глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet)
• опыт оптимизации производительности распределенных систем
• работа с потоковой обработкой (Kafka, Spark Streaming)
• навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB)

Будет плюсом

• опыт с PySpark, Flink, Airflow
• знание Elasticsearch, ClickHouse, Vertica
• навыки настройки кластеров и инфраструктуры

Условия

• полная занятость
• график 5/2
• формат работы: удалённо или гибрид