Разработчик Hadoop

Описание

Мы ищем опытного разработчика для проектов по обработке больших данных с потенциалом роста до тимлида в части Big Data. В задачи входит разработка и поддержка распределённых процессов обработки данных на базе Apache Spark (Java/Scala) с интеграцией в экосистему Hadoop (HDFS, Hive, HBase), а также взаимодействие с системами Oracle/Postgres и потоковыми данными через Kafka. Работа ведётся в кластере ADH.

Обязанности

• разработка и поддержка Big Data на крупном проекте
• разработка и сопровождение ETL-процессов и потоковых пайплайнов на Spark (Java/Scala)
• интеграция с источниками и хранилищами данных: HDFS, Hive, HBase, Oracle, Postgres, Kafka, ClickHouse
• написание SQL-запросов
• оптимизация производительности Spark job’ов и процессов загрузки/выгрузки
• участие в проектировании архитектуры и внедрение лучших практик разработки под Big Data
• оптимизация производительности на уровне кластера (тюнинг Spark, partitioning, broadcasting)

Требования

• опыт коммерческой разработки на Java и Scala: 5+ лет опыта разработки, из них 2–3 года в Big Data
• практический опыт работы с Apache Spark
• знание экосистемы Hadoop (HDFS, Hive, HBase)
• опыт работы с Kafka
• хорошее знание SQL
• опыт работы с реляционными СУБД
• уверенное владение Linux
• глубокое понимание Spark internals (RDD/DataFrame API, shuffle, Catalyst Optimizer)
• опыт оптимизации производительности
• понимание принципов распределённых систем (HDFS, Zookeeper, YARN)
• опыт взаимодействия с бизнес-заказчиками/аналитиками (умение переводить требования в архитектуру решения)

Условия

• гибкие форматы работы: возможность работы в офисе, по гибридному графику или полностью дистанционно на территории РФ
• рабочий график: пятидневная рабочая неделя (пн.–чт. с 09:00 до 18:00, пт. с 09:00 до 16:45)
• достойное вознаграждение: конкурентная заработная плата по результатам собеседования, а также премии за эффективную работу и достигнутые результаты
• официальное трудоустройство: полное соблюдение требований ТК РФ, включая оплачиваемые отпуска (с дополнительной выплатой 50% от оклада после 11 месяцев работы в Компании) и выплату заработной платы дважды в месяц
• компенсация больничного листа продолжительностью до 7 дней с сохранением полной оплаты, эквивалентной рабочему дню
• добровольное медицинское страхование (ДМС) по окончании испытательного срока, с широким перечнем ведущих медицинских учреждений, включая качественную стоматологию
• возмещение до 50% затрат на занятия спортом
• профессиональное обучение и сертификация за счет компании
• организация внутренних и внешних митапов, хакатонов, конференций, семинаров и тренингов
• партнерские программы по изучению иностранных языков и развитию профессиональных навыков от Skyeng и Skillbox
• доступ к корпоративной библиотеке на платформе Alpina Digital
• возможность взять 5 дополнительных оплачиваемых выходных (ресурсных) дней в течение календарного года (с 1 января до 31 декабря) для сотрудников, проработавших в компании более 11 месяцев