Data Engineer

Описание

Обязанности

• Проводить аналитику новых источников, реплику автоматизированных систем (АС) (Hadoop, Spark)
• Разрабатывать витрины данных
• Строить прототипы, передавать прототипы в разработку (SQL)
• Поддерживать текущий функционал, дорабатывать текущий функционал в рамках новых требований
• Формировать проверки контроля качества данных

Требования

• Уверенное знание SQL (HQL): оконные функции, multiple join, cte, оптимизация
• Опыт работы с Hadoop, HDFS, Hive, YARN, Spark (понимание как физически лежат данные в Hadoop, партиционирование таблиц и т.д.)
• Опыт работы с большими данными (от 10 млн записей в партиции)
• Опыт работы с банковскими данными (общее понимание продуктов банка)

Условия

• Локация: Офис (Москва)
• Зарплата: По договоренности
• Занятость: Полная