Главный дата-инженер/ Hadoop

Описание

Обязанности

• Аналитика требований заказчика, их формализация и проектировка решения
• Выполнение Adhoc выгрузок по требованиям заказчиков
• Поиск данных в системах банка, анализ качества и сборка прототипа решения
• Разработка дата-продуктов, визуальных форм и проектной документации
• Тестирование функционала, передача решения заказчику и ввод в эксплуатацию
• Консультация заказчиков по продуктам, поддержка данными

Требования

• Знание SQL (oracle, postgres), Hadoop (hdfs, hive, impala, sqoop, spark) - уровень выше среднего, умение оптимизировать код
• Знание инструментов обработки и трансформации данных (Spark, Apache Airflow)
• Знание теории баз данных
• Умение структурировать информацию
• Знание основ банковской деятельности (продукты, риски)
• Знание принципов работы моделей (DS)