Scala Developer (Hadoop, ETL)
Bell IntegratorМоскваГибрид
ETLSparkHadoopScalaHiveHDFSSpark SQLsbt
Описание
Обязанности
- Разработка ETL потоков на платформе Hadoop (Scala + Spark SQL)
- Поиск возможностей оптимизации, повышение скорости расчета, эффективности использования вычислительных ресурсов
- Повышение стабильности работы приложений, анализ типовых ошибок и возможных рисков, развитие системы логирования, её полноты и информативности для последующей промышленной эксплуатации, при необходимости участие в решении возникающих при эксплуатации инцидентов
- Развитие системы контроля качества, автотестов
Требования
- Опыт работы со Scala и sbt, стеком технологий Hadoop (HDFS, Hive, Spark версии 2 и выше, spark SQL)