Описание

Мы в поиске Data Engineer в крупный ритейл.

Обязанности

Самостоятельная разработка, реализация и поддержка интеграционных решений на стеке технологий, принятых в команде. (Java, Groovy, Apache Nifi, Airflow)
Определение стека технологий для конкретных проектов и задач.
Решает технически сложные задачи, которые не могут решить другие инженеры в команде.
Оперативно реагирует на информацию о проблемах в зоне ответственности, выполняет задачи в установленные сроки.
Разрабатывает и контролирует актуальность документации по взаимодействию конфигурационных единиц платформы больших данных.
Предоставляет отчеты о своей деятельности начальнику отдела/руководителю в порядке, установленном руководством».
Контроль качества интеграционных решений с последующим созданием задач\дефектов для рефакторинга.
Определяет технологическую стратегию развития проекта или продукта, работает на перспективу.
Выстраивает процессы (например, CI/CD, код-ревью), внедряет и развивает инженерные практики.

Требования

Владение одним из языков программирования (Java, Groovy), знание принципов ООП, умение читать чужой код.
Сборка проекта, компиляция и деплой в Rancher. (Docker).
Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке технологий BigData.
Знание SQL (индексы, функции, умение читать планы запросов, оптимизация запросов).
Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.).
Умение работать с Git в консоли.
Знание особенностей работы ETL-инструментов (Apache Nifi, Airflow, интеграционные шины SAP BW, Talend, Informatica, SAS и т.п.).
Опыт работы с Hadoop.
Понимание устройства HDFS, форматов данных.
Опыт работы с Hive или любым другим хранилищем на основе Hadoop.
Опыт использования систем ведения проектов и документации.
Умение работать с архитектурными схемами.
Понимание принципов построения и хранения данных — DWH и DataLake.
Желателен опыт администрирования Unix/Linux или Hadoop (HDFS, Yarn, Ranger, Spark, Zookeeper), Zabbix, Ansible.

Условия

Грейд: Senior
Формат работы: Удаленно
Загрузка: Фултайм