Data Engineer

Описание

Мы в поиске Дата инженера для работы над крупным банковским проектом по репликации данных из S3 в Hadoop.

Обязанности

• Реализовывать репликацию данных
• Разрабатывать ETL-процессы для интеграционных задач и тестировать их
• Декомпозировать задачи, оценивать длительность и трудоемкость каждого этапа
• Анализировать и формализовать требования заказчика
• Собирать прототип решения
• Анализировать качество данных
• Писать проектную документацию (FSD, BRD, регламент, Admin Guide, User Guide)
• Тестировать функционал и передавать заказчику
• Выполнять ad-hoc выгрузки по требованиям заказчика

Требования

• Уверенное владение SQL
• Опыт работы с Python
• Опыт работы с Apache Spark, Hadoop\S3\S3-like, Airflow
• Навыки декомпозиции сложных задач и управления приоритетами
• Способность создавать понятную и структурированную техническую документацию

Будет плюсом

• Опыт работы с Parquet\ORC, Apache Iceberg
• Опыт работы с Kafka
• Знание архитектуры Data Vault

Условия

• Можно удалённо
• Внутренние семинары, внутренние митапы
• ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи
• Техника для комфортной работы
• Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудника