DA/DE
Альфа-Инсайтот 2 лет
SQLGitETLBIDWHApache SparkELTS3Data LakeApache IcebergLakehouse
Описание
Это вендорская ставка в Альфа-Инсайт.
Обязанности
- Прием и анализ входящей документации от заказчиков
- Детальный разбор требований, их формализация, проработка неясных моментов
- Оценка возможности реализации с учетом используемого стека
- Анализ влияния изменений на текущие процессы, модели данных, таблицы и связанные компоненты
- Разработка и согласование концептуального и логического решения
- Проектирование потоков обработки и трансформации данных с использованием Apache Spark
- Работа с данными, размещенными в S3 и организованными с использованием Apache Iceberg
- Написание SQL-кода в среде Apache Spark для создания прототипов, проверки гипотез и подтверждения корректности предлагаемой логики расчетов или моделей данных
- Приемка и тестирование патчей от разработчиков на тестовых/предпродуктивных/продуктивных стендах
- Проверка корректности Spark-задач, SQL-логики, загрузок в S3 и работы таблиц Iceberg
- Подготовка и контроль выгрузки доработок в продуктивный контур
Требования
- Опыт работы от 2-х лет на позициях DA/DE в области DWH/BI
- Практический опыт работы с Apache Spark
- Продвинутое знание SQL: сложные joins, оконные функции, CTE, агрегации, подзапросы и оптимизация запросов
- Опыт оптимизации Spark-задач и SQL-запросов на больших объемах данных
- Опыт работы с S3
- Опыт работы с Apache Iceberg или понимание его ключевых возможностей
- Понимание принципов построения хранилищ данных (DWH), ETL/ELT-процессов, нормализации данных и организации потоков обработки
- Опыт работы с технической документацией (BRD, FSD), умение писать ее четко и структурированно
- Опыт тестирования данных
- Опыт работы с системами контроля версий, включая Git
- Системное аналитическое мышление
- Коммуникабельность
- Самостоятельность и ответственность
- Внимание к деталям и аккуратность
Будет плюсом
- Понимание принципов работы с Oracle и Greenplum
- Опыт работы в финансовой сфере (банк, страхование, финтех)
- Базовые знания Python для скриптинга и анализа данных
- Понимание методологий управления проектами (Agile, Scrum, Kanban)
- Опыт работы с ClickHouse, Airflow, SuperSet, FineBI
- Понимание принципов организации data lake и lakehouse-архитектуры