Data Engineer в Банк

Описание

Вам предстоит развивать Единый интеграционный слой и витрины DMDC для банка-заказчика.

Обязанности

• Разработка потоков подключения метаданных к интеграционному слою
• Автоматизация и шаблонизация подключения СУБД (PostgreSQL, Oracle, MS-SQL, ClickHouse, DB2, Elasticsearch, Tarantool)
• Написание Python-скриптов для генерации DDL/DML и Airflow DAG для загрузки/обслуживания данных
• Оптимизация Airflow DAG для таблиц Iceberg (кастомные операторы, чтение при большом количестве delete-файлов)
• Доработка витрины DMDC и ведение проектной документации

Требования

• Глубокая экспертиза в PySpark и Airflow
• Опыт с нагруженными распределёнными системами (Hadoop)
• Настройка и оптимизация Spark-приложений, управление ресурсами
• Стек Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3
• Kubernetes (K8s), нагрузочное тестирование
• Экспертный SQL + оптимизация сложных запросов
• Знание матстатистики, анализа данных, основ ML (PyTorch/TensorFlow)
• Опыт работы в распределённых системах и обеспечение консистентности данных

Условия

• Ставка: 280–320К руб/мес
• Занятость: Full time
• Длительность: долгосрочно
• Локация: РФ, гражданство РФ
• Оформление: договор с ИП

Процесс отбора

• Все требования и стек, если с ними был опыт, должны быть отражены в резюме