Senior Data Engineer
5 000 – 9 000 $в месяц
удаленно (Великобритания / Нидерланды)Удалённо
PythonSQLData EngineeringETLAzureApache SparkELTT-SQLAzure Data FactoryMicrosoft FabricDataflow Gen2
Описание
Требования
- Data Platform: Microsoft Fabric (OneLake, Data Factory, Synapse Data Engineering / Data Warehouse)
- Data Engineering: Apache Spark / PySpark, Azure Data Factory, Dataflow Gen2, ETL/ELT
- Programming: Python, SQL / T-SQL
- Architecture & Storage: Lakehouse / DWH, Medallion Architecture (Bronze / Silver / Gold), Delta Lake / Parquet
- Cloud: Microsoft Azure, AWS S3 / GCP, Fabric Shortcuts
- DevOps: Git, Azure DevOps / GitHub Actions, Docker, CI/CD
- Data Analytics: Data Marts, relational data modeling, Power BI - будет преимуществом
- Английский: В2+
Обязанности
- Проектирование и построение end-to-end архитектуры хранилища данных с нуля в среде Microsoft Fabric
- Реализация многоуровневой архитектуры хранения данных по модели Medallion — Bronze, Silver, Gold — на основе Delta Lake (Parquet)
- Создание и поддержка надёжных и отказоустойчивых pipelines для интеграции данных с использованием Azure Data Factory и Dataflow Gen2
- Настройка подключений к внешним облачным источникам AWS S3 / GCP через Fabric Shortcuts
- Разработка и оптимизация высокопроизводительного распределённого кода на PySpark для очистки данных, сложных трансформаций и агрегации больших объёмов информации
- Проектирование реляционных моделей данных и аналитических представлений в Synapse Data Warehouse
- Оптимизация сложных T-SQL-запросов для достижения минимальной задержки
- Настройка процессов Continuous Integration и Continuous Deployment с использованием Azure DevOps / GitHub Actions для автоматизации развёртывания инфраструктуры DWH, схем и кода
Условия
- Зарплата: $5,000–9,000 gross