notajob
Назад к вакансиям

Data инженер

350 000 – 380 000 ₽в месяц
RedLabУдалённоот 5 летПолная занятость
PythonSQLJavaData EngineeringETLApache SparkELTScalaApache AirflowData WarehouseData LakeData VaultLakehouse

Описание

Обязанности

  • Проектирование, разработка и сопровождение масштабируемых решений по интеграции, обработке и хранению данных в корпоративной платформе данных.
  • Разработка и оптимизация batch- и streaming-пайплайнов для загрузки, трансформации и публикации данных.
  • Разработка ETL/ELT-процессов с использованием современных инструментов обработки данных.
  • Проектирование моделей данных для аналитических и операционных сценариев.
  • Оптимизация производительности процессов обработки данных и SQL-запросов.
  • Обеспечение качества данных: реализация механизмов валидации, мониторинга и контроля полноты данных.
  • Участие в проектировании архитектуры платформы данных и выборе технологических решений.
  • Внедрение и развитие практик DataOps и CI/CD для процессов обработки данных.
  • Подготовка технической документации и архитектурных артефактов.
  • Проведение код-ревью, техническое менторство и участие в развитии команды.

Требования

  • Опыт работы Data Engineer от 5 лет.
  • Знание методологии Data Vault 2.0.
  • Уверенные знания Python/Scala/Java для разработки ETL/ELT-процессов и сервисов обработки данных.
  • Отличное знание SQL, опыт оптимизации сложных запросов и работы с большими объемами данных.
  • Опыт проектирования и разработки промышленного Data Warehouse, Data Lake или Lakehouse решений.
  • Практический опыт работы с Apache Spark.
  • Опыт работы с Apache Airflow, Apache Kafka.
  • Опыт работы с системами потоковой обработки данных.
  • Опыт работы с распределенными файловыми системами и форматами хранения данных: HDFS, Parquet, Avro.
  • Опыт работы с экосистемой Hadoop/Apache Iceberg или современными платформами хранения и обработки данных.
  • Опыт работы с реляционными СУБД (PostgreSQL, Oracle, Clickhouse, Greenplum).
  • Уверенное владение Git и понимание процессов CI/CD.
  • Опыт работы с системами управления задачами и документацией (Jira, Confluence или аналоги).
  • Понимание принципов построения отказоустойчивых и масштабируемых решений.
  • Опыт использования dbt для построения трансформационных слоев данных.
  • Практика внедрения Data Quality решений (Great Expectations, Soda и др.).
  • Опыт работы с Data Catalog и Data Governance инструментами.

Условия

  • Локация: РФ, РБ.
  • Гражданство: РФ, РБ.
  • Удаленно.
  • Полная/проектная занятость.
  • ЗП: 350 000 - 380 000 RUB (гросс).