notajob
Назад к вакансиям

Data Engineer

Action techMoscowУдалённоот 1 годаflexible
PythonSQLPostgreSQLDockerGitLinuxETLAirflowHadoopGreenPlumDataHub

Описание

The role is a remote data engineering position in Moscow focused on building centralized data collection and processing systems. You will be engaged in creating a centralized data collection and processing system, influencing technical decisions, and consistently improving the quality of data collection, storage, and delivery. You will work with an ambitious team that is passionate about its work and product, solving challenging tasks and receiving clear feedback from users. The company has prepared a Hadoop and GreenPlum infrastructure for loading, processing, and building data marts. They have described and loaded data from several holding products and are proceeding to describe and load the next ones. They plan to develop and scale the infrastructure, launch streaming data ingestion, increase the number of connected sources, develop ETL and Reverse ETL, work on data quality, and develop Data Catalog and Data Lineage.

Обязанности

  • Разрабатывать и дорабатывать ETL-процессы в Airflow
  • Подключать новые источники данных
  • Создавать и дорабатывать витрины
  • Оптимизировать SQL-запросы в GreenPlum и PostgreSQL
  • Работать с большими объемами данных
  • Развивать процессы контроля качества данных

Требования

  • От 1 года опыта работы с данными
  • Отличное знание SQL: JOIN, оконные функции, процедуры
  • Умение профилировать и оптимизировать запросы, понимать план выполнения
  • Понимание принципов работы реляционных БД и архитектуры DWH: ODS, DDS, DM
  • Практический опыт работы с Airflow и ETL-процессами
  • Python на базовом уровне
  • Знание Linux и умение работать с командной строкой
  • Опыт работы с Git
  • Понимание принципов работы Docker

Будет плюсом

  • Опыт работы с большими данными (>100 GB)
  • Опыт работы с DataHub

Условия

  • Белая, своевременная и конкурентоспособная заработная плата
  • ДМС (включая стоматологию)
  • Удобное место для работы и современное “железо”
  • Гибкий график. Начало работы с 8 до 11
  • Не нужно приходить 5 дней в неделю в офис. Команды сами определяют, когда туда приехать
  • Профессиональный рост (есть внутреннее обучение, возможность посещать конференции и митапы, которые компания спонсирует)
  • Удалённый формат работы также есть