Стажер-инженер данных BI (Data Engineer)
ЛоцияУдалённо
PythonSQLPostgreSQLClickHouseETLBIDBTApache SupersetDagster
Описание
ИТ-компания «Лоция» ищет стажера-инженера данных BI. Можно работать удаленно.
Обязанности
- построение ETL-процессов: разработка и настройка конвейеров по сбору и трансформации данных из различных источников
- работа с современным стеком трансформации: освоение и применение DBT для превращения «сырых» данных в чистые аналитические витрины
- оркестрация данных: настройка и поддержка рабочих процессов (pipelines) в Dagster, чтобы данные в отчетах обновлялись вовремя и без сбоев
- управление хранилищами: работа с Postgres и высокопроизводительной колончатой базой данных Clickhouse для обеспечения скорости работы отчетов
- визуализация смыслов: разработка интерактивных BI-отчетов в Apache Superset, которые помогут бизнесу принимать решения на основе данных
- оптимизация выборок: анализ и ускорение тяжелых запросов для повышения производительности всей системы отчетности
Требования
- SQL: уверенное владение языком (сложные выборки, агрегатные функции, понимание принципов оптимизации запросов)
- базы данных: понимание устройства реляционных БД (в частности, PostgreSQL) и общих принципов построения аналитических хранилищ
- Python: базовые знания языка, умение писать скрипты для обработки данных и автоматизации простых задач
- аналитический склад ума: способность работать с большими массивами данных, выявлять закономерности и структурировать информацию
Будет плюсом
- BI-инструменты: опыт создания дашбордов в Apache Superset, Tableau, Power BI или аналогичных системах
- ETL/ELT: понимание концепций извлечения, трансформации и загрузки данных
- архитектура данных: понимание разницы между OLTP и OLAP системами (например, почему для аналитики используется Clickhouse)
- современный стек: интерес к инструментам DBT (Data Build Tool) или оркестраторам данных (Airflow, Dagster)