DataOps engineer в команду Holocron

Описание

Holocron

• команда, которая отвечает за инфраструктуру данных в 2ГИС.

Мы строим и поддерживаем системы, через которые проходят события от боевых сервисов до аналитических витрин, обеспечиваем надёжную доставку данных, их хранение, обработку и доступ для всех, кто с ними работает. Сейчас мы развиваем корпоративную дата-платформу нового поколения. Это не просто перенос пайплайнов

• это переосмысление архитектуры, техстека и подходов. Мы отказываемся от легаси, сохраняем лучшее (например, Apache Spark) и закладываем фундамент, на котором будут работать десятки инженерных команд. Внутри этой трансформации запускаем Ceph-кластер с высокими требованиями к SLA
• на нём будет держаться значительная часть платформы, и нам нужен человек, который вместе с нами сделает это надёжно.

Обязанности

• Поддерживать и развивать инфраструктуру дата-платформы: HDFS, Spark, ClickHouse, Airflow и др.
• Запускать и эксплуатировать Ceph-кластер с высокими требованиями к SLA.
• Участвовать в миграции на Lakehouse-стек: S3/Ceph, Iceberg, Trino/StarRocks, Alluxio.
• Сопровождать Kubernetes-инфраструктуру команды, помогать разработчикам с нетривиальными случаями (Helm-чарты, деплой и базовый мониторинг команда пишет сама).
• Развивать мониторинг, алертинг и процессы разбора инцидентов на критичных компонентах платформы.
• Взаимодействовать с NOC по сетевым вопросам.

Требования

• Опыт работы DevOps/SRE/DataOps от уровня Middle и выше.
• Опыт эксплуатации Ceph в проде от 2х лет.
• Уверенный опыт эксплуатации Kubernetes в проде
• понимание сети, storage, операторов, а не только kubectl apply.
• Опыт эксплуатации хотя бы части дата-стека: Kafka, Spark, ClickHouse, Airflow.
• Мониторинг и алертинг: Prometheus, Grafana.
• Linux на уровне уверенного администрирования.
• Базовое понимание сетей
• достаточное, чтобы вести предметный диалог с сетевиками.

Будет плюсом

• Опыт с Apache Flink.
• Опыт работы в командах дата-платформы.

Условия

• Работать можно в офисе или удалённо, как удобнее.
• Если хочешь работать в гибридном формате, у нас есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске.
• Удалённо
• из любого города России.
• Полностью «белая» зарплата, размер обсуждается индивидуально
• потолка нет.
• Есть ДМС, штатный терапевт, невролог, мед.консультант и другие IT-бонусы.
• Если хочешь делиться опытом
• поддержим участие в конференциях и публикациях на Хабре.
• А ещё мы проводим внутренние хакатоны, делимся опытом на митапах и в подкастах, пишем про технологии на Хабре, а про новое в продуктах
• на VC и Доставили, рассказываем о внутрянке в телеграм Dev2GIS, выступаем на CodeFest, HighLoad и многое другое.
• 2ГИС
• аккредитованная IT-компания.