СБЕР 6 дней назад

DA LEAD

  • Москва
PythonSQLLLMRAGGen AIData Governance

Описание

Обязанности

  • Создавать и оптимизировать подходы к оценке качества моделей и AI-пайплайнов (RAG, LLM, OCR)
  • Построение online/offline метрик качества, написание методологий оценки для мониторинга качества и регрессионного тестирования
  • Проводить эксперименты, проверять гипотезы по улучшению текущих AI-решений
  • Выявлять уязвимости в качестве в AI-пайплайнах и оперативно предлагать решения для устранения проблем в production (проводить A/B-тестирования)
  • Отвечать за качество данных и методологию их подготовки для AI/ML-проектов
  • Поддержка и оптимизация полного цикла работы с данными: сбор, хранение датасетов, разметка, авто-разметка (LLM-as-a-judge), валидация
  • Автоматизация data-циклов: сбор данных, разметка, подсчет метрик, оценка качества
  • Совместно с ML-инженерами определять требования к моделям и к данным (состав, объем и качество датасетов)
  • Руководить командой Data-аналитиков, Data-менеджеров, разметчиков
  • Говорить на одном языке с «бизнесом» и ML-инженерами: сбор и анализ бизнес-требований, понимание применимости и ограничений AI

Требования

  • Любить data-driven подход)
  • Кросс-функциональное уметь разговаривать с DS и разработчиками
  • Python, SQL, уверенный vibe-coding
  • Понимание процесса деплоя моделей
  • Понимание работы LLM и знание понятий типа RAG, fine tuning, skills/tools, Data Governance
  • Знание подходов по оценке качества LLM, RAG
  • Знание матстата
  • Jira, agile итд
  • Soft skills (уверенный problem-solving)
  • Системное мышление

Будет плюсом

  • Опыт построения процессов по оценке качества GenAI
  • Опыт работы с данными для LLM и AI-агентов
  • Опыт управления разметчиками
  • Опыт создания пайплайнов data lifecycle
  • Знакомство с LabelStudio, Toloka
  • Опыт работы с качеством разметки (consistency, honeypots, golden dataset)

Условия

Процесс отбора