Описание
Обязанности
- Создавать и оптимизировать подходы к оценке качества моделей и AI-пайплайнов (RAG, LLM, OCR)
- Построение online/offline метрик качества, написание методологий оценки для мониторинга качества и регрессионного тестирования
- Проводить эксперименты, проверять гипотезы по улучшению текущих AI-решений
- Выявлять уязвимости в качестве в AI-пайплайнах и оперативно предлагать решения для устранения проблем в production (проводить A/B-тестирования)
- Отвечать за качество данных и методологию их подготовки для AI/ML-проектов
- Поддержка и оптимизация полного цикла работы с данными: сбор, хранение датасетов, разметка, авто-разметка (LLM-as-a-judge), валидация
- Автоматизация data-циклов: сбор данных, разметка, подсчет метрик, оценка качества
- Совместно с ML-инженерами определять требования к моделям и к данным (состав, объем и качество датасетов)
- Руководить командой Data-аналитиков, Data-менеджеров, разметчиков
- Говорить на одном языке с «бизнесом» и ML-инженерами: сбор и анализ бизнес-требований, понимание применимости и ограничений AI
Требования
- Любить data-driven подход)
- Кросс-функциональное уметь разговаривать с DS и разработчиками
- Python, SQL, уверенный vibe-coding
- Понимание процесса деплоя моделей
- Понимание работы LLM и знание понятий типа RAG, fine tuning, skills/tools, Data Governance
- Знание подходов по оценке качества LLM, RAG
- Знание матстата
- Jira, agile итд
- Soft skills (уверенный problem-solving)
- Системное мышление
Будет плюсом
- Опыт построения процессов по оценке качества GenAI
- Опыт работы с данными для LLM и AI-агентов
- Опыт управления разметчиками
- Опыт создания пайплайнов data lifecycle
- Знакомство с LabelStudio, Toloka
- Опыт работы с качеством разметки (consistency, honeypots, golden dataset)