Описание

Руководитель ML-команды системных промптов Alice AI будет отвечать за техническое развитие направления, обучение и управляемость модели, оценку качества и интеграцию результатов, а также за техническую работу с командой.

Обязанности

Техническое развитие направления
Формирование технического курса вместе с командой, руководителем и продуктовыми партнёрами, выбор ключевых гипотез и принятие решений по результатам экспериментов
Развитие методов обучения, данных и reward-моделей, которые помогают Alice AI следовать системным инструкциям
Постановка воспроизводимых экспериментов, анализ поведения модели и развитие следующей итерации решения
Активное взаимодействие с командой аналитики для формулирования требований к оценке качества системных промптов, контроль её качества и проверка надёжности отражения изменений в поведении модели
Доведение подтверждённых экспериментами решений до релизной модели
Согласование технических изменений с командами RL, интеграции и оценки качества
Участие в разборе сложных проблем на стыке направлений
Исследование актуальных подходов к управляемости языковых моделей вместе с командой
Определение подходящих подходов для задач
Проектирование решений для проверки на Alice AI

Требования

Хорошее понимание устройства современных LLM, instruction tuning и методов алайнмента
Опыт руководства техническим развитием ML-направления или сложного исследовательского проекта
Умение связывать продуктовые цели, исследовательские гипотезы и метрики качества
Опыт построения воспроизводимого цикла ML-экспериментов и принятия технических решений по их результатам
Умение проектировать ML-системы и оценивать применимость новых подходов к задачам продукта
Умение объяснять сложные решения, делиться экспертностью и договариваться со смежными командами

Будет плюсом

Опыт работы с instruction following или controllability языковых моделей
Опыт работы с оценкой поведения LLM или reward-моделями