Data Scientist в команду LLM Core

Описание

Команда обучает собственные базовые LLM и внедряет их в бизнес-сценарии Авито, обеспечивая продукты моделями, подходящими по качеству ответов и стоимости применения. Команда адаптирует open source-решения под русский язык и доменную специфику Авито с помощью continual pre-training и подмены токенизатора. Для развития моделей исследуются новые методы, пайплайны, включая RL и синтетические данные, а также датасеты. Технический фокус команды — построение масштабируемого пайплайна для претрейна и дообучения LLM, а также оптимизация инференса.

Обязанности

• формулировать и проверять гипотезы в области претрейна, continual pre-training, post-training, RL, синтетических данных и архитектур моделей
• самостоятельно вести сложные исследовательские и инженерные задачи: от постановки цели, выбора метрик и дизайна экспериментов до реализации, анализа результатов и внедрения
• масштабировать обучение и инференс: профилировать узкие места, повышать эффективность распределённого обучения и инференса, работать с квантованием, speculative decoding и современными inference-движками
• строить надёжные процедуры оценки качества, проводить анализ ошибок, находить регрессии и проектировать датасеты и метрики для сравнения моделей по качеству, latency и стоимости
• писать продакшен-код на Python и PyTorch, проводить code review, улучшать воспроизводимость экспериментов, надёжность и поддерживаемость ML-решений
• делиться знаниями, менторить менее опытных коллег, участвовать в архитектурных обсуждениях и внутренних LLM-семинарах
• масштабировать базовую модель A-vibe: исследовать новые архитектуры и подходы к обучению
• оптимизировать скорость и стоимость инференса высоконагруженных моделей в продакшене
• проектировать и помогать разрабатывать внутренние LLM-платформы и мультиагентные системы
• строить надёжную инфраструктуру для оценки качества моделей

Требования

• не менее 3 лет опыта реализации и эксплуатации ML-решений
• глубокое понимание современных ML-алгоритмов, Transformer и принципов обучения LLM
• практический опыт обучения, адаптации или внедрения NLP-моделей
• умение превращать идеи в проверяемые эксперименты
• умение самостоятельно работать с неопределённостью: декомпозировать проблему, выбирать метрики, анализировать результаты и принимать технические решения
• уверенное владение Python
• хорошее знание PyTorch и инженерных практик разработки
• понимание компромиссов между качеством, latency, throughput и стоимостью и учёт их при выборе решения

Будет плюсом

• работа с continual pre-training, заменой или расширением токенизатора, SFT, LoRA либо RL-подходами к post-training
• опыт распределённого обучения или оптимизации инференса
• знакомство с такими инструментами, как DeepSpeed, vLLM, SGLang или TensorRT-LLM
• опыт построения пайплайнов оценки качества, синтетических датасетов или систем автоматического анализа ошибок моделей
• работа с MLOps-инструментами для трекинга экспериментов и версионирования данных и моделей: Weights & Biases, MLflow, DVC или аналогами
• публикации исследований, участие в open source-проектах или высокие места в соревнованиях по машинному обучению

Условия

• возможность влиять на продукт: решения будут улучшать опыт миллионов пользователей
• сложные технологические задачи на большом масштабе
• мощное железо: доступ к производительным GPU-кластерам для экспериментов
• сильное комьюнити: команда экспертов, с которой можно обсуждать идеи и подходы
• развитие: бюджет на обучение, курсы, конференции и профессиональную литературу
• забота о здоровье: ДМС со стоматологией с первого дня, в офисе принимают терапевт и массажист
• гибкость: возможность работать удалённо или из офисов в 4 городах России