Авито 4 дня назад
Бэкенд-разработчик в команду LLM Gateway
- Москва
- В офисе
- Опыт от 5 лет
PythonKubernetesLLMAPIGoClickHouseDWHMLOpsGPUTrinoLLMOps
Описание
Обязанности
- развивать LLM Gateway для Авито, чтобы создавать продукты с LLM было быстро и удобно
- автоматизировать выдачу и настройку доступов к моделям
- развивать управление потреблением LLM: рассчитывать стоимость LLM-вызова, настраивать бюджетные лимиты для клиентов и приоритеты
- развивать динамическую балансировку трафика между LLM-моделями
- определять SLA платформы и методику его расчёта, настраивать мониторинг и алёрты, поддерживать SLA
- интегрироваться с платформой инференса, автоматизировать развёртывание моделей и открывать к ним доступ для пользователей в инфраструктуре Авито
- тесно взаимодействовать с DS-инженерами, погружаться в работу LLM, следить за развитием индустрии и внедрять новые технологии
Требования
- имеете опыт технического лидерства в крупных направлениях с высокой степенью неопределённости: собирали требования, планировали работы, декомпозировали задачи, отвечали за реализацию и отслеживали результаты
- имеете опыт поддержки критической высоконагруженной инфраструктуры: настраивали мониторинг и алёрты, участвовали в дежурствах 24/7
- программировали на Python или Go от 5 лет
- имеете опыт в MLOps или LLMOps: разворачивали и поддерживали инфраструктуру для автоматизации работы с ML- и LLM-моделями
- понимаете основы работы LLM: чем prefill отличается от decode, зачем нужен KV-cache, что такое TTFT
- умеете работать с задачами высокой неопределённости и выстраивать коммуникацию с командами
Будет плюсом
- работали с LLM API и LLM Gateway, например LiteLLM
- создавали внутренние платформенные решения
- работали с системами мониторинга LLM, например Langfuse, Opik и другими
- создавали и поддерживали админки для внутренних пользователей
- работали с Kubernetes и GPU
- работали с DWH, например ClickHouse и Trino
Условия
- расширенная забота о здоровье: ДМС, страхование жизни, онкострахование
- сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких
- корпоративный спорт: групповые тренировки, велбиинг-приложение
- спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование
- компенсация питания