Авито 4 дня назад

Бэкенд-разработчик в команду LLM Gateway

  • Москва
  • В офисе
  • Опыт от 5 лет
PythonKubernetesLLMAPIGoClickHouseDWHMLOpsGPUTrinoLLMOps

Описание

Обязанности

  • развивать LLM Gateway для Авито, чтобы создавать продукты с LLM было быстро и удобно
  • автоматизировать выдачу и настройку доступов к моделям
  • развивать управление потреблением LLM: рассчитывать стоимость LLM-вызова, настраивать бюджетные лимиты для клиентов и приоритеты
  • развивать динамическую балансировку трафика между LLM-моделями
  • определять SLA платформы и методику его расчёта, настраивать мониторинг и алёрты, поддерживать SLA
  • интегрироваться с платформой инференса, автоматизировать развёртывание моделей и открывать к ним доступ для пользователей в инфраструктуре Авито
  • тесно взаимодействовать с DS-инженерами, погружаться в работу LLM, следить за развитием индустрии и внедрять новые технологии

Требования

  • имеете опыт технического лидерства в крупных направлениях с высокой степенью неопределённости: собирали требования, планировали работы, декомпозировали задачи, отвечали за реализацию и отслеживали результаты
  • имеете опыт поддержки критической высоконагруженной инфраструктуры: настраивали мониторинг и алёрты, участвовали в дежурствах 24/7
  • программировали на Python или Go от 5 лет
  • имеете опыт в MLOps или LLMOps: разворачивали и поддерживали инфраструктуру для автоматизации работы с ML- и LLM-моделями
  • понимаете основы работы LLM: чем prefill отличается от decode, зачем нужен KV-cache, что такое TTFT
  • умеете работать с задачами высокой неопределённости и выстраивать коммуникацию с командами

Будет плюсом

  • работали с LLM API и LLM Gateway, например LiteLLM
  • создавали внутренние платформенные решения
  • работали с системами мониторинга LLM, например Langfuse, Opik и другими
  • создавали и поддерживали админки для внутренних пользователей
  • работали с Kubernetes и GPU
  • работали с DWH, например ClickHouse и Trino

Условия

  • расширенная забота о здоровье: ДМС, страхование жизни, онкострахование
  • сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких
  • корпоративный спорт: групповые тренировки, велбиинг-приложение
  • спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование
  • компенсация питания