Назад к вакансиям

Lead ML Engineer

УдалённоПолная занятость
LLMMLPyTorchNLPGPUSGLangTensorRT-LLMQuantizationKV cacheLLM Inferencebatching

Описание

Требования

  • Опыт оптимизации LLM-инференса с SGLang, vLLM или TensorRT-LLM
  • Работа с большими моделями на распределённой GPU-инфраструктуре
  • Понимание KV cache, batching, quantization и профилирования GPU
  • Опыт обучения и дообучения LLM, уверенное владение PyTorch
  • Умение направлять инженеров через ревью, наставничество и технические решения

Условия

  • Удалённо
  • Full-time