Коротко
| Движок | Где применять | Сильная сторона |
|---|---|---|
| vLLM | сервер, много пользователей | PagedAttention, непрерывная пакетная обработка, API как у OpenAI |
| SGLang | сервер, агенты | быстрая генерация со структурированным выводом |
| TensorRT-LLM | сервер NVIDIA | максимальная скорость после компиляции модели |
| Ollama | рабочая станция | запуск одной командой, каталог моделей |
| llama.cpp | ПК, ноутбук, CPU+GPU | формат GGUF, работает почти везде |
Квантизация
- FP8 — почти без потери качества, поддерживается Ada, Hopper, Blackwell.
- AWQ и GPTQ — 4 бита для серверных движков.
- GGUF Q4–Q8 — для llama.cpp и Ollama.
- FP4 (NVFP4) — Blackwell, максимальная плотность.
Поддержка моделей на октябрь 2026
В списке поддерживаемых моделей vLLM есть DeepSeek V4, GLM-5.x, Gemma 4, gpt-oss, MiniMax M3, Mistral Large 3, Qwen3.8 и Qwen3.8 Flash-Next. Новые модели иногда появляются в движках с задержкой — перед закупкой железа проверяем, что ваша модель запускается.
Что выбираем мы
Для компании с десятками пользователей — vLLM или SGLang на сервере с несколькими GPU. Для одного разработчика — Ollama или llama.cpp. Для отдела с несколькими одновременными пользователями — vLLM даже на одной RTX PRO 6000: у Ollama слабая параллельная обработка запросов.
