Коротко
- Инференс моделей 7–32B (Qwen, Llama, DeepSeek-дистилляты) — RTX 4090, RTX 5090 или L40S: лучшая цена за токен.
- Дообучение 7–70B и корпоративный RAG — 4–8×H100 или 2–4×RTX PRO 6000.
- Генерация изображений и видео — RTX 5090, RTX PRO 6000, L40S.
- Обучение своей модели с нуля — кластер H100/H200 или новее; часто выгоднее аренда.
Игровые карты для ИИ
Игровые карты NVIDIA массово используют для нейросетей дома и в малом бизнесе. Главное — объём памяти: для ИИ имеют смысл карты от 16 ГБ. Карты с 8 ГБ подходят только для игр.
Лучшая цена за 24 ГБ — RTX 3090 с проверкой. Самая мощная — RTX 5090 с 32 ГБ. Самый доступный вход — RTX 5060 Ti 16 ГБ.
Профессиональные и серверные карты
Когда нужна модель 70B на одной карте, ECC и работа 24/7, выбирают RTX PRO 6000 Blackwell (96 ГБ) или серверные H100, H200. Для обучения больших моделей — B200, B300 и стойки GB300 и Vera Rubin.
AMD или NVIDIA
Карты AMD Radeon хороши для игр, но для нейросетей экосистема NVIDIA CUDA шире: многие инструменты работают только на ней. В дата-центрах AMD Instinct MI355X и Helios — сильная альтернатива там, где важен объём памяти.
