Один RTX 4090 с 24 ГБ VRAM запускает Llama 3.3 70B при 4-битной квантизации для одного-двух одновременных пользователей. Реальным продакшен-нагрузкам нужен A100 80GB или два 4090 с тензорным параллелизмом. Apple Silicon M3 Max со 128 ГБ унифицированной памяти подходит для инференса при более низкой пропускной способности. Все, что ниже 24 ГБ VRAM, вынуждает использовать модели 7B или 13B, которые годятся для классификации и обобщения, но слабы в рассуждении. Выбирайте оборудование после того, как выбрана модель, после того, как зафиксирован сценарий использования.
- Один пользователь, базовый чат: 24 ГБ VRAM, 4-битная квантизация
- Многопользовательский продакшен: A100 80GB или H100
- Только эмбеддинги и RAG: CPU плюс 64 ГБ RAM