Начальный уровень: 8x A100 80 ГБ с AWQ или GPTQ INT4, NVLink
Пропускная способность: 8-15 токен/с одиночный поток, 30-50 токен/с батчем. Лучше всего для: исследовательских лабораторий, eval-работы, внутренних R&D, где задержка допустима.
Llama 3.1 405B, крупнейшая open-weight плотная модель, которую кто-либо выпустил. Она достигает уровня GPT-4 на MMLU, HumanEval и GSM8K, с контекстным окном 128K и разрешительной Community License.
Характеристики, важные при выборе модели и железа.
405B (dense)
128K токенов
Transformer decoder с GQA
128K (на основе tiktoken)
15,6 триллиона
Llama 3.1 Community License (коммерческое использование разрешено, оговорка MAU свыше 700M)
~810 ГБ (только модель)
~486 ГБ (подходит для 8x H100 80 ГБ)
~243 ГБ (подходит для 4x H100 или 8x A100 40 ГБ)
2024-07-23
Три уровня, реальные SKU, реальные показатели пропускной способности.
Пропускная способность: 8-15 токен/с одиночный поток, 30-50 токен/с батчем. Лучше всего для: исследовательских лабораторий, eval-работы, внутренних R&D, где задержка допустима.
Пропускная способность: 30-60 токен/с одиночный поток, 200+ токен/с батчем. Лучше всего для: продакшн-инференса с FP8, стандартный рекомендуемый деплой для обслуживания реальных пользователей.
Пропускная способность: 60-120 токен/с одиночный поток, 400+ токен/с батчем. Лучше всего для: инференса с наивысшей точностью, регулируемых рабочих нагрузок, мультиарендного обслуживания в масштабе.
GGUF, AWQ, FP8, INT4.
FP8 на H100 или H200. Нативная поддержка FP8 даёт примерно двукратное уменьшение памяти с минимальной потерей качества и является стандартным продакшн-форматом для 405B.
BF16 сохраняет полное качество, но требует H200 для размещения в одном узле. FP8 - стандарт по умолчанию для продакшена с пренебрежимо малым падением на бенчмарках. Собственный рецепт FP8 от Meta оставляет неквантованными слои self-attention, а также первый и последний блоки transformer, и как он, так и row-wise рецепт TensorRT от NVIDIA восстанавливают примерно 99,9 процента MMLU в BF16. Вариант NVIDIA добавляет до 1,44x пропускной способности на H200. INT4 (AWQ или GPTQ) снижает VRAM до ~243GB, но теряет от 2 до 5 баллов на сложных рассуждениях. Ниже INT4 модель деградирует быстро.
Размер файла: не определён.
Размер файла: не определён.
Размер файла: не определён.
Размер файла: не определён.
Llama 3.1 405B, проблема уровня железа прежде, чем проблема модели.
Работает с форматами diff edit и whole edit. Aider Polyglot около 49-52 процентов для 405B по запускам сообщества. Задержка делает его болезненным для живого парного программирования. Лучше всего развёртывать как ночные пакетные задачи против очереди заглушек pull request.
Plug-in endpoint vLLM, совместимый с OpenAI. SWE-bench Lite около 25-30 процентов на open-weight 405B, позади DeepSeek Coder V2 и Qwen Coder. Стоимость токенов на решённую задачу, убийца ROI. Используйте только если вы уже платите за GPU.
Функционален через OpenRouter или endpoint AWS Bedrock. Cline в среднем генерирует 30+ вызовов инструментов на задачу. При задержке 405B это 4-7 минут ожидания на задачу. Практично только при запуске как фонового процесса во время другой работы.
Работает для чата и редактирования. Избегайте использования 405B как модели автодополнения: задержка первого токена 200-800 мс нарушает поток. Пара Llama 3.1 8B для автодополнения и 405B для чата, стандартный паттерн.
Cursor принимает кастомные endpoints, совместимые с OpenAI. 405B через Bedrock или Together работает. Большинство команд обнаруживают, что first-party Composer Cursor и Sonnet 4.5 выигрывают по скорости итераций при той же стоимости за задачу.
От Princeton. Разработан для автономного исправления багов в стиле SWE-bench. 405B работает в цикле, баллы уступают DeepSeek Coder V2 на 8-12 пунктов на Verified. Используйте 405B здесь только при необходимости более широкого рассуждения для некодовых подзадач.
Форк Cline с мультирежимной оркестрацией. 405B хорошо обрабатывает рассуждения режима Architect, менее идеален для скорости итераций режима Code. Сочетайте Architect=405B с Code=Llama 3.3 70B или DeepSeek Coder V2.
Где эта модель в связке с агентным стеком даёт реальные результаты.
Здесь 405B оправдывает своё место.
Совместим с OpenAI. Работает против endpoint vLLM 405B. Качество синтеза из нескольких источников genuinely сильное, сопоставимо с классом GPT-4. Рассчитывайте на $0.50-$2.00 за research-отчёт при типичных контекстах 50K токенов.
Генерация статей в стиле Википедии из источников. 405B хорошо справляется с фазой генерации вопросов с нескольких перспектив. Подход на основе контура играет на глубину рассуждений 405B.
Мультиагентные research-команды, где 405B, лидер синтеза, а 70B, исполнитель. Обязательны лимиты токенов, иначе беседа уходит в бесконечность.
Референсный шаблон глубоких исследований работает чисто на 405B через vLLM. Структура графа хорошо сочетается с более медленным декодированием 405B, задержка между узлами не ощущается.
Паттерн команды Researcher-Writer-Critic. 405B в роли Critic ловит ошибки рассуждений, которые пропускают меньшие модели. Прокси LiteLLM обрабатывает endpoint vLLM.
Клон OpenAI Deep Research на smolagents. 405B работает как планировщик. Мы запускали его для клиентских отчётов по рыночной аналитике по 50-200 URL-источникам.
Где эта модель в связке с research-агентным стеком даёт отчёты, которые ваша команда действительно использует.
Отзывы от людей, которые были в комнате, когда принимались решения.
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
We were losing two or three same-day calls a week because nobody could check tech availability fast enough. That stopped on day one of the new system.
The Firebase-to-Supabase migration sounded terrifying. They moved 200k users without a single support ticket. We were live in 19 days.
Выбирайте фреймворк по форме рабочего процесса.
Три профиля покупателей, для которых эта модель, правильный выбор.
Задача: on-prem ассистент класса GPT-4 для финансов, обороны, здравоохранения. Результат: данные не покидают периметр, и 405B, единственная открытая модель, последовательно сопоставимая с frontier закрытыми моделями на бенчмарках знаний.
Задача: генерация высококачественных обучающих корпусов и меток судьи для меньших моделей. Результат: 405B как учитель даёт измеримо лучшие синтетические данные, чем дистилляты 70B, оправдывая расходы на обучение.
Задача: обслуживание endpoint Llama 3.1 для многих клиентов под одной лицензией. Результат: амортизация капекса 8x H100 на тысячи мест, где экономика per-token превосходит API GPT-4 в масштабе.
Где эта модель выигрывает, где проигрывает.
70B закрывает большую часть разрыва в качестве на распространённых бенчмарках, а по следованию инструкциям прямо лидирует (IFEval 92,1 против 88,6), как и по MATH (77,0 против 73,9). Она работает на одном узле 8x A100 или 4x H100 и стоит примерно в 4,5 раза дешевле за токен. Выбирайте 70B, если только вам конкретно не нужно преимущество 405B на MMLU-Pro (73,4 против 68,9), широком MMLU или HumanEval.
DeepSeek V3, MoE на 671B с 37B активными параметрами. Более высокие заголовочные бенчмарки, сопоставимая стоимость обслуживания через MoE, но более сложный в деплое и лицензированный по собственным условиям DeepSeek. 405B операционно проще из-за плотной архитектуры.
Закрытые API стоят $2-$15 за миллион токенов без капекса. 405B становится дешевле примерно при 200-500 миллионах токенов в день устойчиво, плюс вы получаете on-prem контроль. Ниже этого объёма API выигрывает.
Трёхнедельный спринт.
Аудит железа. Подтверждение 8x H100 80 ГБ SXM с NVLink, план квантизации FP8 подписан, топология деплоя vLLM нарисована (TP=8, один узел).
vLLM запущен с continuous batching, endpoint, совместимый с OpenAI, за reverse proxy, KV cache настроен для среднего контекста 32K, базовый бенчмарк tok/s зафиксирован.
Реплика Llama 3.3 70B поднята рядом с 405B для гибридной маршрутизации. Правила LiteLLM router: 405B для задач с тяжёлыми рассуждениями и синтеза, 70B для вызовов инструментов и итераций с коротким контекстом.
LangGraph плюс выбранный агент (Aider для кода, GPT Researcher для исследований) подключены к LiteLLM router. LangSmith tracing запущен, per-node лимиты токенов применяются.
Eval harness работает на замороженном наборе задач клиента. Pass rate, задержка P50 и P99, стоимость за задачу зафиксированы как продакшн SLA.
Продакшн-переход. SSO, audit log, политика хранения, слой редактирования перед. Атрибуция 'Built with Llama' поставлена в документацию продукта.
Фиксированная цена.
Валидация экономики рабочей нагрузки. Измерение текущего объёма токенов против капекса 8x H100 около $300K-$500K, затем подтверждение, что 405B опережает Llama 3.3 70B на вашем eval-наборе до принятия обязательств.
Закупка или аренда 8-GPU узла. Либо аренда 8x H100 у Neocloud (Lambda, Crusoe, RunPod) по $20-$30/ч, либо заказ DGX H200 со сроком ожидания 12-16 недель.
Деплой с vLLM или TensorRT-LLM в FP8. Настройка tensor parallelism по 8 GPU, включение continuous batching, валидация пропускной способности на реальном распределении промптов.
Построение наблюдаемости и fallback. Подключение метрик Prometheus для tok/s, глубины очереди и использования KV cache. Настройка Llama 3.3 70B как fallback для 90 процентов трафика, не требующего 405B.
Почти никогда. 405B сохраняет реальное, но узкое преимущество по широким знаниям, MMLU-Pro 73,4 против 68,9 и HumanEval 89,0 против 88,4, тогда как 70B фактически выигрывает по следованию инструкциям (IFEval 92,1 против 88,6) и по математике (MATH 77,0 против 73,9) и идёт вровень на GPQA Diamond около 50,5. Выбирайте 405B только когда это преимущество в знаниях стоит роста стоимости в 4,5 раза. Для большинства продакшен-задач Llama 3.3 70B - правильный ответ.
Реалистично - 8x A100 80GB с квантизацией INT4. Это даёт 640GB объединённой VRAM, вмещает модель INT4 на 243GB с запасом под KV cache и работает на скорости 8 - 15 токенов в секунду. Для настоящего продакшен-сервинга нижняя планка - 8x H100 80GB в FP8 (~486GB), единственный уровень с нативными FP8 tensor core, сохраняющими качество. Всё меньшее - исследовательская игрушка, а не продакшен.
Менее 8 часов в день устойчивого инференса - арендуйте. Узел 8x H100 обходится примерно в $2 - $4 за GPU-час у neocloud вроде Lambda или Crusoe, а AWS p5.48xlarge после снижения цен в 2025 году упал примерно до $33 - $55 в час по on-demand, заметно ниже $2 за GPU-час при годовом резерве. При более чем 16 часах в день капитальные затраты на DGX H200 (примерно $350K - $500K) окупаются за 12 - 18 месяцев по сравнению с on-demand облаком, хотя предложение Hopper снова стало дефицитным в конце 2025 года, так что подтвердите сроки поставки, прежде чем планировать вокруг собственной машины. Гибрид (зарезервированное облако + всплески) делит разницу для переменной нагрузки.
Пренебрежимо. Meta и NVIDIA публикуют FP8-бенчмарки, показывающие примерно 99,9 процента восстановления MMLU и HumanEval pass@1, удерживающийся на уровне BF16 или выше, что заметно меньше половины балла падения. Meta защищает качество, не квантуя слои self-attention, а также первый и последний блоки transformer. FP8 - стандарт по умолчанию для продакшена 405B, а не компромисс.
Да, но с оговорками. Recall остаётся сильным до 64K-96K, потом деградирует на дальнем хвосте. Закладывайте дополнительный VRAM для KV cache (около 60 ГБ при полном 128K) и рассмотрите RAG вместо сырого длинного контекста для retrieval-интенсивной работы.
Сначала стоимость кластера: 8x H100 80 ГБ на AWS p5.48xlarge стоит около $98/ч on-demand или примерно $50/ч с годовой резервацией. При 7-8 токенов в секунду на запрос типичная сессия Aider сжигает 30K-80K токенов. Это 60-180 секунд декодирования плюс 8-15 секунд prefill. Стоимость вычислений per-сессия составляет $1.50-$4.50 по on-demand ценам, $0.80-$2.40 зарезервированным. Математика работает только выше примерно 50 миллионов токенов в месяц против цен API $2.40 за миллион смешанных на Bedrock.
405B dense Параметры
Фиксированная цена.
В День 1 вы видите точную модель, точное железо, точный агентный стек, точную математику стоимости и точную позицию по соответствию требованиям.
АвторKostadin StambolievОснователь и имагинатор
Pineido, из города Strumica, North Macedonia, — софтверная компания, которая делает сайты, интернет-магазины, веб- и мобильные приложения, автоматизацию бизнес-процессов и ИИ для компаний в стране и за рубежом. Работа сдаётся 30-дневными спринтами по фиксированной цене, а код принадлежит клиенту.
Опубликовано Обновлено