在自有硬件上部署 Llama 3.1 405B, 智能体套件上线,14 天生产就绪

Llama 3.1 405B 是任何人发布过的最大开权重密集模型。在 MMLU、HumanEval 和 GSM8K 上达到 GPT-4 水平,128K 上下文窗口,许可证宽松。

  • 14 天生产切换
  • 包含编程 + 研究智能体套件
  • 4050 亿密集参数 参数量
  • 128K tokens 上下文窗口
  • 14 天 生产切换

Llama 3.1 405B 一览

选择模型和硬件时最关键的规格。

参数量

4050 亿(密集)

上下文窗口

128K tokens

架构

带 GQA 的 Transformer 解码器

分词器词表

128K(基于 tiktoken)

训练 tokens

15.6 万亿

许可证

Llama 3.1 社区许可证(允许商业使用,MAU 超过 7 亿需注意)

FP16 显存

约 810GB(仅模型)

FP8 显存

约 486GB(适合 8x H100 80GB)

INT4 显存

约 243GB(适合 4x H100 或 8x A100 40GB)

发布日期

2024-07-23

可在生产环境运行 Llama 3.1 405B 的硬件

三个层级,真实 SKU,真实吞吐数字。

入门层:8x A100 80GB + AWQ 或 GPTQ INT4 量化,NVLink

吞吐:单流 8-15 tok/s,批处理 30-50 tok/s。适用:研究实验室、评估工作、可接受延迟的内部研发。

中端层:8x H100 SXM 80GB + FP8 量化,NVLink + NVSwitch

吞吐:单流 30-60 tok/s,批处理 200+ tok/s。适用:FP8 生产推理,为真实用户提供服务的标准推荐部署。

企业层:8x H200 SXM 141GB 单节点 BF16,或 DGX B200 机架 FP4

吞吐:单流 60-120 tok/s,批处理 400+ tok/s。适用:最高保真度推理、受监管工作负载、规模化多租户服务。

此模型的量化选择

GGUF、AWQ、FP8、INT4。

推荐量化

H100 或 H200 上使用 FP8。原生 FP8 支持约 2 倍内存减少,质量损失极小,是 405B 的标准生产格式。

权衡

BF16 保留完整质量,但需要 H200 才能单节点容纳。FP8 是生产默认格式,基准跌幅可忽略。Meta 自家的 FP8 方案不对 self-attention 层以及首尾 transformer 块做量化,它与 NVIDIA 的 TensorRT 逐行(row-wise)方案都能恢复约 99.9% 的 BF16 MMLU,而 NVIDIA 的变体在 H200 上还额外带来最高 1.44x 的吞吐。INT4(AWQ 或 GPTQ)将显存降至约 243GB,但在困难推理上损失 2 到 5 分。低于 INT4,模型会迅速退化。

BF16

文件大小:未指定。

FP8

文件大小:未指定。

INT4 AWQ

文件大小:未指定。

FP4

文件大小:未指定。

我们为 Llama 3.1 405B 接入的编程智能体

Llama 3.1 405B 首先是硬件问题,其次才是模型问题。

Aider

diff 编辑格式和完整编辑格式均可使用。405B 社区运行的 Aider Polyglot 得分约 49-52%。延迟使实时结对编程很痛苦。最适合作为针对一批 PR 存根的隔夜批量作业。

OpenHands

OpenAI 兼容 vLLM 端点可直接接入。开权重 405B 的 SWE-bench Lite 约 25-30%,落后于 DeepSeek Coder V2 和 Qwen Coder。每个解决问题的 token 成本是关键制约。仅在您已经为 GPU 付费时使用。

Cline

通过 OpenRouter 或 AWS Bedrock 端点可使用。Cline 每个任务平均发出 30 多个工具调用。在 405B 延迟下,每个任务等待 4-7 分钟。仅在作为后台进程运行同时做其他工作时才实际可用。

Continue.dev

聊天和编辑均可用。避免将 405B 用作自动补全模型,200-800 毫秒的首 token 延迟会破坏流畅感。标准模式是 Llama 3.1 8B 用于自动补全,405B 用于聊天。

Cursor(BYOK)

Cursor 接受 OpenAI 兼容自定义端点。通过 Bedrock 或 Together 使用 405B 可行。大多数团队发现 Cursor 第一方 Composer 和 Sonnet 4.5 在相同任务成本下迭代速度更快。

SWE-Agent

普林斯顿开发。为 SWE-bench 风格的自主错误修复设计。405B 可在循环中工作,在 Verified 上得分落后 DeepSeek Coder V2 约 8-12 分。仅在需要 405B 更广泛推理处理非编码子任务时使用。

Roo Code

带多模式编排的 Cline fork。405B 在 Architect 模式推理上表现良好,Code 模式迭代速度不理想。配对方案:Architect=405B,Code=Llama 3.3 70B 或 DeepSeek Coder V2。

编程智能体使用场景

此模型 + 智能体套件能交付真实成果的场景。

我们在 Llama 3.1 405B 上部署的研究智能体

这是 405B 真正发挥价值的地方。

GPT Researcher

OpenAI 兼容。对接 vLLM 405B 端点可用。多来源综合质量确实强,与 GPT-4 级别相当。在典型 5 万 token 上下文下,每份研究报告预计成本 0.50-2.00 美元。

STORM(斯坦福)

从来源生成维基百科风格文章。405B 在多视角问题生成阶段表现良好。大纲驱动的方法充分发挥 405B 的推理深度。

AutoGen GroupChat

多智能体研究团队,405B 作为综合负责人,70B 作为工作模型。必须设置 token 上限,否则对话会失控。

LangGraph 深度研究

参考深度研究模板通过 vLLM 在 405B 上可干净运行。图结构与 405B 较慢的解码速度配合良好,节点间延迟感不明显。

CrewAI

研究员-写作者-评审者协作团队模式。405B 作为评审者能发现较小模型遗漏的推理错误。LiteLLM 代理处理 vLLM 端点。

Open Deep Research(HuggingFace)

基于 smolagents 的 OpenAI Deep Research 克隆。405B 作为规划器使用。我们曾为客户针对 50-200 个来源 URL 运行市场情报报告。

研究智能体使用场景

此模型 + 研究智能体套件能产出团队真正使用报告的场景。

客户在发布后说了什么

来自做决定时在场的人的反馈。

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
We were losing two or three same-day calls a week because nobody could check tech availability fast enough. That stopped on day one of the new system.
Dana, Office ManagerPhoenix
The Firebase-to-Supabase migration sounded terrifying. They moved 200k users without a single support ticket. We were live in 19 days.
Aisha, Engineering LeadToronto

我们为生产智能体工作流交付的框架

按工作流形态选择框架。

  1. LangGraph

  2. CrewAI

  3. AutoGen

  4. DSPy

  5. Pydantic AI

  6. LlamaIndex

谁会选择 Llama 3.1 405B

三类此模型是正确答案的买家画像。

主权或受监管企业

任务:金融、国防、医疗的本地 GPT-4 级助手。成果:数据不离开边界,405B 是唯一在知识基准上始终与前沿闭源模型相当的开源模型。

构建合成数据的研究实验室

任务:为较小模型生成高质量训练语料和判断标签。成果:以 405B 作为教师模型产生的合成数据明显优于 70B 蒸馏,证明了训练时的投入合理。

多租户 API 运营商

任务:在单一许可下为众多客户提供 Llama 3.1 端点。成果:将 8x H100 资本支出分摊到数千个席位,规模化下每 token 经济性优于 GPT-4 API。

Llama 3.1 405B 与最近竞品比较

此模型胜出的场景和劣势场景。

vs Llama 3.3 70B

70B 在常见基准上弥合了大部分质量差距,在指令遵循上更是直接领先(IFEval 92.1 对 88.6),数学也是(MATH 77.0 对 73.9)。它可在单个 8x A100 或 4x H100 节点上运行,每 token 成本约低 4.5 倍。除非你明确需要 405B 在 MMLU-Pro(73.4 对 68.9)、广义 MMLU 或 HumanEval 上的优势,否则选 70B。

vs DeepSeek V3 671B

DeepSeek V3 是 671B MoE,激活 37B 参数。更高的基准数字,通过 MoE 实现类似的服务成本,但部署更复杂,且在 DeepSeek 自己的条款下许可。405B 运营上更简单,因为它是密集型的。

vs GPT-4 / Claude API

闭源 API 每百万 tokens 成本 2-15 美元,零资本支出。405B 在每天持续 2-5 亿 tokens 时开始比 API 便宜,加上本地控制权。低于该流量时 API 更划算。

Pineido 如何在 Llama 3.1 405B 上部署智能体

三周冲刺。

第 1 天

硬件审计。确认 8x H100 80GB SXM + NVLink,签署 FP8 量化计划,绘制 vLLM 部署拓扑(TP=8,单节点)。

第 4 天

vLLM 启动连续批处理,OpenAI 兼容端点置于反向代理后,KV 缓存针对 32K 平均上下文调优,记录基线 tok/s 基准。

第 8 天

Llama 3.3 70B 副本在 405B 旁建立,用于混合路由。LiteLLM 路由规则:推理密集和综合任务走 405B,工具调用和短上下文迭代走 70B。

第 12 天

LangGraph 加选定智能体(代码用 Aider,研究用 GPT Researcher)接入 LiteLLM 路由器。LangSmith 追踪上线,每节点 token 预算强制执行。

第 16 天

评估套件在冻结客户任务集上运行。通过率、P50 和 P99 延迟、每任务成本锁定为生产 SLA。

第 21 天

生产切换。SSO、审计日志、保留策略、前端脱敏层就位。产品文档中发布「Built with Llama」署名。

我们如何在 14 天内部署 Llama 3.1 405B

固定费用。

  1. 第 1 天

    验证工作负载经济性。在约 30-50 万美元的 8x H100 资本支出背景下衡量当前 token 量,确认 405B 在评估集上优于 Llama 3.3 70B 后再承诺投入。

  2. 第 2-5 天

    采购或租用 8 卡节点。从 Neocloud(Lambda、Crusoe、RunPod)以每小时 20-30 美元租用 8x H100,或订购 DGX H200(交货期 12-16 周)。

  3. 第 2 周

    使用 vLLM 或 TensorRT-LLM 以 FP8 部署。配置 8 卡张量并行,启用连续批处理,在真实提示分布上验证吞吐。

  4. 第 3-4 周

    构建可观测性和回退机制。接入 Prometheus 指标(tok/s、队列深度、KV 缓存利用率)。为不需要 405B 的 90% 流量设置 Llama 3.3 70B 作为回退。

您在第一次会议上会问的一切

我应该选 405B 而不是 Llama 3.3 70B 吗?

几乎从不。405B 在广博知识上保有真实但狭窄的优势,MMLU-Pro 73.4 对 68.9,HumanEval 89.0 对 88.4;而 70B 实际上在指令遵循(IFEval 92.1 对 88.6)和数学(MATH 77.0 对 73.9)上胜出,并在 GPQA Diamond 上以约 50.5 打平。只有当这种知识优势值得 4.5 倍的成本增加时,才选 405B。对于大多数生产工作,Llama 3.3 70B 才是正确答案。

运行 405B 的最低硬件是什么?

现实地说,是 8x A100 80GB 配 INT4 量化。这给你 640GB 的合并显存,可容纳 243GB 的 INT4 模型并为 KV cache 留出空间,运行速度为每秒 8 到 15 个 token。要真正用于生产服务,下限是 8x H100 80GB 的 FP8(约 486GB),这是唯一具备原生 FP8 tensor core、能保持质量不变的层级。再小就是研究玩具,而非生产。

云 GPU 还是自购硬件?

若每天持续推理少于 8 小时,就租用。一个 8x H100 节点在 Lambda 或 Crusoe 这类 neocloud 上约为每 GPU 小时 $2 到 $4,AWS p5.48xlarge 在 2025 年降价后按需价约为每小时 $33 到 $55,以一年预留计算远低于每 GPU 小时 $2。若每天超过 16 小时,DGX H200(约 $350K 到 $500K)的资本支出相比按需云在 12 到 18 个月内回本,不过 Hopper 供应在 2025 年底再度紧张,所以在围绕自购机器做规划前请先确认交付周期。混合方案(预留云 + 突发)则在可变负载上折中。

FP8 量化会损害质量吗?

可忽略不计。Meta 和 NVIDIA 公布的 FP8 基准显示,MMLU 恢复约 99.9%,HumanEval pass@1 保持在 BF16 水平或之上,跌幅远低于半分。Meta 通过不对 self-attention 层以及首尾 transformer 块做量化来保护质量。对 405B 而言,FP8 是生产默认选择,而非妥协。

真的能用 128K 上下文吗?

可以,但有注意事项。召回在 64K-96K 内保持强劲,然后在长尾处下降。为完整 128K 预算额外显存用于 KV 缓存(约 60GB),对检索密集型工作考虑 RAG 而不是原始长上下文。

对自托管 Llama 3.1 405B 运行 Aider 会话实际成本是多少?

集群成本:AWS p5.48xlarge 上的 8x H100 80GB 按需约每小时 98 美元,一年预留约每小时 50 美元。以每请求 7-8 tokens/秒,典型 Aider 会话消耗 3-8 万 tokens。这是 60-180 秒解码加 8-15 秒预填充。每会话计算成本按需 1.50-4.50 美元,预留 0.80-2.40 美元。与 Bedrock 混合 240 万美元/百万 tokens 的 API 定价相比,仅在每月超过约 5000 万 tokens 时数学才成立。

4050 亿密集参数 参数量

预约 30 分钟咨询通话。我们在您签约前告知 Llama 3.1 405B 加智能体套件是否是正确选择。

固定费用。

第 1 天您将看到确切的模型、硬件、智能体套件、成本计算和合规立场。

你将带走

  1. 第 0 天(本周):30 分钟咨询通话。硬件候选清单、模型选择、智能体套件方案、成本预测,本周五前发送至您的邮箱
  2. 第 1 天:验证工作负载经济性。在约 30-50 万美元的 8x H100 资本支出背景下衡量当前 token 量,确认 405B 在评估集上优于 Llama 3.3 70B 后再承诺投入。

作者创始人兼 Imaginator

Pineido, 总部位于 Strumica, North Macedonia, 是一家软件公司,为国内外企业开发网站、网店、网页与移动应用、业务自动化和 AI。工作以 30 天冲刺、固定价格交付,代码归客户所有。

发布于 更新于