入门层:8x A100 80GB + AWQ 或 GPTQ INT4 量化,NVLink
吞吐:单流 8-15 tok/s,批处理 30-50 tok/s。适用:研究实验室、评估工作、可接受延迟的内部研发。
选择模型和硬件时最关键的规格。
4050 亿(密集)
128K tokens
带 GQA 的 Transformer 解码器
128K(基于 tiktoken)
15.6 万亿
Llama 3.1 社区许可证(允许商业使用,MAU 超过 7 亿需注意)
约 810GB(仅模型)
约 486GB(适合 8x H100 80GB)
约 243GB(适合 4x H100 或 8x A100 40GB)
2024-07-23
三个层级,真实 SKU,真实吞吐数字。
吞吐:单流 8-15 tok/s,批处理 30-50 tok/s。适用:研究实验室、评估工作、可接受延迟的内部研发。
吞吐:单流 30-60 tok/s,批处理 200+ tok/s。适用:FP8 生产推理,为真实用户提供服务的标准推荐部署。
吞吐:单流 60-120 tok/s,批处理 400+ tok/s。适用:最高保真度推理、受监管工作负载、规模化多租户服务。
GGUF、AWQ、FP8、INT4。
H100 或 H200 上使用 FP8。原生 FP8 支持约 2 倍内存减少,质量损失极小,是 405B 的标准生产格式。
BF16 保留完整质量,但需要 H200 才能单节点容纳。FP8 是生产默认格式,基准跌幅可忽略。Meta 自家的 FP8 方案不对 self-attention 层以及首尾 transformer 块做量化,它与 NVIDIA 的 TensorRT 逐行(row-wise)方案都能恢复约 99.9% 的 BF16 MMLU,而 NVIDIA 的变体在 H200 上还额外带来最高 1.44x 的吞吐。INT4(AWQ 或 GPTQ)将显存降至约 243GB,但在困难推理上损失 2 到 5 分。低于 INT4,模型会迅速退化。
文件大小:未指定。
文件大小:未指定。
文件大小:未指定。
文件大小:未指定。
Llama 3.1 405B 首先是硬件问题,其次才是模型问题。
diff 编辑格式和完整编辑格式均可使用。405B 社区运行的 Aider Polyglot 得分约 49-52%。延迟使实时结对编程很痛苦。最适合作为针对一批 PR 存根的隔夜批量作业。
OpenAI 兼容 vLLM 端点可直接接入。开权重 405B 的 SWE-bench Lite 约 25-30%,落后于 DeepSeek Coder V2 和 Qwen Coder。每个解决问题的 token 成本是关键制约。仅在您已经为 GPU 付费时使用。
通过 OpenRouter 或 AWS Bedrock 端点可使用。Cline 每个任务平均发出 30 多个工具调用。在 405B 延迟下,每个任务等待 4-7 分钟。仅在作为后台进程运行同时做其他工作时才实际可用。
聊天和编辑均可用。避免将 405B 用作自动补全模型,200-800 毫秒的首 token 延迟会破坏流畅感。标准模式是 Llama 3.1 8B 用于自动补全,405B 用于聊天。
Cursor 接受 OpenAI 兼容自定义端点。通过 Bedrock 或 Together 使用 405B 可行。大多数团队发现 Cursor 第一方 Composer 和 Sonnet 4.5 在相同任务成本下迭代速度更快。
普林斯顿开发。为 SWE-bench 风格的自主错误修复设计。405B 可在循环中工作,在 Verified 上得分落后 DeepSeek Coder V2 约 8-12 分。仅在需要 405B 更广泛推理处理非编码子任务时使用。
带多模式编排的 Cline fork。405B 在 Architect 模式推理上表现良好,Code 模式迭代速度不理想。配对方案:Architect=405B,Code=Llama 3.3 70B 或 DeepSeek Coder V2。
此模型 + 智能体套件能交付真实成果的场景。
这是 405B 真正发挥价值的地方。
OpenAI 兼容。对接 vLLM 405B 端点可用。多来源综合质量确实强,与 GPT-4 级别相当。在典型 5 万 token 上下文下,每份研究报告预计成本 0.50-2.00 美元。
从来源生成维基百科风格文章。405B 在多视角问题生成阶段表现良好。大纲驱动的方法充分发挥 405B 的推理深度。
多智能体研究团队,405B 作为综合负责人,70B 作为工作模型。必须设置 token 上限,否则对话会失控。
参考深度研究模板通过 vLLM 在 405B 上可干净运行。图结构与 405B 较慢的解码速度配合良好,节点间延迟感不明显。
研究员-写作者-评审者协作团队模式。405B 作为评审者能发现较小模型遗漏的推理错误。LiteLLM 代理处理 vLLM 端点。
基于 smolagents 的 OpenAI Deep Research 克隆。405B 作为规划器使用。我们曾为客户针对 50-200 个来源 URL 运行市场情报报告。
此模型 + 研究智能体套件能产出团队真正使用报告的场景。
来自做决定时在场的人的反馈。
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
We were losing two or three same-day calls a week because nobody could check tech availability fast enough. That stopped on day one of the new system.
The Firebase-to-Supabase migration sounded terrifying. They moved 200k users without a single support ticket. We were live in 19 days.
按工作流形态选择框架。
三类此模型是正确答案的买家画像。
任务:金融、国防、医疗的本地 GPT-4 级助手。成果:数据不离开边界,405B 是唯一在知识基准上始终与前沿闭源模型相当的开源模型。
任务:为较小模型生成高质量训练语料和判断标签。成果:以 405B 作为教师模型产生的合成数据明显优于 70B 蒸馏,证明了训练时的投入合理。
任务:在单一许可下为众多客户提供 Llama 3.1 端点。成果:将 8x H100 资本支出分摊到数千个席位,规模化下每 token 经济性优于 GPT-4 API。
此模型胜出的场景和劣势场景。
70B 在常见基准上弥合了大部分质量差距,在指令遵循上更是直接领先(IFEval 92.1 对 88.6),数学也是(MATH 77.0 对 73.9)。它可在单个 8x A100 或 4x H100 节点上运行,每 token 成本约低 4.5 倍。除非你明确需要 405B 在 MMLU-Pro(73.4 对 68.9)、广义 MMLU 或 HumanEval 上的优势,否则选 70B。
DeepSeek V3 是 671B MoE,激活 37B 参数。更高的基准数字,通过 MoE 实现类似的服务成本,但部署更复杂,且在 DeepSeek 自己的条款下许可。405B 运营上更简单,因为它是密集型的。
闭源 API 每百万 tokens 成本 2-15 美元,零资本支出。405B 在每天持续 2-5 亿 tokens 时开始比 API 便宜,加上本地控制权。低于该流量时 API 更划算。
三周冲刺。
硬件审计。确认 8x H100 80GB SXM + NVLink,签署 FP8 量化计划,绘制 vLLM 部署拓扑(TP=8,单节点)。
vLLM 启动连续批处理,OpenAI 兼容端点置于反向代理后,KV 缓存针对 32K 平均上下文调优,记录基线 tok/s 基准。
Llama 3.3 70B 副本在 405B 旁建立,用于混合路由。LiteLLM 路由规则:推理密集和综合任务走 405B,工具调用和短上下文迭代走 70B。
LangGraph 加选定智能体(代码用 Aider,研究用 GPT Researcher)接入 LiteLLM 路由器。LangSmith 追踪上线,每节点 token 预算强制执行。
评估套件在冻结客户任务集上运行。通过率、P50 和 P99 延迟、每任务成本锁定为生产 SLA。
生产切换。SSO、审计日志、保留策略、前端脱敏层就位。产品文档中发布「Built with Llama」署名。
固定费用。
验证工作负载经济性。在约 30-50 万美元的 8x H100 资本支出背景下衡量当前 token 量,确认 405B 在评估集上优于 Llama 3.3 70B 后再承诺投入。
采购或租用 8 卡节点。从 Neocloud(Lambda、Crusoe、RunPod)以每小时 20-30 美元租用 8x H100,或订购 DGX H200(交货期 12-16 周)。
使用 vLLM 或 TensorRT-LLM 以 FP8 部署。配置 8 卡张量并行,启用连续批处理,在真实提示分布上验证吞吐。
构建可观测性和回退机制。接入 Prometheus 指标(tok/s、队列深度、KV 缓存利用率)。为不需要 405B 的 90% 流量设置 Llama 3.3 70B 作为回退。
几乎从不。405B 在广博知识上保有真实但狭窄的优势,MMLU-Pro 73.4 对 68.9,HumanEval 89.0 对 88.4;而 70B 实际上在指令遵循(IFEval 92.1 对 88.6)和数学(MATH 77.0 对 73.9)上胜出,并在 GPQA Diamond 上以约 50.5 打平。只有当这种知识优势值得 4.5 倍的成本增加时,才选 405B。对于大多数生产工作,Llama 3.3 70B 才是正确答案。
现实地说,是 8x A100 80GB 配 INT4 量化。这给你 640GB 的合并显存,可容纳 243GB 的 INT4 模型并为 KV cache 留出空间,运行速度为每秒 8 到 15 个 token。要真正用于生产服务,下限是 8x H100 80GB 的 FP8(约 486GB),这是唯一具备原生 FP8 tensor core、能保持质量不变的层级。再小就是研究玩具,而非生产。
若每天持续推理少于 8 小时,就租用。一个 8x H100 节点在 Lambda 或 Crusoe 这类 neocloud 上约为每 GPU 小时 $2 到 $4,AWS p5.48xlarge 在 2025 年降价后按需价约为每小时 $33 到 $55,以一年预留计算远低于每 GPU 小时 $2。若每天超过 16 小时,DGX H200(约 $350K 到 $500K)的资本支出相比按需云在 12 到 18 个月内回本,不过 Hopper 供应在 2025 年底再度紧张,所以在围绕自购机器做规划前请先确认交付周期。混合方案(预留云 + 突发)则在可变负载上折中。
可忽略不计。Meta 和 NVIDIA 公布的 FP8 基准显示,MMLU 恢复约 99.9%,HumanEval pass@1 保持在 BF16 水平或之上,跌幅远低于半分。Meta 通过不对 self-attention 层以及首尾 transformer 块做量化来保护质量。对 405B 而言,FP8 是生产默认选择,而非妥协。
可以,但有注意事项。召回在 64K-96K 内保持强劲,然后在长尾处下降。为完整 128K 预算额外显存用于 KV 缓存(约 60GB),对检索密集型工作考虑 RAG 而不是原始长上下文。
集群成本:AWS p5.48xlarge 上的 8x H100 80GB 按需约每小时 98 美元,一年预留约每小时 50 美元。以每请求 7-8 tokens/秒,典型 Aider 会话消耗 3-8 万 tokens。这是 60-180 秒解码加 8-15 秒预填充。每会话计算成本按需 1.50-4.50 美元,预留 0.80-2.40 美元。与 Bedrock 混合 240 万美元/百万 tokens 的 API 定价相比,仅在每月超过约 5000 万 tokens 时数学才成立。
4050 亿密集参数 参数量
固定费用。
第 1 天您将看到确切的模型、硬件、智能体套件、成本计算和合规立场。
作者Kostadin Stamboliev创始人兼 Imaginator
Pineido, 总部位于 Strumica, North Macedonia, 是一家软件公司,为国内外企业开发网站、网店、网页与移动应用、业务自动化和 AI。工作以 30 天冲刺、固定价格交付,代码归客户所有。
发布于 更新于