在自有硬件上部署 Llama 3.3 70B, 14天内智能体工具栈上线,达到生产级别

Llama 3.3 70B 是2026年受监管企业最稳妥的开源权重选型。发布于2024年12月6日,在大多数文本基准测试中匹配 Llama 3.1 405B,同时可在货架上买到的硬件上运行。

  • 14天生产切换
  • 含编码 + 研究智能体工具栈
  • 70B 稠密 参数量
  • 128K tokens 上下文窗口
  • 14 天 生产切换

Llama 3.3 70B 一览

选型和硬件采购时最关键的规格参数。

参数量

70B(稠密)

上下文窗口

128K tokens

许可证

Llama 3.3 社区版

发布日期

2024年12月6日

知识截止日期

2023年12月

支持语言

英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语

最低显存(Q4_K_M)

48GB 可用(模型42GB + KV 缓存)

最低显存(FP16)

140GB

Mac Studio M3 Ultra Q4 吞吐量(token/秒)

18-25

双卡 RTX 5090 AWQ 吞吐量(token/秒)

60-90(vLLM 批处理)

RTX Pro 6000 Blackwell 96GB 吞吐量(token/秒)

70-100

客户在发布后说了什么

来自做决定时在场的人的反馈。

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
We were losing two or three same-day calls a week because nobody could check tech availability fast enough. That stopped on day one of the new system.
Dana, Office ManagerPhoenix
They managed to get our VPs to agree on a direction without it turning into a fight. That alone was worth it.
Rena, Product LeadNew York

可在生产环境运行 Llama 3.3 70B 的硬件

三个层级,真实 SKU,真实吞吐量数据。

  1. 入门级:Mac Studio M3 Ultra 256GB($7,499-9,499)

    吞吐量:18-25 token/秒。适合:8-15人规模公司、单用户服务、起草和问答。

  2. 中端级:2x RTX 5090($15-20K)或 RTX Pro 6000 Blackwell 96GB($10-14K)

    吞吐量:60-100 token/秒。适合:25-50人规模公司、vLLM 连续批处理、生产级 RAG。

  3. 企业级:4x H200 SXM 141GB($150-200K)或 8x H100

    吞吐量:300-500 token/秒。适合:100+ 并发用户、多租户部署。

本模型的量化选型

GGUF、AWQ、FP8、INT4。

推荐量化方案

Mac 和单用户场景用 Q4_K_M,GPU 服务用 AWQ INT4,Hopper 和 Blackwell 用 FP8

权衡取舍

Q4_K_M 在 MMLU-Pro 上比 FP16 损失2至4个百分点。AWQ 在 vLLM 上以接近 FP16 的质量提供约2倍吞吐量。FP8 在 H100、H200 和 B200 上是原生支持,质量损失约1个百分点,内存占用最优。

GGUF Q4_K_M

文件大小:42GB。

AWQ INT4

文件大小:40GB。

FP8

文件大小:70GB。

FP16

文件大小:140GB。

我们为 Llama 3.3 70B 接入的编码智能体

通过 vLLM 启用原生工具调用,参数为 --tool-call-parser llama3_json 和 --enable-auto-tool-choice。

Aider

强烈推荐。运行命令:aider --openai-api-base http://your-vllm:8000/v1 --openai-api-key dummy --model openai/meta-llama/Llama-3.3-70B-Instruct。Aider 的 diff-edit 格式足够保守,Llama 3.3 70B 在大多数重构任务中可以干净地应用编辑。diff 应用成功率约为85%,GPT-5 级别模型约为95%。最适合 Python、JavaScript、TypeScript、Go。

Cline

配置为 OpenAI 兼容提供商,基础 URL 指向 vLLM 端点,模型 ID 与注册时完全一致。计划模式和执行模式均可使用。Llama 3.3 70B 在 Cline 任务中偶尔会过度要求澄清,需谨慎设置自动批准阈值。本地路径确保提示词不经过第三方处理器,这是 Cursor 无法保证的。

Continue.dev

在 config.yaml 中配置 provider: openai,apiBase 指向 vLLM /v1,并声明 capabilities: [tool_use]。Chat 和 Edit 角色均可正常使用。Tab 自动补全在 Q4_K_M 下可用,但 Continue 的自动补全角色最好搭配更小的快速模型。最佳用途是多文件编辑和对话。

OpenHands

基于容器的智能体。将 LLM_BASE_URL 设置为 vLLM 端点,LLM_MODEL 设置为注册的模型 ID。Llama 3.3 70B 无推理模式,且从未在智能体轨迹上做过强化学习训练,因此在默认 OpenHands 框架中执行任意 bash 和 Python 时容易迷失。独立的 SWE-bench Lite 测试结果仅为个位数,除非将工具集精简为少量文件操作并固定明确的模式,而 DeepSeek V3.2 和 Qwen3-Coder 无需如此。适合仓库问答和有界任务,不适合无边界的自主循环。

Roo Code

Cline 的分支版本,支持多模式(代码、架构师、问答、调试)。配置方式与 Cline 相同,兼容 OpenAI。Roo Code 的 diff 应用解析器比 Cline 稍宽容,对 Llama 3.3 70B 的多块编辑更友好。架构师模式是最佳搭配,因为它将规划步骤从模型最薄弱的环节中卸载出来。

Sourcegraph Cody(自托管)

企业级自托管 Cody 在 cody.json 中支持 OpenAI 兼容端点。适用于买家已运行自托管 Sourcegraph 进行代码搜索的场景。Llama 3.3 70B 对 Cody 的仓库感知对话支持良好。工具调用支持比 Cline 更有限。

Goose

Block 的开源 Apache 2.0 智能体。配置为 OpenAI 兼容提供商。Goose 的 MCP 原生架构与 Llama 3.3 70B 在浏览器、文件系统和 Shell 工具上配合良好。与 Claude Code 的性能差距是真实存在的(Goose+Sonnet 约45% SWE-bench,Claude Code+Sonnet 约73%),适合有界任务。

编码智能体使用场景

本模型 + 智能体工具栈可实际交付的工作场景。

我们在 Llama 3.3 70B 上部署的研究智能体

128K 上下文无需摘要技巧即可处理200至300页的综合文档,NIH 多针检索得分97.5,因此深埋于长篇案卷中的事实仍能被检索出来。

GPT Researcher

将 OPENAI_BASE_URL 设为 vLLM 端点,OPENAI_API_KEY 设为任意值,FAST_LLM_MODEL 和 SMART_LLM_MODEL 设为注册的模型 ID。在典型并发下,5至10个来源的报告需4至7分钟。网络搜索仍需 Tavily 或 SerpAPI 密钥。

AnythingLLM

自托管 Docker。将提供商设为通用 OpenAI,基础 URL 设为 vLLM,模型名称设为模型 ID。内置 LanceDB 的工作区 RAG。@agent 模式支持网络搜索、文档摘要和 SQL 智能体。Pineido 冲刺中非技术买家最佳聊天界面。

Open WebUI

Pineido 冲刺默认聊天界面。添加指向 vLLM /v1 的 OpenAI 连接。内置网络搜索工具、文档上传原生 RAG、函数调用和按用户模型路由。Llama 3.3 70B 开箱即用,因为 Llama 的工具格式兼容 OpenAI(不同于 Hermes ChatML XML)。

AutoGen / AG2

AG2 的 GroupChat 模式通过 OpenAI 兼容配置支持 Llama 3.3 70B。注意 token 成本:4个智能体5轮辩论需要20次以上 LLM 调用。更适合离线质量敏感的工作流,而非实时场景。AutoGen 在2026年生产部署中已将市场份额让给 LangGraph。

CrewAI

基于角色的团队(研究员 + 撰写者 + 评审)。在智能体配置的 llm 中通过 litellm openai_compatible 使用 vLLM 端点。默认顺序执行,适合 Llama 3.3 70B 规划能力较弱的特点。从零到可运行的多智能体演示最快路径(2至3天)。

LangGraph

Pineido 生产研究工作流默认框架。基于图的状态机,支持检查点、时间回溯和原生人工介入。通过 langchain-openai 并覆盖 base_url 将 Llama 3.3 70B 封装为聊天模型。搭配 LangSmith 进行链路追踪。

LlamaIndex

最佳检索搭配。使用 LlamaIndex 查询引擎进行摄取和索引,然后在 LangGraph 智能体中作为工具暴露。框架开销约6ms,低于 LangGraph 的约14ms,对自托管有意义。混合搜索、重排序和引用追踪均为一等功能。

研究智能体使用场景

本模型 + 研究智能体工具栈可实际交付团队使用的报告场景。

我们为生产智能体工作流交付的框架

按工作流形态选择框架。

LangGraph

生产级有状态智能体编排,支持检查点、重放和人工介入。Pineido 默认选择。

CrewAI

顺序角色团队(研究员 + 撰写者 + 评审)。演示最快捷。

AutoGen / AG2

含代码执行的多智能体 GroupChat 对话。注意 token 成本。

DSPy

以编程方式编译提示词和少样本示例。与 LangGraph 配合用于优化层。

Pydantic AI

带结构化输出验证的类型安全智能体。最适合注重代码质量的团队。

LlamaIndex

RAG 优先的智能体,支持深度文档索引、混合搜索和引用追踪。

Qwen-Agent

为 Qwen 构建但接受任何 OpenAI 兼容后端。集成 MCP、代码解释器和 RAG。

谁应该选择 Llama 3.3 70B

三类最适合本模型的买家画像。

  1. 律师事务所,22名律师

    任务:合同起草、案件摘要、文件审查。成效:替代每年2.6万美元的 Harvey 席位费。Llama 3.3 70B 在 Mac Studio M3 Ultra 上运行,律师-委托人特权完整保留,无第三方处理。

  2. 医疗机构,8名临床医生

    任务:就诊记录口述、HIPAA 合规下的临床问答。成效:PHI 隔离在本地,无需第三方 BAA,审计日志符合 HIPAA 安全规则,与 EHR 附属系统共用同一硬件。

  3. CPA 事务所,35名员工

    任务:税务底稿分析、K-1 提取、业务委托书起草。成效:随部署交付 GLBA 安全规则 WISP,金融文档上 GPT 级质量,无按座位的 SaaS 账单。

Llama 3.3 70B 与最近竞品的对比

本模型的优势与劣势。

对比 Qwen3 32B

Llama 3.3 70B 在通用英语推理的 MMLU-Pro 上比 Qwen3 32B 高5至7分。Qwen3 32B 在多语言覆盖(119种语言对比8种)上胜出,数学和编码能力也更强。

对比 GPT-4o

GPT-4o 在 MMLU-Pro(Llama 3.3 70B 为68.9)和原始编码上仍领先。Llama 3.3 70B 在商品化任务(摘要、起草、提取、分类)上缩小差距,并在指令遵循上超越 GPT-4o,其 IFEval 92.1 高于 GPT-4o 的84.6。它在 MATH、MGSM 91.6 和 BFCL 工具使用上也不落下风。真正的差距在于难推理,而非日常商业工作。

对比 DeepSeek V3.2

DeepSeek V3.2 671B MoE 在难推理和代码上胜出。Llama 3.3 70B 在部署简单性(一个70B稠密模型对比671B MoE)和25人规模公司可负担的硬件上胜出。

Pineido 如何在 Llama 3.3 70B 上配置智能体

第4天 vLLM 启用工具调用服务模型。

第4天

vLLM 以 --enable-auto-tool-choice --tool-call-parser llama3_json --max-model-len 131072 参数服务 Llama 3.3 70B。H100 FP8 下吞吐量约400 token/秒。Blackwell 上 NVFP4 以5至8%精度换取内存节省。

第6天

编辑器智能体接入本地 /v1 端点。Aider 通过 --openai-api-base,Cline 作为 OpenAI 兼容提供商,Continue.dev 通过 config.yaml 配置 provider: openai。向开发团队交付30至50页设置操作手册。

第8天

Open WebUI 加 AnythingLLM 上线。函数调用和文档语料 RAG。工作区按团队隔离敏感文档集。

第10天

LangGraph 和 CrewAI 用于生产智能体工作流。交付三个示例工作流:研究报告、代码审查、需求分诊。启用 LangSmith 链路追踪。

第12天

OpenHands 或 Roo Code 智能体工具栈上线,用于自主多步任务。计划和执行模式针对三个真实仓库任务进行演示。

第14天

交付含吞吐量数据、精度抽查、操作手册和完整智能体清单的合规证据包。

我们如何在14天内部署 Llama 3.3 70B

固定费用。

第1天

用真实客户提示词进行模型基准测试。根据硬件选择 AWQ 或 GGUF。签署 Llama 3 社区许可证确认书。

第4天

量化并通过 vLLM(GPU)或 Ollama(Mac)部署。接入 OpenAI 兼容 API。前置 SSO 和审计日志。

第9天

用 BGE-M3 向量和 Qdrant 构建文档 RAG。配置 RBAC、数据保留策略及 PII/PHI 脱敏层。

第14天

渗透测试通过,合规证据包交付,生产环境切换。在产品文档中加入"Built with Llama"署名。

大家最先问我们的问题

50人规模的公司可以商业使用 Llama 3.3 70B 吗?

可以。Llama 3.3 社区许可证允许月活不超过7亿用户的商业使用。所有中小企业和大多数企业均在此限制以下。需要署名:在产品文档中注明"Built with Llama"。明确允许合成数据生成和知识蒸馏。

运行 Llama 3.3 70B 生产部署的最低硬件要求是什么?

Mac Studio M3 Ultra 256GB 售价7499美元,以 Q4_K_M 运行 Llama 3.3 70B,解码速度18至25 token/秒。这对8至15用户规模、进行摘要、起草和问答的公司是生产级配置。低于此配置只是演示,不是生产栈。注意:M4 Ultra 并不存在。苹果跳过了那一代,M3 Ultra 是目前最高端的芯片。

我们应该部署 Llama 3.3 70B 还是 Llama 3.1 405B?

95%的买家选70B。405B 需要4至8张 H100 或 H200,且在大多数任务上提升不足10%。405B 的优势仅在最难推理场景(复杂数学、多步智能体)中体现。对于日常商业工作,70B 以十分之一的硬件成本是正确选择。

为什么选择 Llama 3.3 70B 而不是 Qwen3 235B?

部署简单性和硬件门槛。Qwen3 235B 在 Q4 下需要132至143GB(Mac Studio M3 Ultra 256GB 或多卡 GPU)。Llama 3.3 70B 可在7499美元的 Mac Studio 上运行且有余量。Qwen3 235B 在原始质量上胜出。Llama 3.3 70B 在公司实际部署、人员培训和审计可行性上胜出。

Llama 3.3 70B 可以配合 Aider 编码使用吗?

可以。Aider 的 diff-edit 格式与 Llama 3.3 70B 配合良好。配置命令:aider --openai-api-base http://your-vllm:8000/v1 --openai-api-key dummy --model openai/meta-llama/Llama-3.3-70B-Instruct。典型重构任务的 diff 应用成功率约为85%,GPT-5 级别模型约为95%。对于90%不涉及前沿推理的重构工作,Llama 3.3 70B 是正确选择。Pineido 在冲刺第6天配置 Aider。

Llama 3.3 70B 应该用 Cline 还是 Cursor?

Cline。Cursor 是闭源的,即使设置自定义模型,提示词也会通过其后端路由。Cline 是开源的,完全在客户端运行,直接连接到你的 vLLM 端点。与 Cursor 相同的计划和执行 UX,但提示词路径不经过第三方处理器。HIPAA 和 GDPR 合规以及签署了严格保密协议的买家必须使用 Cline。

70B 稠密 参数量

预约30分钟评估通话。在签约前,我们告诉你 Llama 3.3 70B 加我们的智能体工具栈是否是正确选择。

固定费用。

第1天你看到确切的模型、确切的硬件、确切的智能体工具栈、确切的成本核算和确切的合规态势。

你将带走

  1. 第0天(本周):30分钟评估通话。硬件候选清单、模型选择、智能体工具栈提案、成本预测于周五发至你的邮箱
  2. 第1天:用真实客户提示词进行模型基准测试。根据硬件选择 AWQ 或 GGUF。签署 Llama 3 社区许可证确认书。

作者创始人兼 Imaginator

Pineido, 总部位于 Strumica, North Macedonia, 是一家软件公司,为国内外企业开发网站、网店、网页与移动应用、业务自动化和 AI。工作以 30 天冲刺、固定价格交付,代码归客户所有。

发布于 更新于