LangGraph
生产级有状态智能体编排,支持检查点、重放和人工介入。Pineido 默认选择。
选型和硬件采购时最关键的规格参数。
70B(稠密)
128K tokens
Llama 3.3 社区版
2024年12月6日
2023年12月
英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语
48GB 可用(模型42GB + KV 缓存)
140GB
18-25
60-90(vLLM 批处理)
70-100
来自做决定时在场的人的反馈。
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
We were losing two or three same-day calls a week because nobody could check tech availability fast enough. That stopped on day one of the new system.
They managed to get our VPs to agree on a direction without it turning into a fight. That alone was worth it.
三个层级,真实 SKU,真实吞吐量数据。
吞吐量:18-25 token/秒。适合:8-15人规模公司、单用户服务、起草和问答。
吞吐量:60-100 token/秒。适合:25-50人规模公司、vLLM 连续批处理、生产级 RAG。
吞吐量:300-500 token/秒。适合:100+ 并发用户、多租户部署。
GGUF、AWQ、FP8、INT4。
Mac 和单用户场景用 Q4_K_M,GPU 服务用 AWQ INT4,Hopper 和 Blackwell 用 FP8
Q4_K_M 在 MMLU-Pro 上比 FP16 损失2至4个百分点。AWQ 在 vLLM 上以接近 FP16 的质量提供约2倍吞吐量。FP8 在 H100、H200 和 B200 上是原生支持,质量损失约1个百分点,内存占用最优。
文件大小:42GB。
文件大小:40GB。
文件大小:70GB。
文件大小:140GB。
通过 vLLM 启用原生工具调用,参数为 --tool-call-parser llama3_json 和 --enable-auto-tool-choice。
强烈推荐。运行命令:aider --openai-api-base http://your-vllm:8000/v1 --openai-api-key dummy --model openai/meta-llama/Llama-3.3-70B-Instruct。Aider 的 diff-edit 格式足够保守,Llama 3.3 70B 在大多数重构任务中可以干净地应用编辑。diff 应用成功率约为85%,GPT-5 级别模型约为95%。最适合 Python、JavaScript、TypeScript、Go。
配置为 OpenAI 兼容提供商,基础 URL 指向 vLLM 端点,模型 ID 与注册时完全一致。计划模式和执行模式均可使用。Llama 3.3 70B 在 Cline 任务中偶尔会过度要求澄清,需谨慎设置自动批准阈值。本地路径确保提示词不经过第三方处理器,这是 Cursor 无法保证的。
在 config.yaml 中配置 provider: openai,apiBase 指向 vLLM /v1,并声明 capabilities: [tool_use]。Chat 和 Edit 角色均可正常使用。Tab 自动补全在 Q4_K_M 下可用,但 Continue 的自动补全角色最好搭配更小的快速模型。最佳用途是多文件编辑和对话。
基于容器的智能体。将 LLM_BASE_URL 设置为 vLLM 端点,LLM_MODEL 设置为注册的模型 ID。Llama 3.3 70B 无推理模式,且从未在智能体轨迹上做过强化学习训练,因此在默认 OpenHands 框架中执行任意 bash 和 Python 时容易迷失。独立的 SWE-bench Lite 测试结果仅为个位数,除非将工具集精简为少量文件操作并固定明确的模式,而 DeepSeek V3.2 和 Qwen3-Coder 无需如此。适合仓库问答和有界任务,不适合无边界的自主循环。
Cline 的分支版本,支持多模式(代码、架构师、问答、调试)。配置方式与 Cline 相同,兼容 OpenAI。Roo Code 的 diff 应用解析器比 Cline 稍宽容,对 Llama 3.3 70B 的多块编辑更友好。架构师模式是最佳搭配,因为它将规划步骤从模型最薄弱的环节中卸载出来。
企业级自托管 Cody 在 cody.json 中支持 OpenAI 兼容端点。适用于买家已运行自托管 Sourcegraph 进行代码搜索的场景。Llama 3.3 70B 对 Cody 的仓库感知对话支持良好。工具调用支持比 Cline 更有限。
Block 的开源 Apache 2.0 智能体。配置为 OpenAI 兼容提供商。Goose 的 MCP 原生架构与 Llama 3.3 70B 在浏览器、文件系统和 Shell 工具上配合良好。与 Claude Code 的性能差距是真实存在的(Goose+Sonnet 约45% SWE-bench,Claude Code+Sonnet 约73%),适合有界任务。
本模型 + 智能体工具栈可实际交付的工作场景。
128K 上下文无需摘要技巧即可处理200至300页的综合文档,NIH 多针检索得分97.5,因此深埋于长篇案卷中的事实仍能被检索出来。
将 OPENAI_BASE_URL 设为 vLLM 端点,OPENAI_API_KEY 设为任意值,FAST_LLM_MODEL 和 SMART_LLM_MODEL 设为注册的模型 ID。在典型并发下,5至10个来源的报告需4至7分钟。网络搜索仍需 Tavily 或 SerpAPI 密钥。
自托管 Docker。将提供商设为通用 OpenAI,基础 URL 设为 vLLM,模型名称设为模型 ID。内置 LanceDB 的工作区 RAG。@agent 模式支持网络搜索、文档摘要和 SQL 智能体。Pineido 冲刺中非技术买家最佳聊天界面。
Pineido 冲刺默认聊天界面。添加指向 vLLM /v1 的 OpenAI 连接。内置网络搜索工具、文档上传原生 RAG、函数调用和按用户模型路由。Llama 3.3 70B 开箱即用,因为 Llama 的工具格式兼容 OpenAI(不同于 Hermes ChatML XML)。
AG2 的 GroupChat 模式通过 OpenAI 兼容配置支持 Llama 3.3 70B。注意 token 成本:4个智能体5轮辩论需要20次以上 LLM 调用。更适合离线质量敏感的工作流,而非实时场景。AutoGen 在2026年生产部署中已将市场份额让给 LangGraph。
基于角色的团队(研究员 + 撰写者 + 评审)。在智能体配置的 llm 中通过 litellm openai_compatible 使用 vLLM 端点。默认顺序执行,适合 Llama 3.3 70B 规划能力较弱的特点。从零到可运行的多智能体演示最快路径(2至3天)。
Pineido 生产研究工作流默认框架。基于图的状态机,支持检查点、时间回溯和原生人工介入。通过 langchain-openai 并覆盖 base_url 将 Llama 3.3 70B 封装为聊天模型。搭配 LangSmith 进行链路追踪。
最佳检索搭配。使用 LlamaIndex 查询引擎进行摄取和索引,然后在 LangGraph 智能体中作为工具暴露。框架开销约6ms,低于 LangGraph 的约14ms,对自托管有意义。混合搜索、重排序和引用追踪均为一等功能。
本模型 + 研究智能体工具栈可实际交付团队使用的报告场景。
按工作流形态选择框架。
生产级有状态智能体编排,支持检查点、重放和人工介入。Pineido 默认选择。
顺序角色团队(研究员 + 撰写者 + 评审)。演示最快捷。
含代码执行的多智能体 GroupChat 对话。注意 token 成本。
以编程方式编译提示词和少样本示例。与 LangGraph 配合用于优化层。
带结构化输出验证的类型安全智能体。最适合注重代码质量的团队。
RAG 优先的智能体,支持深度文档索引、混合搜索和引用追踪。
为 Qwen 构建但接受任何 OpenAI 兼容后端。集成 MCP、代码解释器和 RAG。
三类最适合本模型的买家画像。
任务:合同起草、案件摘要、文件审查。成效:替代每年2.6万美元的 Harvey 席位费。Llama 3.3 70B 在 Mac Studio M3 Ultra 上运行,律师-委托人特权完整保留,无第三方处理。
任务:就诊记录口述、HIPAA 合规下的临床问答。成效:PHI 隔离在本地,无需第三方 BAA,审计日志符合 HIPAA 安全规则,与 EHR 附属系统共用同一硬件。
任务:税务底稿分析、K-1 提取、业务委托书起草。成效:随部署交付 GLBA 安全规则 WISP,金融文档上 GPT 级质量,无按座位的 SaaS 账单。
本模型的优势与劣势。
Llama 3.3 70B 在通用英语推理的 MMLU-Pro 上比 Qwen3 32B 高5至7分。Qwen3 32B 在多语言覆盖(119种语言对比8种)上胜出,数学和编码能力也更强。
GPT-4o 在 MMLU-Pro(Llama 3.3 70B 为68.9)和原始编码上仍领先。Llama 3.3 70B 在商品化任务(摘要、起草、提取、分类)上缩小差距,并在指令遵循上超越 GPT-4o,其 IFEval 92.1 高于 GPT-4o 的84.6。它在 MATH、MGSM 91.6 和 BFCL 工具使用上也不落下风。真正的差距在于难推理,而非日常商业工作。
DeepSeek V3.2 671B MoE 在难推理和代码上胜出。Llama 3.3 70B 在部署简单性(一个70B稠密模型对比671B MoE)和25人规模公司可负担的硬件上胜出。
第4天 vLLM 启用工具调用服务模型。
vLLM 以 --enable-auto-tool-choice --tool-call-parser llama3_json --max-model-len 131072 参数服务 Llama 3.3 70B。H100 FP8 下吞吐量约400 token/秒。Blackwell 上 NVFP4 以5至8%精度换取内存节省。
编辑器智能体接入本地 /v1 端点。Aider 通过 --openai-api-base,Cline 作为 OpenAI 兼容提供商,Continue.dev 通过 config.yaml 配置 provider: openai。向开发团队交付30至50页设置操作手册。
Open WebUI 加 AnythingLLM 上线。函数调用和文档语料 RAG。工作区按团队隔离敏感文档集。
LangGraph 和 CrewAI 用于生产智能体工作流。交付三个示例工作流:研究报告、代码审查、需求分诊。启用 LangSmith 链路追踪。
OpenHands 或 Roo Code 智能体工具栈上线,用于自主多步任务。计划和执行模式针对三个真实仓库任务进行演示。
交付含吞吐量数据、精度抽查、操作手册和完整智能体清单的合规证据包。
固定费用。
用真实客户提示词进行模型基准测试。根据硬件选择 AWQ 或 GGUF。签署 Llama 3 社区许可证确认书。
量化并通过 vLLM(GPU)或 Ollama(Mac)部署。接入 OpenAI 兼容 API。前置 SSO 和审计日志。
用 BGE-M3 向量和 Qdrant 构建文档 RAG。配置 RBAC、数据保留策略及 PII/PHI 脱敏层。
渗透测试通过,合规证据包交付,生产环境切换。在产品文档中加入"Built with Llama"署名。
可以。Llama 3.3 社区许可证允许月活不超过7亿用户的商业使用。所有中小企业和大多数企业均在此限制以下。需要署名:在产品文档中注明"Built with Llama"。明确允许合成数据生成和知识蒸馏。
Mac Studio M3 Ultra 256GB 售价7499美元,以 Q4_K_M 运行 Llama 3.3 70B,解码速度18至25 token/秒。这对8至15用户规模、进行摘要、起草和问答的公司是生产级配置。低于此配置只是演示,不是生产栈。注意:M4 Ultra 并不存在。苹果跳过了那一代,M3 Ultra 是目前最高端的芯片。
95%的买家选70B。405B 需要4至8张 H100 或 H200,且在大多数任务上提升不足10%。405B 的优势仅在最难推理场景(复杂数学、多步智能体)中体现。对于日常商业工作,70B 以十分之一的硬件成本是正确选择。
部署简单性和硬件门槛。Qwen3 235B 在 Q4 下需要132至143GB(Mac Studio M3 Ultra 256GB 或多卡 GPU)。Llama 3.3 70B 可在7499美元的 Mac Studio 上运行且有余量。Qwen3 235B 在原始质量上胜出。Llama 3.3 70B 在公司实际部署、人员培训和审计可行性上胜出。
可以。Aider 的 diff-edit 格式与 Llama 3.3 70B 配合良好。配置命令:aider --openai-api-base http://your-vllm:8000/v1 --openai-api-key dummy --model openai/meta-llama/Llama-3.3-70B-Instruct。典型重构任务的 diff 应用成功率约为85%,GPT-5 级别模型约为95%。对于90%不涉及前沿推理的重构工作,Llama 3.3 70B 是正确选择。Pineido 在冲刺第6天配置 Aider。
Cline。Cursor 是闭源的,即使设置自定义模型,提示词也会通过其后端路由。Cline 是开源的,完全在客户端运行,直接连接到你的 vLLM 端点。与 Cursor 相同的计划和执行 UX,但提示词路径不经过第三方处理器。HIPAA 和 GDPR 合规以及签署了严格保密协议的买家必须使用 Cline。
70B 稠密 参数量
固定费用。
第1天你看到确切的模型、确切的硬件、确切的智能体工具栈、确切的成本核算和确切的合规态势。
作者Kostadin Stamboliev创始人兼 Imaginator
Pineido, 总部位于 Strumica, North Macedonia, 是一家软件公司,为国内外企业开发网站、网店、网页与移动应用、业务自动化和 AI。工作以 30 天冲刺、固定价格交付,代码归客户所有。
发布于 更新于