LangGraph
生产级编排。最适合 DeepSeek 的上下文管理策略。
选型和硬件采购时最关键的规格参数。
总量 671B,每 token 激活 37B
MoE,256个路由专家 + 1个共享专家,DeepSeek 稀疏注意力
128K tokens(最大输出 64K)
MIT
2025年12月1日(V3.2-Exp 于2025年9月)
V3.2(通用版),V3.2-Speciale(深度推理,不支持工具调用)
376GB 总量,必须多卡
约675GB,8x H200 节点
8-15(单用户)
200-400 批处理
三个层级,真实 SKU,真实吞吐量数据。
吞吐量:8-15 token/秒。适合:单一高级用户、研究、偶发性难推理,不适合生产服务。
吞吐量:30-60 token/秒。适合:5-15用户规模、处理难题、实验室环境、代码密集型团队。
吞吐量:200-500 token/秒。适合:生产服务、智能体工作流、50+ 并发推理用户。
GGUF、AWQ、FP8、INT4。
生产环境在 Hopper 和 Blackwell 上原生使用 FP8。Mac 单用户使用 Q4_K_M。只有在必须适配192GB且接受5至8%质量下降时才用 Q2_K。
推理模型比聊天模型对激进量化更敏感,因为思维链会放大精度误差。Q4 在知识和编辑式代码上表现良好。Q2_K 在数学和结构化推理上出现明显波动。1.58位演示存在(2x RTX 4090 加 RAM)但非生产级别。
文件大小:210GB。
文件大小:376GB。
文件大小:约675GB。
文件大小:1.34TB。
DeepSeek 稀疏注意力(DSA)为长上下文提供近线性扩展,这在智能体循环中每次工具调用都增加上下文的场景中起决定性作用。
DeepSeek 的官方集成目标。Claude Code 框架上 SWE-bench Verified 72至74%。将 OPENAI_BASE_URL 覆盖为你的 vLLM。DeepSeek V3.2 是在 Claude Code 测试上最接近 Claude Sonnet 的开源模型。Pineido 在买家需要 Claude Code 质量输出但不想承担 API 费用时的首选。
官方基准测试支持。DeepSeek 论文指出 Roo Code 通过用户消息模拟工具交互,V3.2 的上下文管理策略正确处理了这一点。Roo Code 框架上 SWE-bench Verified 72至74%。多模式(代码、架构师、问答)均可使用。
OpenAI 兼容提供商,vLLM 端点。注意 vLLM 中的活跃 bug,在多轮循环中 DeepSeek 工具调用标签可能泄漏到推理内容中。最新 vLLM 版本包含修复(commit 36056)。固定 vLLM >= 0.11.2。
强烈推荐。Aider 的编辑格式与 DeepSeek 的指令遵循对齐。使用 --model openai/deepseek-v3.2 指向你的 vLLM 端点。128K 上下文限制是约束,而非编辑精度。
基于容器的智能体。论文数据显示 DeepSeek V3.2 配合 Terminus 在非思维模式下 Terminal Bench 2.0 得分39.3。SWE-bench Verified 72至74%意味着自主循环性能强劲。Pineido 在预算排除前沿 API 时的仓库级任务首选。
config.yaml 配置 provider: openai,apiBase 指向 vLLM /v1,声明 capabilities: [tool_use]。Agent 模式自动检测原生工具调用。DeepSeek V3.2 的推理解析器将思维与响应分离,Continue 的聊天面板渲染干净。
DeepSeek 官方编码智能体集成指南明确支持。直接替换 OpenAI 端点配置。DeepSeek 文档中还列出了 Hermes Agent 和 Codex 框架。
本模型 + 智能体工具栈可实际交付的工作场景。
来自做决定时在场的人的反馈。
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
We stopped debating architecture in circles and shipped a working release that leadership could evaluate live.
They did not ask us to trust a rewrite plan. They proved one critical workflow first, then scaled from evidence.
长尾智能体任务泛化是 DeepSeek V3.2 的突出特点:后训练使用了1800个环境和8.5万个复杂提示词。
将 OPENAI_BASE_URL 设为 vLLM。DeepSeek V3.2 的推理痕迹使 GPT Researcher 的规划步骤明显更好。15个以上来源、5000至8000字的报告需5至10分钟。
Pineido 默认选择。DeepSeek V3.2 的上下文管理策略与 LangGraph 的检查点-恢复模型契合。当工具历史超过128K 预算的80%时,LangGraph 可切入摘要或丢弃75%策略并干净继续。
通用 OpenAI 提供商。推理解析器在 AnythingLLM 聊天界面中将思维与最终答案分离。由于推理痕迹可见且解释了答案,非常适合向买家演示。
工具调用和文档上传正常工作。DeepSeek 的推理模式切换通过 Open WebUI 的每对话设置展示。注意重度文档聊天的128K 上下文限制。
顺序研究团队。DeepSeek V3.2 的指令遵循足够强,CrewAI 的角色和目标文本可以可靠地驱动智能体。研究者角色使用思维模式,撰写者角色使用非思维模式。
GroupChat 可以使用,但注意 token 成本:每个智能体回合通过 DeepSeek 的128K 窗口重放完整历史。使用丢弃75%上下文管理策略保持轮数有界。
最佳检索搭配。使用 LlamaIndex 查询引擎进行索引,然后在 LangGraph 或 DeepSeek 原生智能体中作为工具暴露。推理解析器在追踪中显示检索决策逻辑。
本模型 + 研究智能体工具栈可实际交付团队使用的报告场景。
按工作流形态选择框架。
生产级编排。最适合 DeepSeek 的上下文管理策略。
顺序团队。借助 DeepSeek 强大的指令遵循能力快速演示。
GroupChat。注意 DeepSeek 128K 上限下多智能体辩论的上下文预算。
提示词编译。与 DeepSeek 的推理痕迹配合用于思维链优化效果好。
类型安全智能体。DeepSeek 的结构化输出可靠性契合干净的模式。
检索层。在 LangGraph 编排之上构建混合栈。
三类最适合本模型的买家画像。
任务:策略代码、衍生品定价、复杂数学验证。成效:IMO/IOI 金牌级别推理在内部运行。MIT 许可证无任何附加条件通过法律审查。6个月内8x H100 ROI 优于付费前沿 API。
任务:先前技术分析、权利要求起草、10个以上技术领域的技术说明书审查。成效:难技术权利要求的前沿推理质量,完整128K 上下文支持多专利比较。MIT 许可证意味着客户交付物中无署名摩擦。
任务:分子推理、方案生成、深度文献综合。成效:Speciale 变体提供与闭源实验室相当的定理证明和深度推理。硬件投资因前沿质量无 API 数据暴露而合理。
本模型的优势与劣势。
DeepSeek V3.2 在最难数学、代码和 IMO 级别推理上胜出。Qwen3 235B 在硬件门槛(Q4 时143GB 对比376GB)和混合 Thinking 模式灵活性上胜出。4x H100 预算以下,Qwen3 235B 是理性选择。
DeepSeek V3.2 在商品化任务上与 GPT-5 性能相当。V3.2-Speciale 在定理证明和 IMO 上超越 GPT-5,AIME 2025 得96.0,对比 GPT-5-High 的94.6。代价是冗长:Speciale 需要消耗多得多的输出 token 才能达到这些成绩。V3.2 的优势:数据保留在你的硬件上。代价:企业级 GPU 资本支出。
两者都是需要128GB 以上硬件的670B 级别 MoE。Mistral Large 3 在多模态视觉上胜出。DeepSeek V3.2 在推理和代码上胜出。Mistral Large 3 通过14B/8B/3B 小弟兄有更好的中小企业故事。
第4天 vLLM 以 v32 工具调用解析器加推理解析器服务 V3.2。
vLLM 以 --tensor-parallel-size 8(或 TP=2 配合 DP/EP 规避 Hopper 的头填充惩罚)、--tokenizer-mode deepseek_v32、--tool-call-parser deepseek_v32、--enable-auto-tool-choice、--reasoning-parser deepseek_v3、--max-model-len 131072 服务 DeepSeek V3.2。固定 vLLM >= 0.11.2 以获取多轮工具调用修复。
Claude Code 通过 OPENAI_BASE_URL 覆盖,Roo Code 作为 OpenAI 兼容,Cline 相同,Aider 通过 --openai-api-base。SWE-bench 级别脚手架开箱即用,因为 DeepSeek 的训练流水线包含了这些框架。
Open WebUI 加 AnythingLLM 上线。推理切换通过每对话设置展示。工作区隔离敏感文档集。
含上下文管理策略(摘要、丢弃75%)的 LangGraph 工作流接入检查点逻辑。交付三个工作流:深度研究、仓库审查、客户分诊。
OpenHands 仓库自主能力。根据模型72至74%基准范围,预期 SWE-bench Verified 日常任务通过率约70至73%。
交付含工具调用成功率、吞吐量、推理痕迹样本、操作手册和智能体清单的合规证据包。
固定费用。
硬件审计。确认 GPU 节点或 512GB Mac。在 V3.2 与 V3.2-Speciale 上运行真实推理提示词。按工作负载选择变体。
在 Hopper 或 Blackwell 上通过 vLLM 以 FP8 部署。配置 DeepSeek 稀疏注意力降低长上下文成本。前置 OpenAI 兼容 API。
配置高质量重排序器(BGE reranker v2-m3)的 RAG。工具调用流水线(仅 V3.2 基础版,Speciale 不支持工具)。RBAC、审计、每专家成本遥测。
渗透测试通过。MIT 许可证 NOTICE 文件提交(一行)。生产切换,附 FP8 吞吐量基准。
是的。代码库和模型权重均为 MIT。无月活上限,无商业限制,产品中无需署名字符串。对法律顾问友好的许可证,可直接通过任何采购审查。你可以重新分发、微调、嵌入商业产品,无需联系 DeepSeek。
Mac Studio M3 Ultra 512GB 以 Q4 是最便宜的单机路径。单用户约8至15 token/秒。研究可用,生产服务太慢。低于192GB 统一内存将被迫使用 Q2 或1.58位,在难任务上推理质量波动明显。
基础 V3.2 支持工具调用,是智能体、RAG 和常规工作的日常驱动模型。Speciale 是高算力深度推理变体,IMO 和 IOI 金牌级别,但不支持工具调用。生产使用基础版。如果有 GPU 预算,将 Speciale 作为难推理队列的专家端点添加。
FP8 在 H100 和 H200 上近乎无损。Q4_K_M 在商品化任务上损失2至4%。Q2_K 在数学和结构化推理上损失5至8%。对于推理模型,生产环境不要低于 Q4。推理链比单次答案更容易放大量化误差。
在智能体编码基准测试上,DeepSeek V3.2 在 SWE-bench Verified 上处于70出头到70中段(72-74%),落后 GPT-5.1-High 和 Gemini 3 Pro 几分,约比领先者 Claude Opus 4.5(约81%)低7至9分。在日常重构工作中差距几乎不可见。决定性因素是许可证:DeepSeek V3.2 是 MIT,在你的硬件上运行,无第三方处理器,无按 token API 费用。对于 HIPAA、GDPR、国防或严格保密协议的买家,这一基准差距是值得的。对于需要前沿质量输出无任何约束的场景,通过私有 BAA 端点将最难的10%任务混合路由到 Claude。
--tokenizer-mode deepseek_v32 --tool-call-parser deepseek_v32 --enable-auto-tool-choice --reasoning-parser deepseek_v3。缺少任意一个,工具调用将返回空或推理内容泄漏到响应中。固定 vLLM >= 0.11.2 以获取多轮流式修复(commit 36056)。在 Hopper 上优先使用 TP=2 配合数据和专家并行,而非 TP=8,因为 flashmla_sparse.py 存在内核头填充惩罚。
671B 总量,每 token 激活 37B(MoE) 参数量
固定费用。
第1天你看到确切的模型、确切的硬件、确切的智能体工具栈、确切的成本核算和确切的合规态势。
作者Kostadin Stamboliev创始人兼 Imaginator
Pineido, 总部位于 Strumica, North Macedonia, 是一家软件公司,为国内外企业开发网站、网店、网页与移动应用、业务自动化和 AI。工作以 30 天冲刺、固定价格交付,代码归客户所有。
发布于 更新于