在自有硬件上部署 DeepSeek V3.2, 14天内智能体工具栈上线,达到生产级别

DeepSeek V3.2 是在最难推理基准测试中超越 GPT-5 的开源权重模型。2025年12月1日以 MIT 许可证发布,将6710亿总参数/370亿激活参数的 MoE 架构与 DeepSeek 稀疏注意力配对,后者是一种叠加在 Multi-head Latent Attention 之上的细粒度稀疏模式,在输出质量几乎不变的情况下降低长上下文推理成本。

  • 14天生产切换
  • 含编码 + 研究智能体工具栈
  • 671B 总量,每 token 激活 37B(MoE) 参数量
  • 128K tokens 上下文窗口
  • 14 天 生产切换

DeepSeek V3.2 一览

选型和硬件采购时最关键的规格参数。

参数量

总量 671B,每 token 激活 37B

架构

MoE,256个路由专家 + 1个共享专家,DeepSeek 稀疏注意力

上下文窗口

128K tokens(最大输出 64K)

许可证

MIT

发布日期

2025年12月1日(V3.2-Exp 于2025年9月)

变体

V3.2(通用版),V3.2-Speciale(深度推理,不支持工具调用)

最低显存(Q4)

376GB 总量,必须多卡

最低显存(FP8)

约675GB,8x H200 节点

Mac Studio M3 Ultra 512GB Q4 吞吐量(token/秒)

8-15(单用户)

8x H100 FP8 vLLM 吞吐量(token/秒)

200-400 批处理

可在生产环境运行 DeepSeek V3.2 的硬件

三个层级,真实 SKU,真实吞吐量数据。

  1. 入门级:Mac Studio M3 Ultra 512GB($14,999)以 Q4

    吞吐量:8-15 token/秒。适合:单一高级用户、研究、偶发性难推理,不适合生产服务。

  2. 中端级:4x RTX Pro 6000 Blackwell 96GB($40-56K)以 Q4 或 2x AMD MI300X 192GB

    吞吐量:30-60 token/秒。适合:5-15用户规模、处理难题、实验室环境、代码密集型团队。

  3. 企业级:8x H100 80GB($200K)、4x H200 141GB($150-200K)或 8x B200 FP4($300K+)

    吞吐量:200-500 token/秒。适合:生产服务、智能体工作流、50+ 并发推理用户。

本模型的量化选型

GGUF、AWQ、FP8、INT4。

推荐量化方案

生产环境在 Hopper 和 Blackwell 上原生使用 FP8。Mac 单用户使用 Q4_K_M。只有在必须适配192GB且接受5至8%质量下降时才用 Q2_K。

权衡取舍

推理模型比聊天模型对激进量化更敏感,因为思维链会放大精度误差。Q4 在知识和编辑式代码上表现良好。Q2_K 在数学和结构化推理上出现明显波动。1.58位演示存在(2x RTX 4090 加 RAM)但非生产级别。

GGUF Q2_K

文件大小:210GB。

GGUF Q4_K_M

文件大小:376GB。

FP8

文件大小:约675GB。

FP16

文件大小:1.34TB。

我们为 DeepSeek V3.2 接入的编码智能体

DeepSeek 稀疏注意力(DSA)为长上下文提供近线性扩展,这在智能体循环中每次工具调用都增加上下文的场景中起决定性作用。

Claude Code(使用自定义端点)

DeepSeek 的官方集成目标。Claude Code 框架上 SWE-bench Verified 72至74%。将 OPENAI_BASE_URL 覆盖为你的 vLLM。DeepSeek V3.2 是在 Claude Code 测试上最接近 Claude Sonnet 的开源模型。Pineido 在买家需要 Claude Code 质量输出但不想承担 API 费用时的首选。

Roo Code

官方基准测试支持。DeepSeek 论文指出 Roo Code 通过用户消息模拟工具交互,V3.2 的上下文管理策略正确处理了这一点。Roo Code 框架上 SWE-bench Verified 72至74%。多模式(代码、架构师、问答)均可使用。

Cline

OpenAI 兼容提供商,vLLM 端点。注意 vLLM 中的活跃 bug,在多轮循环中 DeepSeek 工具调用标签可能泄漏到推理内容中。最新 vLLM 版本包含修复(commit 36056)。固定 vLLM >= 0.11.2。

Aider

强烈推荐。Aider 的编辑格式与 DeepSeek 的指令遵循对齐。使用 --model openai/deepseek-v3.2 指向你的 vLLM 端点。128K 上下文限制是约束,而非编辑精度。

OpenHands

基于容器的智能体。论文数据显示 DeepSeek V3.2 配合 Terminus 在非思维模式下 Terminal Bench 2.0 得分39.3。SWE-bench Verified 72至74%意味着自主循环性能强劲。Pineido 在预算排除前沿 API 时的仓库级任务首选。

Continue.dev

config.yaml 配置 provider: openai,apiBase 指向 vLLM /v1,声明 capabilities: [tool_use]。Agent 模式自动检测原生工具调用。DeepSeek V3.2 的推理解析器将思维与响应分离,Continue 的聊天面板渲染干净。

OpenCode / OpenClaw

DeepSeek 官方编码智能体集成指南明确支持。直接替换 OpenAI 端点配置。DeepSeek 文档中还列出了 Hermes Agent 和 Codex 框架。

编码智能体使用场景

本模型 + 智能体工具栈可实际交付的工作场景。

客户在发布后说了什么

来自做决定时在场的人的反馈。

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
We stopped debating architecture in circles and shipped a working release that leadership could evaluate live.
Declan, Head of OperationsLondon
They did not ask us to trust a rewrite plan. They proved one critical workflow first, then scaled from evidence.
Fatima, CTOSydney

我们在 DeepSeek V3.2 上部署的研究智能体

长尾智能体任务泛化是 DeepSeek V3.2 的突出特点:后训练使用了1800个环境和8.5万个复杂提示词。

GPT Researcher

将 OPENAI_BASE_URL 设为 vLLM。DeepSeek V3.2 的推理痕迹使 GPT Researcher 的规划步骤明显更好。15个以上来源、5000至8000字的报告需5至10分钟。

LangGraph

Pineido 默认选择。DeepSeek V3.2 的上下文管理策略与 LangGraph 的检查点-恢复模型契合。当工具历史超过128K 预算的80%时,LangGraph 可切入摘要或丢弃75%策略并干净继续。

AnythingLLM

通用 OpenAI 提供商。推理解析器在 AnythingLLM 聊天界面中将思维与最终答案分离。由于推理痕迹可见且解释了答案,非常适合向买家演示。

Open WebUI

工具调用和文档上传正常工作。DeepSeek 的推理模式切换通过 Open WebUI 的每对话设置展示。注意重度文档聊天的128K 上下文限制。

CrewAI

顺序研究团队。DeepSeek V3.2 的指令遵循足够强,CrewAI 的角色和目标文本可以可靠地驱动智能体。研究者角色使用思维模式,撰写者角色使用非思维模式。

AutoGen / AG2

GroupChat 可以使用,但注意 token 成本:每个智能体回合通过 DeepSeek 的128K 窗口重放完整历史。使用丢弃75%上下文管理策略保持轮数有界。

LlamaIndex

最佳检索搭配。使用 LlamaIndex 查询引擎进行索引,然后在 LangGraph 或 DeepSeek 原生智能体中作为工具暴露。推理解析器在追踪中显示检索决策逻辑。

研究智能体使用场景

本模型 + 研究智能体工具栈可实际交付团队使用的报告场景。

我们为生产智能体工作流交付的框架

按工作流形态选择框架。

LangGraph

生产级编排。最适合 DeepSeek 的上下文管理策略。

CrewAI

顺序团队。借助 DeepSeek 强大的指令遵循能力快速演示。

AutoGen / AG2

GroupChat。注意 DeepSeek 128K 上限下多智能体辩论的上下文预算。

DSPy

提示词编译。与 DeepSeek 的推理痕迹配合用于思维链优化效果好。

Pydantic AI

类型安全智能体。DeepSeek 的结构化输出可靠性契合干净的模式。

LlamaIndex

检索层。在 LangGraph 编排之上构建混合栈。

谁应该选择 DeepSeek V3.2

三类最适合本模型的买家画像。

  1. 量化交易公司,25名研究员

    任务:策略代码、衍生品定价、复杂数学验证。成效:IMO/IOI 金牌级别推理在内部运行。MIT 许可证无任何附加条件通过法律审查。6个月内8x H100 ROI 优于付费前沿 API。

  2. 专利律师事务所,18名律师,IP 密集型

    任务:先前技术分析、权利要求起草、10个以上技术领域的技术说明书审查。成效:难技术权利要求的前沿推理质量,完整128K 上下文支持多专利比较。MIT 许可证意味着客户交付物中无署名摩擦。

  3. 生物技术研发,30名科学家

    任务:分子推理、方案生成、深度文献综合。成效:Speciale 变体提供与闭源实验室相当的定理证明和深度推理。硬件投资因前沿质量无 API 数据暴露而合理。

DeepSeek V3.2 与最近竞品的对比

本模型的优势与劣势。

对比 Qwen3 235B A22B

DeepSeek V3.2 在最难数学、代码和 IMO 级别推理上胜出。Qwen3 235B 在硬件门槛(Q4 时143GB 对比376GB)和混合 Thinking 模式灵活性上胜出。4x H100 预算以下,Qwen3 235B 是理性选择。

对比 GPT-5(闭源)

DeepSeek V3.2 在商品化任务上与 GPT-5 性能相当。V3.2-Speciale 在定理证明和 IMO 上超越 GPT-5,AIME 2025 得96.0,对比 GPT-5-High 的94.6。代价是冗长:Speciale 需要消耗多得多的输出 token 才能达到这些成绩。V3.2 的优势:数据保留在你的硬件上。代价:企业级 GPU 资本支出。

对比 Mistral Large 3(675B MoE)

两者都是需要128GB 以上硬件的670B 级别 MoE。Mistral Large 3 在多模态视觉上胜出。DeepSeek V3.2 在推理和代码上胜出。Mistral Large 3 通过14B/8B/3B 小弟兄有更好的中小企业故事。

Pineido 如何在 DeepSeek V3.2 上配置智能体

第4天 vLLM 以 v32 工具调用解析器加推理解析器服务 V3.2。

第4天

vLLM 以 --tensor-parallel-size 8(或 TP=2 配合 DP/EP 规避 Hopper 的头填充惩罚)、--tokenizer-mode deepseek_v32、--tool-call-parser deepseek_v32、--enable-auto-tool-choice、--reasoning-parser deepseek_v3、--max-model-len 131072 服务 DeepSeek V3.2。固定 vLLM >= 0.11.2 以获取多轮工具调用修复。

第6天

Claude Code 通过 OPENAI_BASE_URL 覆盖,Roo Code 作为 OpenAI 兼容,Cline 相同,Aider 通过 --openai-api-base。SWE-bench 级别脚手架开箱即用,因为 DeepSeek 的训练流水线包含了这些框架。

第8天

Open WebUI 加 AnythingLLM 上线。推理切换通过每对话设置展示。工作区隔离敏感文档集。

第10天

含上下文管理策略(摘要、丢弃75%)的 LangGraph 工作流接入检查点逻辑。交付三个工作流:深度研究、仓库审查、客户分诊。

第12天

OpenHands 仓库自主能力。根据模型72至74%基准范围,预期 SWE-bench Verified 日常任务通过率约70至73%。

第14天

交付含工具调用成功率、吞吐量、推理痕迹样本、操作手册和智能体清单的合规证据包。

我们如何在14天内部署 DeepSeek V3.2

固定费用。

第1天

硬件审计。确认 GPU 节点或 512GB Mac。在 V3.2 与 V3.2-Speciale 上运行真实推理提示词。按工作负载选择变体。

第4天

在 Hopper 或 Blackwell 上通过 vLLM 以 FP8 部署。配置 DeepSeek 稀疏注意力降低长上下文成本。前置 OpenAI 兼容 API。

第9天

配置高质量重排序器(BGE reranker v2-m3)的 RAG。工具调用流水线(仅 V3.2 基础版,Speciale 不支持工具)。RBAC、审计、每专家成本遥测。

第14天

渗透测试通过。MIT 许可证 NOTICE 文件提交(一行)。生产切换,附 FP8 吞吐量基准。

常见问题,简明回答

DeepSeek V3.2 真的是 MIT 许可证吗?

是的。代码库和模型权重均为 MIT。无月活上限,无商业限制,产品中无需署名字符串。对法律顾问友好的许可证,可直接通过任何采购审查。你可以重新分发、微调、嵌入商业产品,无需联系 DeepSeek。

我可以在 Mac Studio 上运行 DeepSeek V3.2 吗?

Mac Studio M3 Ultra 512GB 以 Q4 是最便宜的单机路径。单用户约8至15 token/秒。研究可用,生产服务太慢。低于192GB 统一内存将被迫使用 Q2 或1.58位,在难任务上推理质量波动明显。

我们应该部署 V3.2 基础版还是 V3.2-Speciale?

基础 V3.2 支持工具调用,是智能体、RAG 和常规工作的日常驱动模型。Speciale 是高算力深度推理变体,IMO 和 IOI 金牌级别,但不支持工具调用。生产使用基础版。如果有 GPU 预算,将 Speciale 作为难推理队列的专家端点添加。

量化到多低而不损失质量?

FP8 在 H100 和 H200 上近乎无损。Q4_K_M 在商品化任务上损失2至4%。Q2_K 在数学和结构化推理上损失5至8%。对于推理模型,生产环境不要低于 Q4。推理链比单次答案更容易放大量化误差。

DeepSeek V3.2 真的是编码智能体的 Claude Sonnet 替代品吗?

在智能体编码基准测试上,DeepSeek V3.2 在 SWE-bench Verified 上处于70出头到70中段(72-74%),落后 GPT-5.1-High 和 Gemini 3 Pro 几分,约比领先者 Claude Opus 4.5(约81%)低7至9分。在日常重构工作中差距几乎不可见。决定性因素是许可证:DeepSeek V3.2 是 MIT,在你的硬件上运行,无第三方处理器,无按 token API 费用。对于 HIPAA、GDPR、国防或严格保密协议的买家,这一基准差距是值得的。对于需要前沿质量输出无任何约束的场景,通过私有 BAA 端点将最难的10%任务混合路由到 Claude。

DeepSeek V3.2 需要哪些 vLLM 参数?

--tokenizer-mode deepseek_v32 --tool-call-parser deepseek_v32 --enable-auto-tool-choice --reasoning-parser deepseek_v3。缺少任意一个,工具调用将返回空或推理内容泄漏到响应中。固定 vLLM >= 0.11.2 以获取多轮流式修复(commit 36056)。在 Hopper 上优先使用 TP=2 配合数据和专家并行,而非 TP=8,因为 flashmla_sparse.py 存在内核头填充惩罚。

671B 总量,每 token 激活 37B(MoE) 参数量

预约30分钟评估通话。在签约前,我们告诉你 DeepSeek V3.2 加我们的智能体工具栈是否是正确选择。

固定费用。

第1天你看到确切的模型、确切的硬件、确切的智能体工具栈、确切的成本核算和确切的合规态势。

你将带走

  1. 第0天(本周):30分钟评估通话。硬件候选清单、模型选择、智能体工具栈提案、成本预测于周五发至你的邮箱
  2. 第1天:硬件审计。确认 GPU 节点或 512GB Mac。在 V3.2 与 V3.2-Speciale 上运行真实推理提示词。按工作负载选择变体。

作者创始人兼 Imaginator

Pineido, 总部位于 Strumica, North Macedonia, 是一家软件公司,为国内外企业开发网站、网店、网页与移动应用、业务自动化和 AI。工作以 30 天冲刺、固定价格交付,代码归客户所有。

发布于 更新于