推荐量化
Full 236B 在 H100/H200 上用 FP8。Lite 16B 单卡用 Q4_K_M。完整模型在 4 卡部署上用 INT4 (AWQ)。
在选择模型和硬件时真正重要的规格。
236B 总,21B 每 token 激活
16B 总,2.4B 每 token 激活
128K tokens
DeepSeekMoE + Multi-head Latent Attention (MLA)
338 种编程语言
10.2T 总(其中 6T 用于代码+数学的持续预训练)
DeepSeek License Agreement(允许商用)
~472 GB
~240 GB
2024-06-17
三个层级,真实 SKU,真实吞吐数字。
吞吐:Lite 上 60 至 120 tok/s。最适合:独立开发者、IDE 自动补全、本地代码补全服务器。
吞吐:单流 30 至 60 tok/s,批处理 200+ tok/s。最适合:全团队自托管 Copilot 替代、代码评审机器人、内部编程智能体。
吞吐:单流 100 至 200 tok/s,批处理 1000+ tok/s。最适合:多租户代码 API、Cursor 级产品托管、企业级 SWE-agent 平台。
GGUF、AWQ、FP8、INT4。
Full 236B 在 H100/H200 上用 FP8。Lite 16B 单卡用 Q4_K_M。完整模型在 4 卡部署上用 INT4 (AWQ)。
MoE 架构比稠密模型对量化更敏感。FP8 基本无损。INT4 AWQ 在 HumanEval 和 MBPP 上损失 1 至 3 分。低于 INT4 时,模型在多语言代码上急剧退化。
约 472 GB 权重。需要一台 8x 80GB 节点(H100 或 A100)。无损参考质量,显存成本最高。
约 240 GB 权重。通过 SGLang 或 vLLM 在 8x H100 80GB 节点上配合 FP8 KV 缓存即可装下。在代码基准上基本无损。
约 120 GB 权重。面向 4x 80GB GPU。相比 FP8 在 HumanEval 和 MBPP 上损失 1 至 3 分。
约 10.4 GB GGUF,含 KV 缓存约需 9 至 11 GB 显存。单张 RTX 4090 或 5090,为 32K 上下文留有充裕余量。
来自做决定时在场的人的反馈。
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Crew scheduling was a nightmare. Guys would show up at the wrong site or not at all. The automated dispatch board fixed that in week two.
Our food cost was a mystery until they wired the POS to the inventory system. Now I know the actual margin on every plate before the week ends.
DeepSeek Coder V2 236B(21B 激活,MoE)在发布时是开放权重的编程旗舰,并且在配合 SWE-Agent 与 OpenHands 框架时,是首个在 SWE-Bench 上突破两位数的开源模型。
顶级的 diff-apply 成功率。Aider 在原始 Python 基准上 73.7%,V2 在 Aider Polyglot 上约 65%(请在排行榜核实)。diff edit 格式稳定可靠,比 Llama 或 Codestral 的 '应用失败' 错误更少。
开放权重阵营中 SWE-bench Lite 通过率最高,约 38 至 42%。DeepSeek-OpenHands 组合造就了最初的开源 SWE-bench 突破。是 V2 上自主修复 bug 的默认框架。
通过 DeepSeek API 或 Ollama Lite 版本契合度很高。128K 上下文足以容纳 Cline 冗长的系统提示加上多文件上下文。云 API 上的 token 成本是主流厂商中最低的,缓存输入 $0.14/M。
理想搭配。Lite 16B(2.4B 激活)在 24GB 工作站显卡上以 60+ tok/s 运行,满足自动补全延迟预算。Full 236B 通过 API 用于 chat 与编辑。标准的 DeepSeek + Continue 配置是部署最广的开放权重栈之一。
Cursor 通过 BYOK 配置接受 DeepSeek 作为自定义模型。V2 Instruct 可用于 chat 与编辑。Cursor 自家的 Composer 在迭代上更快,V2 在每任务成本上更胜。
普林斯顿的自主修复 bug 框架。V2 是首个在 SWE-bench 上突破两位数的开放权重模型,是普林斯顿团队开放权重参考运行的选择。
Cline 的分支。V2 在 Code 模式的迭代上表现良好,在 Architect 模式上较为逊色(V2 偏编程调优,广义推理较弱)。组合 Architect=DeepSeek V3.2 加 Code=DeepSeek Coder V2,可获得最清晰的分工。
这套模型 + 智能体栈在哪里产出真实工作。
较不适合。
在来源是 GitHub 仓库或 API 文档的技术研究中可用。纯散文研究(法律简报、市场报告)会受 V2 编程偏向的拖累。请改路由到 DeepSeek V3 或 V3.2。
仅适合技术类研究的小众契合:smolagents 框架让回路紧凑,V2 的编程优势有助于代码搜索子任务。通用研究请避免使用。
在混合图中仅将 V2 用于代码分析节点。综合与写作节点应路由到 DeepSeek V3.2 或 Llama 3.3 70B。
适合类型化的代码提取智能体。读取源文件、提取函数签名、输出 JSON schema,V2 处理得很干净。不适合以散文为主的研究输出。
GitHub 仓库检索与代码问答。V2 加 LlamaIndex 是开放权重代码 RAG 的默认组合。对论文与 PDF 的研究,请用通用模型。
这套模型 + 研究智能体栈在哪里交付你团队真正会用的报告。
按工作流形态选框架。
三种买家画像,这个模型是正确答案。
任务:在 50 至 500 名开发者间做 IDE 自动补全与 chat。结果:Full 236B FP8 部署于 4x H100 在众多席位间摊销良好,21B 激活意味着延迟仍可与 Codex 竞争。
任务:用 Rust、Zig、Elixir、OCaml、Solidity 生成代码。结果:相比 Qwen 更窄的覆盖,338 种支持语言让 DeepSeek Coder V2 在小众技术栈上占优。
任务:issue 解决、PR 生成、仓库级推理。结果:首个在 SWE-Bench 上突破 10% 的开源模型(12.7%),使其成为智能体式编程产品的可信基座。
这个模型在哪里胜出,在哪里落败。
Qwen 32B 是稠密的,在单张 48GB GPU 上以 BF16 装下,HumanEval 达 92.7(对比 90.2),且是 Apache 2.0。DeepSeek Coder V2 在高批量下的 MoE 服务成本、长尾语言覆盖以及 SWE-Bench 上胜出。Qwen 在单卡部署与许可证简洁度上胜出。
Codestral 在 FIM 自动补全上更快,并有 256K 上下文,但 Mistral Non-Production License 在没有单独协议时禁止商用。DeepSeek Coder V2 商用宽松的许可证与更强的多步推理在生产团队中胜出。
Lite 版本在单张 24GB GPU 上运行,是大多数团队的实用之选。完整的 236B 只有在你需要 SWE-Bench 优势或多租户规模时,才值得 5 倍的硬件投入。
两周 sprint。
版本决策。Lite 16B 用于本地单卡自动补全,完整 236B 通过 DeepSeek 云 API 用于编排。确认买家是否特别要求 V2,或 V3.2 是否更合适。
在 24GB GPU 上通过 Ollama 本地部署 Lite。Continue.dev 接入 Lite 作为 tabAutocompleteModel,完整 236B 作为 chat 模型。延迟基线、token 成本预估。
Aider 加 OpenHands 加 Cline 针对客户代码库进行试运行。diff-apply 成功率、SWE-bench 式任务通过率、每任务 token 消耗,全部记录。
智能体框架接线。LangGraph 用于图工作流,Pydantic AI 用于类型化提取。测试原生工具调用,锁定 schema 校验。
在冻结的客户任务上运行评测框架。diff-apply 成功目标 95%+,schema 一致性 99%,约定每任务平均 token 预算。
生产切换。SSO、审计日志、按开发者的速率限制。DeepSeek API key 轮换策略。在产品文档中交付 MIT 许可证署名。
固定费用。
在 Lite (16B) 与 Full (236B) 之间决策。大多数团队应先在单张 RTX 4090 上用 Lite,先验证 UX 与质量,再投入多卡。
用所选模型搭起 vLLM。Full 需在 4 至 8 张 GPU 上配置张量并行并启用连续批处理。Lite 用 llama.cpp 或 Ollama 即可。
接入 Continue.dev、Cline 或你自研的 IDE 插件。为自动补全配置 FIM 端点,为讲解配置 chat 端点。在你真实的代码库上测试,而非只跑 HumanEval。
若需要 SWE-bench 式的 issue 解决,加入智能体框架。叠加沙箱执行、对仓库的检索以及验证回路。对照你团队真实的 PR 吞吐进行基准测试。
236B 总 / 21B 激活 (MoE) 参数量
固定费用。
第 1 天你就看到确切的模型、确切的硬件、确切的智能体栈、确切的成本测算以及确切的合规态势。
对几乎所有人来说选 Lite。它在单张消费级 GPU 上运行,HumanEval 达 81,在同等硬件上每 token 比完整模型更快。只有当你确实需要 SWE-Bench 的差距,或在数百席位上摊销时,才选完整的 236B。
可以。DeepSeek License Agreement 允许商用,包括托管服务。它确实包含一些用例限制(军事、非法内容),但没有 MAU 上限或版税。大多数生产部署都被覆盖。
三个理由。其一,高批量下的 MoE 服务经济性。其二,更广的语言覆盖(338 对比 Qwen 更窄的集合)。其三,面向智能体工作流更强的 SWE-Bench 数字。如果这些都不重要,Qwen2.5-Coder 32B 是更简单且同样强的选择。
大体可以。召回在 64K 之前保持稳健,但在 128K 的长尾处退化。对于仓库级任务,请将 128K 上下文与对代码 embedding 索引的检索结合,而非原始塞入。
除非 V2 是硬性要求,否则选 V3.2。DeepSeek V3.2-Exp 在 Aider Polyglot 上达 74.5%,在 SWE-bench Verified 上达 67.8%,成本仅为 GPT-5 的一小部分。V2 在同一 Aider 基准上约 65%。V3.2 在指令遵循上也更强,这正是 V2 作者标记为 SWE-bench 关键瓶颈的差距。仅当买家需要那种 21B 激活参数的 MoE 形态以在 8x H100 节点上自托管,或成本分析专门瞄准 V2 的 API 价格档时,才选 V2。
能,这正是小团队的正确配置。Lite 有 16B 总参数,每 token 激活 2.4B。在 Q4_K_M 下,它在单张 RTX 4090 或 RTX 5090 上以每秒 60 至 90 token 解码。Continue.dev 加 Lite 是独立开发者和 2 至 5 人咨询团队的标准结对编程配置。对于 21B 激活胜过 2.4B 激活的编排任务,请通过 DeepSeek 云 API 使用完整的 236B。
作者Kostadin Stamboliev创始人兼 Imaginator
Pineido, 总部位于 Strumica, North Macedonia, 是一家软件公司,为国内外企业开发网站、网店、网页与移动应用、业务自动化和 AI。工作以 30 天冲刺、固定价格交付,代码归客户所有。
发布于 更新于