在你的硬件上部署 DeepSeek Coder V2, 智能体栈上线,14 天达到生产级

DeepSeek Coder V2 是首个在真实基准上认真挑战 GPT-4 Turbo 的开放权重编程模型。HumanEval 90.2、MBPP+ 76.2、LiveCodeBench 43.4,以及那个里程碑数字 SWE-Bench 12.7,它是首个突破两位数的开源模型。

  • 14 天完成生产切换
  • 包含编码 + 研究智能体技术栈
  • 236B 总 / 21B 激活 (MoE) 参数量
  • 128K tokens 上下文窗口
  • 14 d 生产切换

DeepSeek Coder V2 速览

在选择模型和硬件时真正重要的规格。

参数量

236B 总,21B 每 token 激活

Lite 版本

16B 总,2.4B 每 token 激活

上下文窗口

128K tokens

架构

DeepSeekMoE + Multi-head Latent Attention (MLA)

支持语言

338 种编程语言

训练 token

10.2T 总(其中 6T 用于代码+数学的持续预训练)

许可证

DeepSeek License Agreement(允许商用)

FP16 显存(完整)

~472 GB

FP8 显存(完整)

~240 GB

发布日期

2024-06-17

在生产中运行 DeepSeek Coder V2 的硬件

三个层级,真实 SKU,真实吞吐数字。

  1. 入门级:DeepSeek Coder V2 Lite (16B / 2.4B 激活) 单张 RTX 4090 24GB Q4

    吞吐:Lite 上 60 至 120 tok/s。最适合:独立开发者、IDE 自动补全、本地代码补全服务器。

  2. 中端:Full 236B INT4 部署于 4x A100 80GB 或 4x H100 80GB

    吞吐:单流 30 至 60 tok/s,批处理 200+ tok/s。最适合:全团队自托管 Copilot 替代、代码评审机器人、内部编程智能体。

  3. 企业级:8x H100 SXM FP8,或 8x H200 BF16 单节点

    吞吐:单流 100 至 200 tok/s,批处理 1000+ tok/s。最适合:多租户代码 API、Cursor 级产品托管、企业级 SWE-agent 平台。

本模型的量化选择

GGUF、AWQ、FP8、INT4。

推荐量化

Full 236B 在 H100/H200 上用 FP8。Lite 16B 单卡用 Q4_K_M。完整模型在 4 卡部署上用 INT4 (AWQ)。

权衡

MoE 架构比稠密模型对量化更敏感。FP8 基本无损。INT4 AWQ 在 HumanEval 和 MBPP 上损失 1 至 3 分。低于 INT4 时,模型在多语言代码上急剧退化。

BF16 (full 236B)

约 472 GB 权重。需要一台 8x 80GB 节点(H100 或 A100)。无损参考质量,显存成本最高。

FP8 (full 236B)

约 240 GB 权重。通过 SGLang 或 vLLM 在 8x H100 80GB 节点上配合 FP8 KV 缓存即可装下。在代码基准上基本无损。

INT4 AWQ (full 236B)

约 120 GB 权重。面向 4x 80GB GPU。相比 FP8 在 HumanEval 和 MBPP 上损失 1 至 3 分。

Q4_K_M (Lite 16B)

约 10.4 GB GGUF,含 KV 缓存约需 9 至 11 GB 显存。单张 RTX 4090 或 5090,为 32K 上下文留有充裕余量。

客户在发布后说了什么

来自做决定时在场的人的反馈。

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
Crew scheduling was a nightmare. Guys would show up at the wrong site or not at all. The automated dispatch board fixed that in week two.
Tom, Landscaping OwnerAtlanta
Our food cost was a mystery until they wired the POS to the inventory system. Now I know the actual margin on every plate before the week ends.
Miguel, Restaurant OwnerMiami

我们为 DeepSeek Coder V2 接入的编程智能体

DeepSeek Coder V2 236B(21B 激活,MoE)在发布时是开放权重的编程旗舰,并且在配合 SWE-Agent 与 OpenHands 框架时,是首个在 SWE-Bench 上突破两位数的开源模型。

Aider

顶级的 diff-apply 成功率。Aider 在原始 Python 基准上 73.7%,V2 在 Aider Polyglot 上约 65%(请在排行榜核实)。diff edit 格式稳定可靠,比 Llama 或 Codestral 的 '应用失败' 错误更少。

OpenHands

开放权重阵营中 SWE-bench Lite 通过率最高,约 38 至 42%。DeepSeek-OpenHands 组合造就了最初的开源 SWE-bench 突破。是 V2 上自主修复 bug 的默认框架。

Cline

通过 DeepSeek API 或 Ollama Lite 版本契合度很高。128K 上下文足以容纳 Cline 冗长的系统提示加上多文件上下文。云 API 上的 token 成本是主流厂商中最低的,缓存输入 $0.14/M。

Continue.dev

理想搭配。Lite 16B(2.4B 激活)在 24GB 工作站显卡上以 60+ tok/s 运行,满足自动补全延迟预算。Full 236B 通过 API 用于 chat 与编辑。标准的 DeepSeek + Continue 配置是部署最广的开放权重栈之一。

Cursor (BYOK)

Cursor 通过 BYOK 配置接受 DeepSeek 作为自定义模型。V2 Instruct 可用于 chat 与编辑。Cursor 自家的 Composer 在迭代上更快,V2 在每任务成本上更胜。

SWE-Agent

普林斯顿的自主修复 bug 框架。V2 是首个在 SWE-bench 上突破两位数的开放权重模型,是普林斯顿团队开放权重参考运行的选择。

Roo Code

Cline 的分支。V2 在 Code 模式的迭代上表现良好,在 Architect 模式上较为逊色(V2 偏编程调优,广义推理较弱)。组合 Architect=DeepSeek V3.2 加 Code=DeepSeek Coder V2,可获得最清晰的分工。

编程智能体用例

这套模型 + 智能体栈在哪里产出真实工作。

我们在 DeepSeek Coder V2 上部署的研究智能体

较不适合。

GPT Researcher

在来源是 GitHub 仓库或 API 文档的技术研究中可用。纯散文研究(法律简报、市场报告)会受 V2 编程偏向的拖累。请改路由到 DeepSeek V3 或 V3.2。

Open Deep Research (HuggingFace)

仅适合技术类研究的小众契合:smolagents 框架让回路紧凑,V2 的编程优势有助于代码搜索子任务。通用研究请避免使用。

LangGraph deep-research

在混合图中仅将 V2 用于代码分析节点。综合与写作节点应路由到 DeepSeek V3.2 或 Llama 3.3 70B。

Pydantic AI

适合类型化的代码提取智能体。读取源文件、提取函数签名、输出 JSON schema,V2 处理得很干净。不适合以散文为主的研究输出。

LlamaIndex code-search

GitHub 仓库检索与代码问答。V2 加 LlamaIndex 是开放权重代码 RAG 的默认组合。对论文与 PDF 的研究,请用通用模型。

研究智能体用例

这套模型 + 研究智能体栈在哪里交付你团队真正会用的报告。

我们为生产级智能体工作流安装的框架

按工作流形态选框架。

谁会选 DeepSeek Coder V2

三种买家画像,这个模型是正确答案。

  1. 工程组织的自托管 Copilot

    任务:在 50 至 500 名开发者间做 IDE 自动补全与 chat。结果:Full 236B FP8 部署于 4x H100 在众多席位间摊销良好,21B 激活意味着延迟仍可与 Codex 竞争。

  2. 长尾语言覆盖

    任务:用 Rust、Zig、Elixir、OCaml、Solidity 生成代码。结果:相比 Qwen 更窄的覆盖,338 种支持语言让 DeepSeek Coder V2 在小众技术栈上占优。

  3. SWE-agent 后端

    任务:issue 解决、PR 生成、仓库级推理。结果:首个在 SWE-Bench 上突破 10% 的开源模型(12.7%),使其成为智能体式编程产品的可信基座。

DeepSeek Coder V2 对比最接近的竞品

这个模型在哪里胜出,在哪里落败。

对比 Qwen2.5-Coder 32B

Qwen 32B 是稠密的,在单张 48GB GPU 上以 BF16 装下,HumanEval 达 92.7(对比 90.2),且是 Apache 2.0。DeepSeek Coder V2 在高批量下的 MoE 服务成本、长尾语言覆盖以及 SWE-Bench 上胜出。Qwen 在单卡部署与许可证简洁度上胜出。

对比 Codestral 22B

Codestral 在 FIM 自动补全上更快,并有 256K 上下文,但 Mistral Non-Production License 在没有单独协议时禁止商用。DeepSeek Coder V2 商用宽松的许可证与更强的多步推理在生产团队中胜出。

对比 DeepSeek Coder V2 Lite (16B / 2.4B)

Lite 版本在单张 24GB GPU 上运行,是大多数团队的实用之选。完整的 236B 只有在你需要 SWE-Bench 优势或多租户规模时,才值得 5 倍的硬件投入。

Pineido 如何在 DeepSeek Coder V2 上搭建智能体

两周 sprint。

  1. 第 1 天

    版本决策。Lite 16B 用于本地单卡自动补全,完整 236B 通过 DeepSeek 云 API 用于编排。确认买家是否特别要求 V2,或 V3.2 是否更合适。

  2. 第 3 天

    在 24GB GPU 上通过 Ollama 本地部署 Lite。Continue.dev 接入 Lite 作为 tabAutocompleteModel,完整 236B 作为 chat 模型。延迟基线、token 成本预估。

  3. 第 6 天

    Aider 加 OpenHands 加 Cline 针对客户代码库进行试运行。diff-apply 成功率、SWE-bench 式任务通过率、每任务 token 消耗,全部记录。

  4. 第 8 天

    智能体框架接线。LangGraph 用于图工作流,Pydantic AI 用于类型化提取。测试原生工具调用,锁定 schema 校验。

  5. 第 11 天

    在冻结的客户任务上运行评测框架。diff-apply 成功目标 95%+,schema 一致性 99%,约定每任务平均 token 预算。

  6. 第 14 天

    生产切换。SSO、审计日志、按开发者的速率限制。DeepSeek API key 轮换策略。在产品文档中交付 MIT 许可证署名。

我们如何在 14 天内部署 DeepSeek Coder V2

固定费用。

第 1 天

在 Lite (16B) 与 Full (236B) 之间决策。大多数团队应先在单张 RTX 4090 上用 Lite,先验证 UX 与质量,再投入多卡。

第 2 至 4 天

用所选模型搭起 vLLM。Full 需在 4 至 8 张 GPU 上配置张量并行并启用连续批处理。Lite 用 llama.cpp 或 Ollama 即可。

第 2 周

接入 Continue.dev、Cline 或你自研的 IDE 插件。为自动补全配置 FIM 端点,为讲解配置 chat 端点。在你真实的代码库上测试,而非只跑 HumanEval。

第 3 至 4 周

若需要 SWE-bench 式的 issue 解决,加入智能体框架。叠加沙箱执行、对仓库的检索以及验证回路。对照你团队真实的 PR 吞吐进行基准测试。

236B 总 / 21B 激活 (MoE) 参数量

预约 30 分钟范围沟通电话。在你签约之前,我们就告诉你 DeepSeek Coder V2 加我们的智能体栈是否是正确选择。

固定费用。

第 1 天你就看到确切的模型、确切的硬件、确切的智能体栈、确切的成本测算以及确切的合规态势。

你将带走

  1. 第 0 天(本周):30 分钟范围沟通电话。硬件候选清单、模型选择、智能体栈方案、成本预测于周五前送达你的收件箱
  2. 第 1 天:在 Lite (16B) 与 Full (236B) 之间决策。大多数团队应先在单张 RTX 4090 上用 Lite,先验证 UX 与质量,再投入多卡。

您在第一次会议上会问的一切

我该跑 16B Lite 还是完整的 236B?

对几乎所有人来说选 Lite。它在单张消费级 GPU 上运行,HumanEval 达 81,在同等硬件上每 token 比完整模型更快。只有当你确实需要 SWE-Bench 的差距,或在数百席位上摊销时,才选完整的 236B。

我可以商用吗?

可以。DeepSeek License Agreement 允许商用,包括托管服务。它确实包含一些用例限制(军事、非法内容),但没有 MAU 上限或版税。大多数生产部署都被覆盖。

为什么选 DeepSeek 而不是 Qwen2.5-Coder?

三个理由。其一,高批量下的 MoE 服务经济性。其二,更广的语言覆盖(338 对比 Qwen 更窄的集合)。其三,面向智能体工作流更强的 SWE-Bench 数字。如果这些都不重要,Qwen2.5-Coder 32B 是更简单且同样强的选择。

128K 上下文适合整仓库级推理吗?

大体可以。召回在 64K 之前保持稳健,但在 128K 的长尾处退化。对于仓库级任务,请将 128K 上下文与对代码 embedding 索引的检索结合,而非原始塞入。

我们的编程智能体该部署 DeepSeek Coder V2 还是 DeepSeek V3.2?

除非 V2 是硬性要求,否则选 V3.2。DeepSeek V3.2-Exp 在 Aider Polyglot 上达 74.5%,在 SWE-bench Verified 上达 67.8%,成本仅为 GPT-5 的一小部分。V2 在同一 Aider 基准上约 65%。V3.2 在指令遵循上也更强,这正是 V2 作者标记为 SWE-bench 关键瓶颈的差距。仅当买家需要那种 21B 激活参数的 MoE 形态以在 8x H100 节点上自托管,或成本分析专门瞄准 V2 的 API 价格档时,才选 V2。

DeepSeek Coder V2 Lite (16B) 能在 24GB GPU 上跑本地编程智能体吗?

能,这正是小团队的正确配置。Lite 有 16B 总参数,每 token 激活 2.4B。在 Q4_K_M 下,它在单张 RTX 4090 或 RTX 5090 上以每秒 60 至 90 token 解码。Continue.dev 加 Lite 是独立开发者和 2 至 5 人咨询团队的标准结对编程配置。对于 21B 激活胜过 2.4B 激活的编排任务,请通过 DeepSeek 云 API 使用完整的 236B。

作者创始人兼 Imaginator

Pineido, 总部位于 Strumica, North Macedonia, 是一家软件公司,为国内外企业开发网站、网店、网页与移动应用、业务自动化和 AI。工作以 30 天冲刺、固定价格交付,代码归客户所有。

发布于 更新于