Qwen-Agent
原生 Qwen 框架。Qwen2.5-Coder 32B 工具调用对齐最佳。
选择模型和硬件时最关键的规格。
325 亿密集参数(310 亿非嵌入参数)
128K tokens
Apache 2.0
2024 年 11 月 11 日
5.5 万亿 tokens,92 种编程语言
92.7
90.2
73.7
19GB
22GB
34GB
42
55-70
18
三个层级,真实 SKU,真实吞吐数字。
吞吐:18-42 tokens/秒。适用:独立开发者、小团队、IDE 自动补全、代码审查。
吞吐:55-90 tokens/秒。适用:5-15 人工程团队,vLLM 共享自动补全服务,Q5/Q6 质量,代码生成服务器。
吞吐:120-200 tokens/秒。适用:30+ 人工程组织,多租户代码平台,微调循环,内部 Copilot 替代。
来自做决定时在场的人的反馈。
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Crew scheduling was a nightmare. Guys would show up at the wrong site or not at all. The automated dispatch board fixed that in week two.
Three drivers called out on the same morning. The system reassigned every route before I finished my coffee. That used to take two hours of phone calls.
GGUF、AWQ、FP8、INT4。
单用户和消费级 GPU 使用 Q4_K_M。显存允许时(RTX 5090 或更大)使用 Q5_K_M 或 Q6_K,边界情况下代码质量更好。vLLM 服务使用 AWQ INT4。仅在运行集群时才在 H100 上使用 FP8。
代码模型对长文本生成的量化敏感。Q4 适合 IDE 自动补全和编辑任务。Q5_K_M 和 Q6_K 在从头编写函数或多文件重构时明显更好。Q8_0 在 RTX 4090(约 34GB)上强制 offload,吞吐从每秒 42 降至 22 tokens。
文件大小:19GB。
文件大小:22GB。
文件大小:34GB。
文件大小:18GB。
2026 年最佳「经济型」智能体编码器:HumanEval 与 GPT-4o 相当,可在单张 RTX 4090 Q4_K_M 下运行。
最佳配合。Aider 的 diff-edit 格式不依赖激进的多轮工具循环,因此 Qwen2.5-Coder 32B 的工具调用特性不会影响使用。Aider 代码修复基准 73.7%,与 GPT-4o 相当。使用 aider --openai-api-base http://your-vllm:8000/v1 --model openai/Qwen2.5-Coder-32B-Instruct 运行。
强力配合。config.yaml 使用 provider: openai 或 vllm,apiBase 指向您的端点。Tab 自动补全在单张 RTX 4090 Q4_K_M 下正常工作。用作自动补全和编辑角色;如延迟敏感,配合较小的快速模型处理内联补全。
原版 Qwen2.5-Coder 32B 在 Cline 任务中可能循环(不断读文件但不推进)。变通方案:使用社区 Ollama 模型 mychen76/qwen2.5_cline_roocode:32b,配合严格执行 <tool><param>value</param></tool> XML 格式、每轮仅一个工具的系统提示。或升级至 Qwen3-Coder。
与 Cline 相同注意事项。mychen76/qwen2.5_cline_roocode:32b 自定义提示明确针对 Cline 和 Roo Code 两者。Architect 模式比 Code 模式更宽容,因为它将规划步骤分离出去。
原生 Qwen 智能体框架,内置 Qwen2.5 工具调用模板。捆绑函数调用、MCP、代码解释器、RAG。由于使用官方聊天模板,是原版 Qwen2.5-Coder 32B 工具调用最有保障的路径。
可运行,但在 SWE-bench 上表现不及 Qwen3-Coder 30B-A3B。Qwen2.5-Coder 没有像 Qwen3-Coder 那样通过强化学习训练智能体循环能力。仅在可用 24GB GPU 上只能运行 Qwen2.5-Coder 32B 时使用。
可通过 OpenRouter 或云 API 使用,但无法通过自定义本地端点接入。Cursor 通过其后端路由,破坏了 Qwen2.5-Coder 32B 的数据本地化优势。Cline 是 Pineido 更推荐的选择。
此模型 + 智能体套件能交付真实成果的场景。
代码专用模型。
内置 RAG、MCP、代码解释器。Qwen2.5-Coder 32B 的最佳研究套件,因为聊天模板对齐精确:pip install -U qwen-agent[gui,rag,code_interpreter,mcp]。
仓库文档的代码感知 RAG。按项目分工作区。@agent 模式可用于针对您的私有代码库加 SDK 文档的代码研究问题。
默认聊天界面。适用于临时代码问答和文档查询。文档上传支持 PDF SDK 手册、RFC 和库文档。
可用于代码相关研究(库比较、框架基准测试)。纯非代码研究选通用模型更合适。OPENAI_BASE_URL 覆盖可正常工作。
代码加文档 RAG 的最佳检索搭配。LlamaIndex 的树状摘要和引用追踪能很好地处理 SDK 文档。在上层配合 Qwen-Agent 或 LangGraph 编排层。
生产编排。适用于多步骤代码研究工作流(解析堆栈跟踪、搜索文档、起草修复方案)。Qwen2.5-Coder 的工具调用特性意味着图中可能需要显式重试逻辑。
顺序协作团队。适用于研究和撰写配对(研究员读文档,写作者起草架构决策记录)。演示速度比 LangGraph 快。
此模型 + 研究智能体套件能产出团队真正使用报告的场景。
按工作流形态选择框架。
原生 Qwen 框架。Qwen2.5-Coder 32B 工具调用对齐最佳。
带工具调用特性显式重试逻辑的生产编排。
顺序研究和撰写协作团队。
提示词编译。适用于优化 Qwen2.5-Coder 的工具调用提示。
类型安全代码生成智能体。
代码加文档的检索层。
三类此模型是正确答案的买家画像。
任务:IDE 自动补全、代码审查、重构、内部工具开发。成果:替代每席位每月 24-40 美元的 Copilot 或 Cursor 许可。单张 RTX 5090 为整个团队提供服务。3 个月回本。代码不离开公司。
任务:针对私有交易系统和专有算法的代码生成。成果:Apache 2.0 加本地部署顺利通过 SOC 2 审查。无代码片段泄露至第三方 API。可在专有代码库上微调。
任务:出口管制软件的代码审查和生成。成果:气隙部署满足 ITAR 要求。每名工程师一台工作站使用 Q5_K_M。第三方 API 不接触代码库。
此模型胜出的场景和劣势场景。
Qwen2.5-Coder 32B 在每个代码基准上领先 Llama 3.3 70B 3-8 分,且运行硬件成本只有三分之一。Llama 3.3 70B 在通用推理和非代码任务上胜出。代码用 Qwen2.5-Coder,其他任务用 Llama 3.3,或者两者都运行。
Qwen2.5-Coder 32B 在 HumanEval 和 MBPP 上与 GPT-4o 相当,Aider 上也类似。GPT-4o 在最难推理上胜出。对 90% 的开发工作(自动补全、重构、写测试、审查 PR)差距不可见。
Qwen2.5-Coder 32B 在 EvalPlus(最抗饱和的代码基准)上超过 DeepSeek-Coder V2。Qwen2.5-Coder 在密集 vs MoE 服务复杂度上也胜出(单 32B vs DSCv2 的 MoE 复杂性)。
第 4 天 Ollama 或 vLLM 在单张 24GB GPU 上为 Qwen2.5-Coder 32B Instruct 提供服务。
Ollama 在 24GB GPU 上以 Q4_K_M 运行 qwen2.5-coder:32b(约 22GB)。更高吞吐使用 vLLM:--tensor-parallel-size 1 --max-model-len 32768 为 Qwen2.5-Coder-32B-Instruct 提供服务。完整 128K 上下文需要更多显存余量。
选择智能体路径。原版 Qwen2.5-Coder 适用于 Aider 和 Continue.dev。对于 Cline 或 Roo Code,我们安装 mychen76/qwen2.5_cline_roocode:32b 配合定制 XML 工具系统提示,或建议买家升级至 Qwen3-Coder 30B-A3B。
Aider 通过 --openai-api-base 接入,Continue.dev 通过 config.yaml provider: openai 或 vllm 接入。Continue 中启用 Tab 自动补全。
Open WebUI 加 AnythingLLM 上线。代码感知 RAG 覆盖仓库加 SDK 文档。
安装 Qwen-Agent(pip install -U qwen-agent[gui,rag,code_interpreter,mcp])。为文件系统和 GitHub 接入 MCP 服务器。
LangGraph 代码研究和撰写流水线工作流。考虑到模型工具格式特性,工具调用节点添加显式重试逻辑。
证据包包含 Aider 分数复现、吞吐数据、智能体清单,以及是否升级至 Qwen3-Coder 的书面建议。
固定费用。
在真实代码库上测试。根据显存选择 Q4_K_M 或 Q5_K_M。验证语言覆盖与您的技术栈匹配(92 种语言,但质量有差异)。
通过 vLLM(RTX 5090 或 Pro 6000)或 Ollama(Mac、单开发者工作站)提供服务。接入 OpenAI 兼容端点。连接 Continue.dev 或 Cline IDE 插件。
可选:使用 QLoRA 在私有代码库上微调。通过 BGE-M3 对仓库进行嵌入搜索。RBAC、审计日志、禁止出站防火墙规则。
渗透测试通过。Apache 2.0 NOTICE 存档。切换。替换 Copilot/Cursor 席位。
可以。Apache 2.0,无 MAU 上限,无产品内署名要求,无商业限制。您可以在代码库上微调,重新分发微调权重,并嵌入商业产品。在源代码分发中保留 NOTICE 文件即可。
Mac Mini M4 Pro 24GB(1599 美元)通过 Ollama 开箱即用运行 Q4_K_M,解码速度约每秒 14-18 tokens。适合单个开发者 IDE 自动补全。RTX 4090 在相同量化下以每秒 42 tokens 运行,价格相近。RTX 5090 提升至每秒 55-70 tokens,并有余量运行 Q5 或 Q6。
对于大多数技术栈的自动补全、重构和代码审查,可以。HumanEval 92.7 达到 GPT-4o 级别。差距体现在最难的推理和小众语言上。大多数团队发现 Qwen2.5-Coder 加良好的 IDE 插件(Continue、Cline)覆盖了 90% 的 Copilot 使用场景,且每席位零费用。
Qwen3 基础模型已存在,Qwen3-Coder 系列遵循相同发布节奏。如果您有可用的技术栈,Qwen2.5-Coder 32B 已成熟,生态支持完善,基准测试远超一年前任何 2000 美元硬件能运行的模型。Qwen3-Coder 发布并显示出真实基准差距时再迁移。不要等待,现在就开始。
有注意事项。原版 Qwen2.5-Coder 32B 在 Cline 多轮任务中存在已知问题(Cline issue #1429),会循环读文件而不推进。两个修复方案均有效:一是安装社区 Ollama 变体 mychen76/qwen2.5_cline_roocode:32b,配合定制 XML 风格工具提示;二是升级至 Qwen3-Coder 30B-A3B,该模型通过强化学习训练了 Cline 风格的智能体循环。Pineido 在冲刺期间测试两者,并对主要使用场景是自主智能体循环的买家推荐 Qwen3-Coder。Qwen2.5-Coder 在 Aider 风格的显式编辑工作流中仍然出色。
根据 QwenLM 官方博客,Aider 代码修复基准 73.7%。与 GPT-4o 相当。Aider 的 diff-edit 模式不会触发影响 Cline 的工具调用特性,因此 Qwen2.5-Coder 32B 在 Aider 驱动的多文件重构中真正可用。使用 aider --openai-api-base http://your-vllm:8000/v1 --model openai/Qwen2.5-Coder-32B-Instruct 运行。
325 亿密集参数(310 亿非嵌入参数) 参数量
固定费用。
第 1 天您将看到确切的模型、硬件、智能体套件、成本计算和合规立场。
作者Kostadin Stamboliev创始人兼 Imaginator
Pineido, 总部位于 Strumica, North Macedonia, 是一家软件公司,为国内外企业开发网站、网店、网页与移动应用、业务自动化和 AI。工作以 30 天冲刺、固定价格交付,代码归客户所有。
发布于 更新于