Qwen-Agent
原生 Qwen 智能体框架,集成 MCP、RAG、代码解释器和 Gradio 界面。
选型和硬件采购时最关键的规格参数。
总量 235B,每 token 激活 22B
MoE,128个专家,每 token 激活8个
原生 128K,Instruct-2507 支持 262K
Apache 2.0
2025年4月28日(Instruct-2507 于2025年7月)
119种语言和方言
混合 Thinking 和 Non-Thinking
143GB
112GB
15-22
120-180
三个层级,真实 SKU,真实吞吐量数据。
吞吐量:15-22 token/秒。适合:单用户高强度工作流、代码生成、私有文档深度推理。
吞吐量:40-70 token/秒。适合:10-30人规模公司、vLLM 批处理服务、MoE 专家卸载。
吞吐量:120-300 token/秒。适合:100+ 并发用户、多语言运营、智能体工作流。
GGUF、AWQ、FP8、INT4。
128GB Mac 用 IQ4_XS(质量接近 Q4_K_M,40K 上下文内可用),256GB 以上 Mac 用 Q4_K_M,H100 和 H200 用 FP8,Blackwell 消费级显卡用 AWQ INT4
MoE 模型对量化的容忍度略高于稠密模型,因为专家路由稀释了每个权重的误差。IQ4_XS 在 MMLU-Pro 上比 FP16 损失约3%。FP8 是 Hopper 和 Blackwell 的生产最优点,近乎无损且吞吐量约为 FP16 的2倍。
文件大小:112GB。
文件大小:143GB。
文件大小:118GB。
文件大小:235GB。
原生工具调用可靠性在2026年开源模型中最强。
阿里巴巴官方选项:pip install -U qwen-agent[gui,rag,code_interpreter,mcp]。内部封装工具调用模板和解析器。将 model_server 设为 vLLM /v1 URL。集成 MCP、代码解释器、RAG 和 Chrome 扩展。
OpenAI 兼容提供商。Qwen3 的工具调用在开源模型中最稳定,极少出现幻觉调用或参数丢失。计划和执行模式均可使用。Thinking-2507 变体为深度规划增加推理步骤,Instruct-2507 在日常工作中速度更快。
Aider Polyglot 排行榜将 Qwen3 235B A22B 列为65.3%,在可自托管的开源模型中名列前茅。配置 --openai-api-base 指向 vLLM 端点。Edit-format 模式在 Python、TypeScript、Go、Rust 和 Java 上均可干净运行。
在 config.yaml 中配置 provider: openai,apiBase 指向你的 vLLM。声明 capabilities: [tool_use]。Agent 模式自动检测原生工具调用。Thinking 变体的256K 上下文解锁 Continue 的完整仓库上下文模式。
强烈推荐。Nebius 报告显示基于 Instruct-2507 底座的235B RFT 检查点在 OpenHands 轨迹上的 SWE-bench Verified 达到61.7% Pass@1(500轮下74.3% Pass@5),以一半参数量超越30B 编码专用模型(50.3%,相比 Qwen3-Coder-480B)。将 LLM_BASE_URL 设为 vLLM。本批次模型中自主循环性能最强。
Cline 分支版本。多模式(代码、架构师、问答、调试)。架构师模式 + Thinking-2507 变体是强力组合,因为 Qwen3 的推理痕迹能清晰呈现架构权衡。配置与 OpenAI 兼容相同。
Claude Code 接受非官方指南中的 OPENAI_BASE_URL 覆盖。Qwen3 235B A22B 是在 Claude Code 自身 SWE-bench 评估中最接近 Claude Sonnet 的开源模型。注意工具格式兼容性,部分 Claude Code 内部工具假设使用 Anthropic 风格的函数调用。
本模型 + 智能体工具栈可实际交付的工作场景。
256K 上下文(Thinking-2507 变体)使 Qwen3 235B A22B 成为深度研究最强开源模型之一。
内置 RAG、代码解释器、MCP。单次 pip install 即可获得完整智能体工具栈。如果买家已确定使用 Qwen 系列,这是最佳研究起点。
将 OPENAI_BASE_URL 指向 vLLM。Qwen3 的指令遵循能力(Qwen 3.5 在 IFEval 达到92.6)意味着 GPT Researcher 的规划提示词可以被精确遵循。5至10个来源的报告需3至5分钟。
通用 OpenAI 提供商兼容。工作区 RAG 加 @agent 模式覆盖80%的买家使用场景。Qwen3 的工具可靠性意味着 @agent 在多工具序列中几乎不会失败。
默认聊天界面。Qwen3 的混合 Thinking 切换通过 Open WebUI 的每对话设置(chat_template_kwargs.enable_thinking)友好展示。买家可对难题开启推理模式,对快速对话关闭。
生产研究编排。Qwen3 可靠的工具调用是差异化优势:LangGraph 状态转换无需重试逻辑即可正确触发。搭配 LangSmith 进行链路追踪。
基于角色的研究团队。Qwen3 235B A22B 强大的指令遵循能力意味着 CrewAI 的角色和目标文本无需提示工程开销即可被遵守。
最佳检索搭配。在 Qwen-Agent 或 LangGraph 工作流中使用 LlamaIndex 查询引擎作为工具。256K 上下文允许保留比典型 RAG 大得多的检索块窗口。
提示词优化。DSPy 的编译步骤在 Qwen3 上效果异常好,因为模型能精确遵循结构化少样本模式。使用 DSPy 优化问题分解提示词,然后通过 LangGraph 部署。
本模型 + 研究智能体工具栈可实际交付团队使用的报告场景。
按工作流形态选择框架。
原生 Qwen 智能体框架,集成 MCP、RAG、代码解释器和 Gradio 界面。
生产级有状态编排。与 Qwen3 可靠工具调用配合最佳。
基于角色的团队。借助 Qwen3 的指令遵循能力演示最快捷。
GroupChat 对话。适合 Qwen3 混合模式辩论模式。
提示词编译。与 Qwen3 的结构化格式遵循能力配合强劲。
类型安全智能体。Qwen3 结构化输出可靠性非常契合。
检索层。搭配 Qwen3 256K 上下文处理大型检索块。
三类最适合本模型的买家画像。
任务:英语、法语、德语、普通话的跨境合同审查及文件发现。成效:119种语言覆盖替代三个独立翻译工具。Apache 2.0 意味着向客户门户重新分发无任何法律障碍。
任务:跨多种语言和框架的代码生成、代码审查和智能体重构。成效:LiveCodeBench v5 70.7 和 CodeForces 2056 超越所有稠密开源模型。对复杂问题使用 Hybrid Thinking 模式,自动补全使用 Non-Thinking 模式。
任务:文献综合、假设生成、内部文档的 GPQA 级别 STEM 问答。成效:在专家 STEM 领域 SuperGPQA 领先 DeepSeek-V3 和 Llama-4。256K 上下文处理完整临床试验档案。
来自做决定时在场的人的反馈。
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Three drivers called out on the same morning. The system reassigned every route before I finished my coffee. That used to take two hours of phone calls.
They did not ask us to trust a rewrite plan. They proved one critical workflow first, then scaled from evidence.
本模型的优势与劣势。
DeepSeek V3.2(671B MoE,37B 激活)在顶端数学和代码上胜出。Qwen3 235B 在内存占用(Q4 时143GB 对比376GB)和任何没有8x H100 预算的公司的硬件可及性上胜出。
Qwen3 235B 在推理、编码、多语言和基准测试上全面胜出。Llama 3.3 70B 在部署简单性、硬件门槛和生态成熟度上胜出。8至15人公司选 Llama,30人以上、质量是约束条件的选 Qwen3 235B。
Mistral Large 3 在 Apache 2.0 加一流多模态视觉上胜出。Qwen3 235B 在硬件占用(Q4 时143GB 对比370GB)和公司无需企业级 GPU 节点即可自托管的可行性上胜出。
第4天 vLLM(或 SGLang)以工具调用和推理解析器服务模型。
vLLM 以 tensor-parallel-size 8 服务 Qwen3-235B-A22B-Instruct-2507,max-model-len 131072(Thinking-2507 支持256K),Thinking 变体启用 --enable-reasoning --reasoning-parser deepseek_r1。FP8 变体适合 8xH100。
编辑器智能体(Aider、Cline、Continue.dev、Roo Code)接入 /v1。所有工具均使用 OpenAI 兼容配置。工具调用是所有开源模型中最稳定的,几乎不需要重试逻辑。
Open WebUI 加 AnythingLLM 上线。通过 chat_template_kwargs.enable_thinking 按对话展示 Hybrid Thinking 切换。工作区隔离敏感文档集。
安装 Qwen-Agent(pip install -U qwen-agent[gui,rag,code_interpreter,mcp])。为文件系统、时间、fetch 和内部 API 配置 MCP 服务器。
LangGraph 生产研究工作流。交付三个工作流:深度研究、代码审查、客户接待。开启 LangSmith 追踪。
OpenHands 仓库自主能力针对三个真实任务演示。预期 SWE-bench 通过率约60%,基于235B Instruct 底座。
交付含工具调用成功率、吞吐量数据、精度抽查、操作手册和智能体清单的合规证据包。
固定费用。
确认硬件配置。128GB Mac 处于边缘(仅支持 IQ4_XS)。256GB 以上 Mac 或多卡 GPU 是真实门槛。在实际工作负载上对比 Thinking 和 Non-Thinking 模式。
GPU 通过 vLLM 以 FP8 部署,Mac 通过 MLX 以 Q4 部署。接入 OpenAI 兼容 API。按路由或用户角色配置 Thinking 模式切换。
配置多语言 BGE-M3 向量和 Qdrant 的 RAG。SSO、审计日志、RBAC、用于成本监控的专家路由遥测。
渗透测试通过。Apache 2.0 NOTICE 文件提交。生产切换。产品界面无需添加署名字符串。
235B 总量,每 token 激活 22B(MoE) 参数量
固定费用。
第1天你看到确切的模型、确切的硬件、确切的智能体工具栈、确切的成本核算和确切的合规态势。
是的。Apache 2.0,无月活上限,无需在产品中署名,无付费层级。你可以微调、重新分发、商业产品中使用、嵌入客户交付物,无需联系阿里巴巴。唯一要求是在源码发行版中保留 Apache 2.0 NOTICE 文件,这是一项一行代码的法律任务。
Mac Studio M3 Ultra 256GB 以 Q4_K_M 是最便宜的可行路径,单用户解码速度15至22 token/秒。128GB Mac 需要 IQ4_XS,且超过40K 上下文后空间不足。多用户生产环境目标是2x RTX Pro 6000 Blackwell 96GB 或4x H200 节点配合 FP8。
Thinking 模式在回答前运行内部思维链,速度较慢但在数学、代码和多步推理上更强。Non-Thinking 是直接响应,速度更快,适合对话、起草和工具调用。2507 Instruct 变体默认为 Non-Thinking。将难题路由到 Thinking,日常任务路由到 Non-Thinking,你的每元 token 效率提升3至5倍。
DeepSeek V3.2 在最难推理和 IMO 级数学上胜出。Qwen3 235B 在硬件门槛(Q4 时143GB 对比376GB)、多语言覆盖和部署简单性上胜出。对于任何没有闲置8x H100 集群的公司,Qwen3 235B 是实际可行的选择。
Qwen3 的后训练流水线专门针对智能体能力、指令遵循和格式遵循进行了20多个通用领域任务的强化学习。结果是2026年基准测试中所有开源模型中最低的工具调用幻觉率,聊天模板原生编码了 OpenAI 兼容工具格式和 MCP。在 Pineido 的冲刺中,我们观察到 Qwen3 比 Llama 或 Mistral 的重试循环错误明显更少。
两者都要。Pineido 将 Instruct-2507 部署为默认端点,因为它更快且跳过思维 token。我们在另一个端口部署 Thinking-2507 用于难题。两个模型共享架构,vLLM 可以并排服务。Cline、Roo Code 和 Open WebUI 可以按任务路由。Thinking 变体在难推理基准上得分高出约7至12分,但每次响应慢约3倍。
作者Kostadin Stamboliev创始人兼 Imaginator
Pineido, 总部位于 Strumica, North Macedonia, 是一家软件公司,为国内外企业开发网站、网店、网页与移动应用、业务自动化和 AI。工作以 30 天冲刺、固定价格交付,代码归客户所有。
发布于 更新于