在自有硬件上部署 Qwen3 235B A22B, 14天内智能体工具栈上线,达到生产级别

Qwen3 235B A22B 是缩小与闭源前沿实验室差距的开源权重模型。2025年4月28日由阿里巴巴 Qwen 团队发布,采用 Apache 2.0 许可,无商业限制。

  • 14天生产切换
  • 含编码 + 研究智能体工具栈
  • 235B 总量,每 token 激活 22B(MoE) 参数量
  • 128K 原生,Instruct-2507 变体 262K 上下文窗口
  • 14 天 生产切换

Qwen3 235B A22B 一览

选型和硬件采购时最关键的规格参数。

参数量

总量 235B,每 token 激活 22B

架构

MoE,128个专家,每 token 激活8个

上下文窗口

原生 128K,Instruct-2507 支持 262K

许可证

Apache 2.0

发布日期

2025年4月28日(Instruct-2507 于2025年7月)

支持语言

119种语言和方言

模式

混合 Thinking 和 Non-Thinking

最低内存(Q4_K_M)

143GB

最低内存(IQ4_XS,适用于 128GB Mac)

112GB

Mac Studio M3 Ultra 256GB Q4 吞吐量(token/秒)

15-22

4x H200 FP8(vLLM)批处理吞吐量(token/秒)

120-180

可在生产环境运行 Qwen3 235B A22B 的硬件

三个层级,真实 SKU,真实吞吐量数据。

  1. 入门级:Mac Studio M3 Ultra 256GB 或 512GB($9,499-14,999)

    吞吐量:15-22 token/秒。适合:单用户高强度工作流、代码生成、私有文档深度推理。

  2. 中端级:2x RTX Pro 6000 Blackwell 96GB($20-28K)或 4x RTX 5090

    吞吐量:40-70 token/秒。适合:10-30人规模公司、vLLM 批处理服务、MoE 专家卸载。

  3. 企业级:4x H200 SXM 141GB 或 8x H100 80GB FP8($150-300K)

    吞吐量:120-300 token/秒。适合:100+ 并发用户、多语言运营、智能体工作流。

本模型的量化选型

GGUF、AWQ、FP8、INT4。

推荐量化方案

128GB Mac 用 IQ4_XS(质量接近 Q4_K_M,40K 上下文内可用),256GB 以上 Mac 用 Q4_K_M,H100 和 H200 用 FP8,Blackwell 消费级显卡用 AWQ INT4

权衡取舍

MoE 模型对量化的容忍度略高于稠密模型,因为专家路由稀释了每个权重的误差。IQ4_XS 在 MMLU-Pro 上比 FP16 损失约3%。FP8 是 Hopper 和 Blackwell 的生产最优点,近乎无损且吞吐量约为 FP16 的2倍。

GGUF IQ4_XS

文件大小:112GB。

GGUF Q4_K_M

文件大小:143GB。

AWQ INT4

文件大小:118GB。

FP8

文件大小:235GB。

我们为 Qwen3 235B A22B 接入的编码智能体

原生工具调用可靠性在2026年开源模型中最强。

Qwen-Agent

阿里巴巴官方选项:pip install -U qwen-agent[gui,rag,code_interpreter,mcp]。内部封装工具调用模板和解析器。将 model_server 设为 vLLM /v1 URL。集成 MCP、代码解释器、RAG 和 Chrome 扩展。

Cline

OpenAI 兼容提供商。Qwen3 的工具调用在开源模型中最稳定,极少出现幻觉调用或参数丢失。计划和执行模式均可使用。Thinking-2507 变体为深度规划增加推理步骤,Instruct-2507 在日常工作中速度更快。

Aider

Aider Polyglot 排行榜将 Qwen3 235B A22B 列为65.3%,在可自托管的开源模型中名列前茅。配置 --openai-api-base 指向 vLLM 端点。Edit-format 模式在 Python、TypeScript、Go、Rust 和 Java 上均可干净运行。

Continue.dev

在 config.yaml 中配置 provider: openai,apiBase 指向你的 vLLM。声明 capabilities: [tool_use]。Agent 模式自动检测原生工具调用。Thinking 变体的256K 上下文解锁 Continue 的完整仓库上下文模式。

OpenHands

强烈推荐。Nebius 报告显示基于 Instruct-2507 底座的235B RFT 检查点在 OpenHands 轨迹上的 SWE-bench Verified 达到61.7% Pass@1(500轮下74.3% Pass@5),以一半参数量超越30B 编码专用模型(50.3%,相比 Qwen3-Coder-480B)。将 LLM_BASE_URL 设为 vLLM。本批次模型中自主循环性能最强。

Roo Code

Cline 分支版本。多模式(代码、架构师、问答、调试)。架构师模式 + Thinking-2507 变体是强力组合,因为 Qwen3 的推理痕迹能清晰呈现架构权衡。配置与 OpenAI 兼容相同。

Claude Code(使用自定义端点)

Claude Code 接受非官方指南中的 OPENAI_BASE_URL 覆盖。Qwen3 235B A22B 是在 Claude Code 自身 SWE-bench 评估中最接近 Claude Sonnet 的开源模型。注意工具格式兼容性,部分 Claude Code 内部工具假设使用 Anthropic 风格的函数调用。

编码智能体使用场景

本模型 + 智能体工具栈可实际交付的工作场景。

我们在 Qwen3 235B A22B 上部署的研究智能体

256K 上下文(Thinking-2507 变体)使 Qwen3 235B A22B 成为深度研究最强开源模型之一。

Qwen-Agent

内置 RAG、代码解释器、MCP。单次 pip install 即可获得完整智能体工具栈。如果买家已确定使用 Qwen 系列,这是最佳研究起点。

GPT Researcher

将 OPENAI_BASE_URL 指向 vLLM。Qwen3 的指令遵循能力(Qwen 3.5 在 IFEval 达到92.6)意味着 GPT Researcher 的规划提示词可以被精确遵循。5至10个来源的报告需3至5分钟。

AnythingLLM

通用 OpenAI 提供商兼容。工作区 RAG 加 @agent 模式覆盖80%的买家使用场景。Qwen3 的工具可靠性意味着 @agent 在多工具序列中几乎不会失败。

Open WebUI

默认聊天界面。Qwen3 的混合 Thinking 切换通过 Open WebUI 的每对话设置(chat_template_kwargs.enable_thinking)友好展示。买家可对难题开启推理模式,对快速对话关闭。

LangGraph

生产研究编排。Qwen3 可靠的工具调用是差异化优势:LangGraph 状态转换无需重试逻辑即可正确触发。搭配 LangSmith 进行链路追踪。

CrewAI

基于角色的研究团队。Qwen3 235B A22B 强大的指令遵循能力意味着 CrewAI 的角色和目标文本无需提示工程开销即可被遵守。

LlamaIndex

最佳检索搭配。在 Qwen-Agent 或 LangGraph 工作流中使用 LlamaIndex 查询引擎作为工具。256K 上下文允许保留比典型 RAG 大得多的检索块窗口。

DSPy

提示词优化。DSPy 的编译步骤在 Qwen3 上效果异常好,因为模型能精确遵循结构化少样本模式。使用 DSPy 优化问题分解提示词,然后通过 LangGraph 部署。

研究智能体使用场景

本模型 + 研究智能体工具栈可实际交付团队使用的报告场景。

我们为生产智能体工作流交付的框架

按工作流形态选择框架。

Qwen-Agent

原生 Qwen 智能体框架,集成 MCP、RAG、代码解释器和 Gradio 界面。

LangGraph

生产级有状态编排。与 Qwen3 可靠工具调用配合最佳。

CrewAI

基于角色的团队。借助 Qwen3 的指令遵循能力演示最快捷。

DSPy

提示词编译。与 Qwen3 的结构化格式遵循能力配合强劲。

Pydantic AI

类型安全智能体。Qwen3 结构化输出可靠性非常契合。

LlamaIndex

检索层。搭配 Qwen3 256K 上下文处理大型检索块。

谁应该选择 Qwen3 235B A22B

三类最适合本模型的买家画像。

  1. 跨国律师事务所,80名律师,5个办公室

    任务:英语、法语、德语、普通话的跨境合同审查及文件发现。成效:119种语言覆盖替代三个独立翻译工具。Apache 2.0 意味着向客户门户重新分发无任何法律障碍。

  2. 软件咨询公司,40名工程师

    任务:跨多种语言和框架的代码生成、代码审查和智能体重构。成效:LiveCodeBench v5 70.7 和 CodeForces 2056 超越所有稠密开源模型。对复杂问题使用 Hybrid Thinking 模式,自动补全使用 Non-Thinking 模式。

  3. 制药研究机构,12名科学家

    任务:文献综合、假设生成、内部文档的 GPQA 级别 STEM 问答。成效:在专家 STEM 领域 SuperGPQA 领先 DeepSeek-V3 和 Llama-4。256K 上下文处理完整临床试验档案。

客户在发布后说了什么

来自做决定时在场的人的反馈。

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
Three drivers called out on the same morning. The system reassigned every route before I finished my coffee. That used to take two hours of phone calls.
James, Fleet ManagerDallas
They did not ask us to trust a rewrite plan. They proved one critical workflow first, then scaled from evidence.
Fatima, CTOSydney

Qwen3 235B A22B 与最近竞品的对比

本模型的优势与劣势。

对比 DeepSeek V3.2

DeepSeek V3.2(671B MoE,37B 激活)在顶端数学和代码上胜出。Qwen3 235B 在内存占用(Q4 时143GB 对比376GB)和任何没有8x H100 预算的公司的硬件可及性上胜出。

对比 Llama 3.3 70B

Qwen3 235B 在推理、编码、多语言和基准测试上全面胜出。Llama 3.3 70B 在部署简单性、硬件门槛和生态成熟度上胜出。8至15人公司选 Llama,30人以上、质量是约束条件的选 Qwen3 235B。

对比 Mistral Large 3(675B MoE)

Mistral Large 3 在 Apache 2.0 加一流多模态视觉上胜出。Qwen3 235B 在硬件占用(Q4 时143GB 对比370GB)和公司无需企业级 GPU 节点即可自托管的可行性上胜出。

Pineido 如何在 Qwen3 235B A22B 上配置智能体

第4天 vLLM(或 SGLang)以工具调用和推理解析器服务模型。

第4天

vLLM 以 tensor-parallel-size 8 服务 Qwen3-235B-A22B-Instruct-2507,max-model-len 131072(Thinking-2507 支持256K),Thinking 变体启用 --enable-reasoning --reasoning-parser deepseek_r1。FP8 变体适合 8xH100。

第6天

编辑器智能体(Aider、Cline、Continue.dev、Roo Code)接入 /v1。所有工具均使用 OpenAI 兼容配置。工具调用是所有开源模型中最稳定的,几乎不需要重试逻辑。

第8天

Open WebUI 加 AnythingLLM 上线。通过 chat_template_kwargs.enable_thinking 按对话展示 Hybrid Thinking 切换。工作区隔离敏感文档集。

第9天

安装 Qwen-Agent(pip install -U qwen-agent[gui,rag,code_interpreter,mcp])。为文件系统、时间、fetch 和内部 API 配置 MCP 服务器。

第10天

LangGraph 生产研究工作流。交付三个工作流:深度研究、代码审查、客户接待。开启 LangSmith 追踪。

第12天

OpenHands 仓库自主能力针对三个真实任务演示。预期 SWE-bench 通过率约60%,基于235B Instruct 底座。

第14天

交付含工具调用成功率、吞吐量数据、精度抽查、操作手册和智能体清单的合规证据包。

我们如何在14天内部署 Qwen3 235B A22B

固定费用。

第1天

确认硬件配置。128GB Mac 处于边缘(仅支持 IQ4_XS)。256GB 以上 Mac 或多卡 GPU 是真实门槛。在实际工作负载上对比 Thinking 和 Non-Thinking 模式。

第4天

GPU 通过 vLLM 以 FP8 部署,Mac 通过 MLX 以 Q4 部署。接入 OpenAI 兼容 API。按路由或用户角色配置 Thinking 模式切换。

第9天

配置多语言 BGE-M3 向量和 Qdrant 的 RAG。SSO、审计日志、RBAC、用于成本监控的专家路由遥测。

第14天

渗透测试通过。Apache 2.0 NOTICE 文件提交。生产切换。产品界面无需添加署名字符串。

235B 总量,每 token 激活 22B(MoE) 参数量

预约30分钟评估通话。在签约前,我们告诉你 Qwen3 235B A22B 加我们的智能体工具栈是否是正确选择。

固定费用。

第1天你看到确切的模型、确切的硬件、确切的智能体工具栈、确切的成本核算和确切的合规态势。

你将带走

  1. 第0天(本周):30分钟评估通话。硬件候选清单、模型选择、智能体工具栈提案、成本预测于周五发至你的邮箱
  2. 第1天:确认硬件配置。128GB Mac 处于边缘(仅支持 IQ4_XS)。256GB 以上 Mac 或多卡 GPU 是真实门槛。在实际工作负载上对比 Thinking 和 Non-Thinking 模式。

决定我们是否适合您的问题

Qwen3 235B 商业使用真的完全免费吗?

是的。Apache 2.0,无月活上限,无需在产品中署名,无付费层级。你可以微调、重新分发、商业产品中使用、嵌入客户交付物,无需联系阿里巴巴。唯一要求是在源码发行版中保留 Apache 2.0 NOTICE 文件,这是一项一行代码的法律任务。

运行 Qwen3 235B 实际需要什么硬件?

Mac Studio M3 Ultra 256GB 以 Q4_K_M 是最便宜的可行路径,单用户解码速度15至22 token/秒。128GB Mac 需要 IQ4_XS,且超过40K 上下文后空间不足。多用户生产环境目标是2x RTX Pro 6000 Blackwell 96GB 或4x H200 节点配合 FP8。

Thinking 和 Non-Thinking 模式有什么区别,各适用于什么场景?

Thinking 模式在回答前运行内部思维链,速度较慢但在数学、代码和多步推理上更强。Non-Thinking 是直接响应,速度更快,适合对话、起草和工具调用。2507 Instruct 变体默认为 Non-Thinking。将难题路由到 Thinking,日常任务路由到 Non-Thinking,你的每元 token 效率提升3至5倍。

我们应该部署 Qwen3 235B 还是 DeepSeek V3.2?

DeepSeek V3.2 在最难推理和 IMO 级数学上胜出。Qwen3 235B 在硬件门槛(Q4 时143GB 对比376GB)、多语言覆盖和部署简单性上胜出。对于任何没有闲置8x H100 集群的公司,Qwen3 235B 是实际可行的选择。

为什么 Qwen3 235B A22B 的工具调用被认为是最可靠的开源选项?

Qwen3 的后训练流水线专门针对智能体能力、指令遵循和格式遵循进行了20多个通用领域任务的强化学习。结果是2026年基准测试中所有开源模型中最低的工具调用幻觉率,聊天模板原生编码了 OpenAI 兼容工具格式和 MCP。在 Pineido 的冲刺中,我们观察到 Qwen3 比 Llama 或 Mistral 的重试循环错误明显更少。

我们应该使用 Qwen3-235B-A22B-Instruct-2507 还是 Thinking-2507?

两者都要。Pineido 将 Instruct-2507 部署为默认端点,因为它更快且跳过思维 token。我们在另一个端口部署 Thinking-2507 用于难题。两个模型共享架构,vLLM 可以并排服务。Cline、Roo Code 和 Open WebUI 可以按任务路由。Thinking 变体在难推理基准上得分高出约7至12分,但每次响应慢约3倍。

作者创始人兼 Imaginator

Pineido, 总部位于 Strumica, North Macedonia, 是一家软件公司,为国内外企业开发网站、网店、网页与移动应用、业务自动化和 AI。工作以 30 天冲刺、固定价格交付,代码归客户所有。

发布于 更新于