- 26B total / 3.8B active (MoE) 参数量
- 256K tokens 上下文窗口
- 14 d 生产切换
Gemma 4 (26B A4B) 一览
在挑选模型和硬件时真正重要的规格。
参数量
总计 25.2B,每 token 激活 3.8B(MoE)
专家
共 128 个,每 token 激活 8 个 + 1 个共享专家
上下文窗口
256K tokens
架构
局部滑窗 + 全局混合注意力,Per-Layer Embeddings,p-RoPE
模态
文本 + 图像输入,文本输出
语言
开箱即用 35+ 种,预训练覆盖 140+ 种
许可证
Apache 2.0(完全商用,允许再分发)
Q4_K_M 显存
~18GB(模型)+ 256K 下 ~5GB KV 缓存
BF16 显存
~52GB
发布日期
2026-04-09
客户在发布后说了什么
来自做决定时在场的人的反馈。
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
They did not ask us to trust a rewrite plan. They proved one critical workflow first, then scaled from evidence.
We had compliance docs in four different folders and two people who "knew where things were." Now everything is in one place with automatic expiry alerts.
能在生产中运行 Gemma 4 (26B A4B) 的硬件
三个分级,真实 SKU,真实吞吐数字。
-
入门级:RTX 4090 24GB、RTX 5080 16GB 在 Q4(紧张)、Mac Studio M3 Ultra 96GB
吞吐:RTX 4090 上 Q4_K_M 为 40 到 80 tok/s。最适合:单人开发者、对长文档的本地 RAG、多模态抽取。
-
中级:1x A6000 48GB 在 Q5 或 BF16、1x H100 80GB 在 BF16 配完整 256K 上下文
吞吐:单流 100 到 200 tok/s,批处理 500+ tok/s。最适合:小团队自托管、智能体式工作流、内部多模态助手。
-
企业级:2x 到 4x H100 配 vLLM 张量并行、批处理服务
吞吐:FP8 下批处理 1000+ tok/s。最适合:多租户 API 服务、文档理解流水线、智能体平台。
本模型的量化选择
GGUF、AWQ、FP8、INT4。
推荐量化
24GB 消费级 GPU 用 Q4_K_M。Unsloth 的 UD-Q4_K_XL 是最佳的 24GB 目标。若有 48GB+ 则用 BF16。
权衡
由于专家更小,MoE 模型比稠密模型对激进量化略微更敏感。Q4_K_M 是甜点。Q3 会明显劣化智能体和工具使用任务。若显存有富余,Q5_K_M 是稳妥选择。
BF16
文件大小:未指定。
Q8_0
文件大小:未指定。
Q5_K_M
文件大小:未指定。
Q4_K_M
文件大小:未指定。
我们为 Gemma 4 (26B A4B) 接入的编码智能体
Gemma 4 26B A4B MoE 是 2026 年开源权重池中最好的单 GPU 智能体模型。
Aider
契合度高。Aider Polyglot 在 Gemma 4 26B 上约为 52 到 58%(请在 aider.chat 排行榜核实)。256K 上下文意味着仓库映射加 diff 历史能宽裕容纳。diff edit 格式工作可靠。
Continue.dev
第一天即支持 Ollama。在 24GB 卡上同时用作 tabAutocompleteModel 和聊天模型。4B 激活参数的有效速度让自动补全延迟真正可用,首 token 为 80 到 150 毫秒。
Cline
原生函数调用让 Cline 的多步编排无需 monkey-patch 即可工作。256K 上下文能毫无压力地吸收 Cline 冗长的系统 prompt。Gemma 4 上最佳的小店自主编码智能体。
Cursor(经 Ollama 代理 BYOK)
通过 OpenAI 兼容的本地代理可用。Cursor 的第一方 Composer 更快,但 Gemma 4 加 Cursor BYOK 是面向受监管买家的隐私优先选项。
Roo Code
带模式分离的 Cline 分支。Architect 模式加 Code 模式都能在 Gemma 4 上工作。对于再分发智能体栈的小型咨询公司,Apache 2.0 许可比 Llama Community License 更简单。
smolagents
CodeAgent 模式与 Gemma 4 的推理能力配合良好。轻量、无 LangChain 依赖、上线快。适合在 Jupyter notebook 中做一次性的编码智能体。
编码智能体用例
这个模型 + 智能体栈在哪里交付真实成果。
我们在 Gemma 4 (26B A4B) 上部署的研究智能体
256K 上下文加原生工具调用加 Apache 2.0 加单 GPU 效率,使 Gemma 4 26B A4B 成为小团队开源权重研究智能体的默认选择。
GPT Researcher
经 Ollama 的 OpenAI 兼容端点即插即用。256K 上下文无需 RAG 即可处理 100K token 的研究简报。在 STEM 主题上的综合质量与 GPT-4o 和 Sonnet 4 确有竞争力。
STORM (Stanford)
维基百科风格的文章生成。Gemma 4 的推理深度能很好地处理多视角问题生成阶段。上线干净。
LangGraph deep-research
参考的深度研究模板可在 24GB GPU 上本地运行。原生工具调用意味着 planner-researcher-writer 图节点无需 prompt 工程税。
CrewAI
在单一 Ollama 后端上运行 researcher-writer-critic 智能体团队。LiteLLM 代理处理路由。若你把这个团队作为产品交付,Apache 2.0 简化了再分发。
Open Deep Research (HuggingFace)
基于 smolagents 的 OpenAI Deep Research 克隆。Gemma 4 加这个栈是当下开源权重池中最便宜且可信的深度研究智能体。
Pydantic AI deep research
带严格 schema 校验的类型化智能体运行时。Gemma 4 的原生函数调用意味着工具调用能通过 Pydantic V2 干净校验。适合生产级研究流水线。
研究智能体用例
这个模型 + 研究智能体栈在哪里交付你团队真正会用的报告。
我们为生产级智能体工作流安装的框架
按工作流形态选框架。
CrewAI
AutoGen
DSPy
Pydantic AI
LlamaIndex
谁会选 Gemma 4 (26B A4B)
三类买家画像,这个模型正是正确答案。
-
长上下文文档分析师
任务:阅读 200 页 PDF、合同审阅、跨数千文件的代码库问答。结果:256K 上下文加混合注意力加图像输入,在单块 24GB GPU 上处理真实文档工作负载。
-
端侧智能体平台
任务:带函数输出和图像定位的多步工具调用。结果:原生函数调用、3.8B 激活的快速推理和 Apache 2.0 许可,使其成为同类中最干净的智能体后端。
-
受监管的中小企业自托管
任务:为不能外发数据的法律、医疗或金融团队替换 OpenAI API。结果:Apache 2.0 意味着无需对自定义条款做法律审查,MoE 效率意味着单台工作站即可承载小团队负载。
Gemma 4 (26B A4B) 对比最接近的竞争者
这个模型在哪里赢,在哪里输。
对比 Mistral Small 22B (Mistral Small 3)
Mistral Small 是稠密的、服务更简单,也同样拥有宽松的 Apache 2.0 许可。Gemma 4 26B A4B 在数学和科学推理、长上下文(256K vs 32K)以及 Mistral Small 所不具备的多模态图像输入上胜出。Mistral 在小批量下的原始单流速度以及服务稠密模型的简单性上胜出。如果你从不接触图像或长文档就选 Mistral,否则 Gemma 4 是更强的工作站默认选择。
对比 Qwen3 32B
Qwen3 32B 是稠密的、中文覆盖更强,并在部分编码基准上以微弱优势胜出。Gemma 4 26B A4B 在推理效率(3.8B 激活 vs 32B 稠密)、Apache 2.0 许可清晰度和多模态支持上胜出。
对比 Gemma 3 27B
Gemma 4 26B A4B 在代码(LiveCodeBench v6 从 29.1% 跃升至 77.1%)、长上下文召回(RULER 128K 从 13.5% 到 66.4%)、数学和智能体式工具使用上以巨大优势超越 Gemma 3 27B,同时凭借 MoE 稀疏性运行快得多,并把自定义 Gemma 许可换成 Apache 2.0。2026 年没有理由用 Gemma 3 27B 代替 Gemma 4 26B A4B。
Pineido 如何在 Gemma 4 26B A4B 上配置智能体
为期两周的 sprint。
第 1 天
硬件决策。RTX 5090 32GB(Q4 可装下并留 KV 缓存余量)、RTX Pro 6000 96GB(FP16 配 256K 上下文)或 Mac Studio M3 Ultra 128GB。Apache 2.0 许可审查(无需,但为客户存档)。
第 3 天
拉取 Ollama 加 Gemma 4 26B。经 /api/chat 用工具 schema 测试原生函数调用。延迟基线:解码 30 到 50 tok/s,首 token 80 到 150 毫秒。
第 6 天
选定智能体框架。LangGraph 用于图结构工作流,Pydantic AI 用于类型化工具抽取,CrewAI 用于委派模式。原生工具调用接入,无需 prompt 模板 hack。
第 8 天
256K 上下文利用计划。调优仓库映射大小,设置 RAG 检索阈值使上下文保持在 200K 以下(安全余量)。索引长上下文检索嵌入(BGE-M3 或类似)。
第 10 天
在冻结的客户任务套件上做评估框架。工具调用成功率、schema 符合率、端到端任务通过率。SLA:95% 工具调用成功,99% schema 符合。
第 14 天
生产切换。前置 SSO 与审计日志。交付 Apache 2.0 归属(NOTICE 文件)。单机部署意味着单点故障,记录恢复方案。
我们如何在 14 天内部署 Gemma 4 (26B A4B)
固定费用。
第 1 天
在 Hugging Face 上拉取 Unsloth UD-Q4_K_XL GGUF。确认你的 GPU 有 24GB+ 显存。通过 llama.cpp 用 -ngl 99 运行冒烟测试。
第 2 天
迁移到 Ollama 或 vLLM 进行生产服务。仅在工作负载需要时配置 256K 上下文(KV 缓存线性增长),否则限制在 32K 到 64K 以留出显存余量。
第 3 到 5 天
测试多模态:将图像送入视觉编码器,验证 OCR 与边界框输出。为你的工具 schema 接入原生函数调用。
第 2 周
与你之前的模型做基准对比。测量每百万 token 成本、你评估集上的质量以及工具调用成功率。以 10% 灰度发布上线。
决定我们是否适合您的问题
等等,到底是 27B 还是 26B A4B?
Gemma 3 是 27B 稠密。Gemma 4 的工作站档发布为 26B A4B(MoE)和 31B 稠密。26B A4B 是更接近 24GB 单 GPU 的目标。不存在 Gemma 4 27B。
切换到 Apache 2.0 改变了什么?
Gemma 3 使用带有 Google 可单方面更新的「禁止使用政策」的自定义 Google 许可。Gemma 4 在标准 Apache 2.0 下发布。没有自定义条款,没有可接受使用的特殊排除,法务团队无需审查负担。这是此次发布中最大的实际变化。
MoE 架构是否让部署更难?
略微。全部 25.2B 参数都必须装入内存,但每 token 仅激活 3.8B,所以你付的是稠密的内存成本和稀疏的计算成本。截至 2026 年中,llama.cpp、vLLM、SGLang 和 Ollama 都已原生支持 Gemma 4 MoE。有一个真实的坑:在 Ada 代显卡如 RTX 4090 上,vLLM 可能会自动选择较慢的 TRITON_ATTN 后端,因为 Gemma 4 使用了异构的注意力头维度,这会拖慢吞吐。请通过 Ollama 或打过补丁的 vLLM 构建来服务,并开启 Multi-Token Prediction(2026 年 6 月已加入 GGUF)以获得 1.4 到 2.2 倍的解码加速且无精度损失。
我该选 Gemma 4 而非 Mistral Small 或 Qwen3 吗?
对于长上下文、多模态以及英语及西方语境的工作负载,是的。如果你不需要 256K 或图像,Mistral Small 在简单性上胜出。Qwen3 在中文工作上胜出,或当你想要完全稠密架构以获得可预测延迟时胜出。
Gemma 4 26B A4B 真的开箱即支持原生函数调用吗?
是的。Gemma 4 在聊天模板中引入了原生工具调用支持,区别于早期需要 prompt 工程来做 ReAct 风格函数调用的 Gemma 世代。Ollama 的 /api/chat 端点返回结构化的 tool_calls 块,LangChain 的 ChatLlamaCpp 和 ChatOllama 封装暴露原生 bind_tools,Pydantic AI 的类型化工具模式无需自定义适配器即可工作。在简单工具 schema 上命中率约为 96 到 99%,在深度嵌套参数上降至 88 到 92%。
我们的智能体工作流该部署 Gemma 4 26B A4B 还是 31B Dense?
90% 的智能体工作负载选 26B A4B。MoE 架构每 token 激活 3.8B 参数,以约 8 倍更快的解码提供接近 31B 的质量。这种速度优势会在一个智能体每任务 10 到 50 次 LLM 调用中累积放大。仅在微调工作流,或在 Arena Elo 微小差距确实重要的最严苛推理任务时才选 31B Dense。Gemma 4 26B A4B 是生产默认选择。
26B total / 3.8B active (MoE) 参数量
预约 30 分钟的范围沟通电话。在你签约前,我们会告诉你 Gemma 4 (26B A4B) 加我们的智能体栈是否是正确选择。
固定费用。
第 1 天你就看到确切的模型、确切的硬件、确切的智能体栈、确切的成本测算和确切的合规态势。
你将带走
- 第 0 天(本周):30 分钟范围沟通电话。硬件候选清单、模型选择、智能体栈方案、成本预测将在周五前送达你的收件箱
- 第 1 天:在 Hugging Face 上拉取 Unsloth UD-Q4_K_XL GGUF。确认你的 GPU 有 24GB+ 显存。通过 llama.cpp 用 -ngl 99 运行冒烟测试。
作者Kostadin Stamboliev创始人兼 Imaginator
Pineido, 总部位于 Strumica, North Macedonia, 是一家软件公司,为国内外企业开发网站、网店、网页与移动应用、业务自动化和 AI。工作以 30 天冲刺、固定价格交付,代码归客户所有。
发布于 更新于