在自有硬件上部署 Mistral Large 3, 智能体套件上线,14 天生产就绪

Mistral Large 3 是 2026 年西方实验室最强的开放权重模型。于 2025 年 12 月 2 日在 Apache 2.0 下发布,它是一个拥有 6750 亿参数的细粒度 MoE,每 token 410 亿激活参数,外加一个 25 亿参数的视觉编码器,以及 256K 上下文。

  • 14 天生产切换
  • 包含编程 + 研究智能体套件
  • 6750 亿总参数,每 token 激活 410 亿(MoE),25 亿视觉编码器 参数量
  • 256K tokens 上下文窗口
  • 14 天 生产切换

Mistral Large 3 一览

选择模型和硬件时最关键的规格。

参数量

6750 亿总参数,每 token 激活 410 亿,加上 25 亿视觉编码器

架构

细粒度 MoE,多模态(文本 + 视觉)

上下文窗口

256K tokens

许可证

Apache 2.0

发布日期

2025 年 12 月 2 日

训练算力

3000 块 NVIDIA H200 GPU

MMLU-Pro

73.1(独立评测)

MATH-500

93.6

输出速度(Artificial Analysis)

约 38 tok/s

最低显存(NVFP4)

约 340GB,8x A100/H100/B200

最低显存(FP8)

约 675GB,8x H200 节点

最低显存(Q3_K_S)

244GB

可在生产环境运行 Mistral Large 3 的硬件

三个层级,真实 SKU,真实吞吐数字。

入门层:4x RTX 4090/5090 + Ollama Q4 GGUF

吞吐量:10-25 token/秒。最适合:仅限实验室和试点工作,不适用于生产服务。对于中小企业,更好的做法是在单 GPU 上使用 Mistral 3 14B 或 8B 同系列模型。

中端层:8x A100 80GB 或 8x H100 + NVFP4(15-20 万美元)

吞吐量:60-120 token/秒。最适合:20-50 用户的公司,在最高 64K 上下文下运行视觉加文本,使用带 --tensor-parallel-size 4 和 Mistral 工具解析器的 vLLM。在 A100/H100 上,NVFP4 通过 Marlin FP4 回退路径运行(节省内存,但相对 FP8 无加速)。

企业层:8x H200 SXM 141GB(25-30 万美元)或 8x B200(30 万美元以上)

吞吐:150-300 tokens/秒。适用:完整 256K 上下文生产,多租户部署,带视觉的智能体工作流。

此模型的量化选择

GGUF、AWQ、FP8、INT4。

推荐量化

NVFP4 用于 H100 或 A100 上低于 64K 上下文的生产(文本上近乎无损,内存为 FP8 的一半,tensor-parallel-size 4)。FP8 用于 8x H200 节点上的完整 256K 上下文,以及计划进行微调时。GGUF Q4 仅用于实验室和离线批处理工作。

权衡

NVFP4 主要基于文本校准,因此预期在视觉数据集上出现轻微回退,并在超过 64K 上下文后出现质量下降,而这正是切换到 FP8 的节点。在 A100 或 H100 上,vLLM 回退到 Marlin FP4:你保留了内存收益,但相对 FP8 没有加速,只有 B200 拥有原生 NVFP4 加速路径。FP8 也是微调时更精确的选择。GGUF Q4 可用,但在消费级 GPU 上吞吐量受带宽限制,且工具调用解析器需要 Mistral 专用配置。25 亿参数的视觉编码器无论 LLM 量化如何,都以 FP16 运行。

NVFP4

文件大小:约 340GB。

FP8

文件大小:约 675GB。

GGUF Q3_K_S

文件大小:244GB。

GGUF Q4

文件大小:370GB。

我们为 Mistral Large 3 接入的编程智能体

于 2025 年 12 月 2 日在 Apache 2.0 下发布,410 亿激活 / 6750 亿总参数 MoE,256K 上下文,原生函数调用和 JSON 输出。

Mistral Vibe CLI

Mistral 官方智能体 CLI。npm install -g @mistralai/vibe-cli。原生支持 Mistral 工具格式,提供 Zed 扩展。在买家已使用 Mistral 企业版时,这是最顺畅的第一方体验。

Cline

Mistral 是 Cline 的一级提供商。OpenAI 兼容配置可对接您的 vLLM 端点。Cline 认可 Devstral 2 的工具调用可靠性,Mistral Large 3 继承相同的聊天模板。Plan 和 Act 模式均可正常使用。

Aider

Mistral Large 3 原生支持:托管版使用 aider --model mistralai/mistral-large-3 --api-key $MISTRAL_API_KEY,自托管使用 --openai-api-base http://your-vllm:8000/v1。编辑格式在 Python、TypeScript、Go 中均可正常应用。

Continue.dev

config.yaml 使用 provider: mistral 或 openai(自定义 apiBase)。声明 capabilities: [tool_use, image_input] 启用多模态旗舰功能。chat 和 edit 角色均可用;自动补全角色配合较小的快速模型效果更佳。

Roo Code

Cline 的 fork。相同的 OpenAI 兼容配置。多模式(Code、Architect、Ask、Debug)均可使用。Mistral Large 3 的 256K 上下文解锁 Architect 模式的完整仓库上下文规划。

OpenHands

可用,但 Devstral 2 是更适合仓库自主任务的 Mistral 模型。仅在部署整合为单一模型时使用 Mistral Large 3。将 LLM_BASE_URL 设为 vLLM,SWE-bench Verified 通过率预计在 35% 至 45%。

Mistral Code

Mistral 企业编程套件:IDE 助手、模型、本地部署、支持服务。封装了 Mistral Large 3、Devstral 2 和工具链。适用于买家希望获得厂商支持的完整产品而非自行拼装的场景。

编程智能体使用场景

此模型 + 智能体套件能交付真实成果的场景。

我们在 Mistral Large 3 上部署的研究智能体

256K 上下文可处理深度文档综合。

GPT Researcher

标准 OPENAI_BASE_URL 覆盖。Mistral Large 3 指令遵循能力强,GPT Researcher 的规划执行模式无需调整提示词即可正常工作。5-10 个来源的报告运行时间为 4-7 分钟。

AnythingLLM

通用 OpenAI 提供商可正常工作。Mistral 的 parallel_tool_calls 标志允许 @agent 模式每轮调用多个工具,加速多工具研究工作流。

Open WebUI

文档上传、网页搜索、函数调用均可正常使用。256K 上下文是多文档研究聊天的突出优势。配合 Mistral EAGLE 推测解码可加快流式响应。

LangGraph

生产级研究编排。Mistral Large 3 的 256K 上下文让 LangGraph 在不压缩检查点的情况下维持更长的智能体状态。langchain-mistral 或带 apiBase 覆盖的 langchain-openai 均可使用。

CrewAI

基于角色的协作团队。Mistral Large 3 强大的指令遵循和并行工具调用非常适合 CrewAI 的顺序模式。在 agent 配置中设置 llm。

AutoGen / AG2

GroupChat 可正常工作。256K 上下文比 DeepSeek V3.2 的 128K 能吸收更多辩论历史。Mistral 较慢的输出速度(约 38 t/s)是多智能体辩论的瓶颈。

LlamaIndex

混合架构:LlamaIndex 查询引擎作为 LangGraph 或 AutoGen 工作流中的工具。Mistral 严格函数调用模式与 LlamaIndex 结构化工具定义配合良好。

研究智能体使用场景

此模型 + 研究智能体套件能产出团队真正使用报告的场景。

我们为生产智能体工作流交付的框架

按工作流形态选择框架。

LangGraph

生产编排。256K 上下文加 LangGraph 检查点可处理超长工作流。

CrewAI

启用并行工具调用的顺序协作团队。

AutoGen / AG2

GroupChat。Mistral 较慢的输出速度是辩论密集型模式的瓶颈。

DSPy

提示词编译。与 Mistral 严格格式遵循配合良好。

Pydantic AI

类型安全智能体。Mistral Guidance(lark 语法)和 Pydantic AI 都以结构化输出为目标。

谁会选择 Mistral Large 3

三类此模型是正确答案的买家画像。

  1. 欧洲律所,60 名律师,欧盟多语言业务

    任务:多语言合同审查、基于视觉的文档录入(扫描 PDF、证据材料)、智能体发现。成果:Apache 2.0 加上 Mistral 的欧盟来源简化 GDPR 合规立场。单一模型同时处理视觉和文本,减少一层流水线胶水代码。

  2. 医学影像咨询机构,15 名放射科医生

    任务:图像条件报告起草,对去标识化 DICOM 导出文件进行视觉文本问答。成果:开权重模型中的第一方多模态,完全兼容 HIPAA 的自托管。256K 上下文处理长期纵向病例。

  3. 金融服务平台,90 人工程团队

    任务:文档录入(视觉 OCR 加推理)、多语言 KYC、原生工具调用的智能体工作流。成果:Apache 2.0 再分发权允许公司将模型嵌入面向客户的产品,无按席位许可摩擦。

Mistral Large 3 与最近竞品比较

此模型胜出的场景和劣势场景。

vs DeepSeek V3.2

DeepSeek V3.2 在最难推理和定理证明上胜出。Mistral Large 3 在多模态(原生视觉)、Apache 2.0 简洁性(DeepSeek 是 MIT,相当,但 Mistral 在西方企业中更受认可)以及 256K vs 128K 上下文上胜出。

vs Qwen3 235B A22B

Qwen3 235B 在硬件门槛(Q4 143GB vs 370GB)和纯推理基准上胜出。Mistral Large 3 在多模态视觉和训练来源透明度(3000 块 H200,完全公开)上胜出,对风险厌恶型买家更有吸引力。

vs Llama 3.3 70B

不同级别。Llama 3.3 70B 可在 7000 美元的 Mac 上单机部署。Mistral Large 3 需要 8x H200 节点。SMB 自托管选 Llama,前沿质量 + 视觉 + Apache 2.0 都需要时选 Mistral Large 3。

Pineido 如何在 Mistral Large 3 上部署智能体

第 4 天 vLLM 使用 mistral tool-call parser 和三个必填 mistral 标志为 Mistral Large 3 提供服务。

第 4 天

vLLM 使用 --tokenizer_mode mistral、--config_format mistral、--load_format mistral、--enable-auto-tool-choice、--tool-call-parser mistral、--max-model-len 32768(验证内存余量后提升)、--tensor-parallel-size 8 为 Mistral Large 3 提供服务。mistral_common >= 1.8.6 必须安装,否则工具调用失效。推理使用 NVFP4,微调使用 FP8。

第 5 天

接入 EAGLE 推测解码,使用伴随模型 mistralai/Mistral-Large-3-675B-Instruct-2512-Eagle,num_speculative_tokens: 3。吞吐提升而不影响输出质量。

第 6 天

接入编辑器智能体。Aider 通过 --model mistralai/mistral-large-3,Cline 作为 Mistral 提供商,Continue.dev 使用 provider: mistral,Roo Code 使用 OpenAI 兼容配置。根据 Mistral 1.10.0 版本启用严格函数调用。

第 8 天

Open WebUI 加 AnythingLLM 上线。文档上传支持图像多模态。工作区隔离敏感文档集。

第 10 天

LangGraph 工作流。交付三个工作流:深度研究、代码审查、客户录入。Mistral Guidance lark 语法模式验证接入结构化输出节点。

第 12 天

Mistral Code(厂商支持套件)或 OpenHands 仓库自主任务。对编程需求大的买家,我们同时部署 Devstral 2,因为 Devstral 2 主导编程任务(SWE-bench Verified 72.2%)。

第 14 天

Prometheus 指标仪表盘(vllm:num_requests_waiting、gpu_cache_usage_perc、time_to_first_token_seconds),证据包、运行手册和智能体清单交付。

客户在发布后说了什么

来自做决定时在场的人的反馈。

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
We didn't rush. We just stopped wasting time on things that didn't matter. The risk was managed, not ignored.
Kwame, Digital DirectorSingapore
The Firebase-to-Supabase migration sounded terrifying. They moved 200k users without a single support ticket. We were live in 19 days.
Aisha, Engineering LeadToronto

我们如何在 14 天内部署 Mistral Large 3

固定费用。

第 1 天

硬件审计。确认 8x H100/H200/B200 节点。根据上下文长度需求选择 NVFP4 或 FP8。运行真实提示,包括视觉任务(如适用)。

第 4 天

通过 vLLM 使用 Mistral tokenizer/config/load 格式提供服务。启用 tool-call parser('mistral')。设置包含工具描述的系统提示。生产环境温度设为 0.1。

第 9 天

RAG 配合视觉检索(如需要)。SSO、审计、RBAC。若不需要完整 256K,调整 max-model-len 至 32K 或 64K(节省大量 KV 缓存内存)。

第 14 天

渗透测试通过。Apache 2.0 NOTICE 存档。生产切换。如与 GDPR 相关,确认欧盟驻地合规。

决定我们是否适合您的问题

Mistral Large 3 使用什么许可证?

Apache 2.0,包括基础版和指令微调版。没有使用限制,没有衍生作品条款,没有按收入的上限。是 2026 年最宽松的开放权重旗舰模型。当买家要求 Apache 2.0 或 MIT 时,Pineido 会特别推荐 Mistral Large 3(一些规避风险的买家,会拒绝 Llama 的 Acceptable Use Policy,或对 DeepSeek 带有中国管辖权的 MIT 有所顾虑)。

Mistral Large 3 生产环境的实际最低硬件是什么?

8x A100 80GB 或 8x H100 + NVFP4 权重是实际门槛,资本支出约 15-20 万美元。低于此配置,您将在多 GPU 消费级显卡(4x RTX 5090 或类似)上运行 Q4 GGUF,性能大幅下降。对于用户少于 30 人且不需要完整 6750 亿参数的企业,较小的兄弟模型(Mistral 3 14B、8B、3B)在单 GPU 上通常是正确选择。

Mistral Large 3 的视觉能力是否真的可用?

是的。25 亿参数视觉编码器是原生集成的,不是附加组件。可处理扫描 PDF、图表、示意图、照片和纵向多图像案例。最佳效果:保持宽高比接近 1:1,无论 LLM 量化如何都以 FP16 运行视觉编码器。这是首批原生具备视觉和多语言能力的开放前沿模型之一。

我们应该部署 Mistral Large 3 还是 DeepSeek V3.2?

两者都是企业硬件上的 6700 亿级 MoE。需要视觉、更长上下文(256K vs 128K)或 Apache 2.0 加西方训练来源时选 Mistral Large 3。需要最高推理和定理证明性能且可以接受没有视觉时选 DeepSeek V3.2。

编程智能体应选 Mistral Large 3 还是 Devstral 2?

纯编程部署选 Devstral 2。一模型多用途部署选 Mistral Large 3。Devstral 2 的 SWE-bench Verified 72.2%,在 4 块 H100 上运行,Cline 官方认可其工具调用可靠性。Mistral Large 3 是面向希望在单一许可下使用编程、研究和文档问答的团队的通用模型(6750 亿总参数 / 410 亿激活)。Pineido 经常同时运行两者:Mistral Large 3 作为默认端点,当业务量合理时在编程通道添加 Devstral 2。

Mistral Large 3 需要哪些 vLLM 标志?

三个 Mistral 专属标志是必须的:--tokenizer_mode mistral、--config_format mistral、--load_format mistral。函数调用还需要 --enable-auto-tool-choice 和 --tool-call-parser mistral。不加 --tool-call-parser mistral,vLLM 会使用默认解析器,工具调用将返回空值。确认安装了 mistral_common >= 1.8.6,否则 tokenization 会回退到 HuggingFace 默认值并报错。锁定 vLLM >= 0.17.0。

6750 亿总参数,每 token 激活 410 亿(MoE),25 亿视觉编码器 参数量

预约 30 分钟咨询通话。我们在您签约前告知 Mistral Large 3 加智能体套件是否是正确选择。

固定费用。

第 1 天您将看到确切的模型、硬件、智能体套件、成本计算和合规立场。

你将带走

  1. 第 0 天(本周):30 分钟咨询通话。硬件候选清单、模型选择、智能体套件方案、成本预测,本周五前发送至您的邮箱
  2. 第 1 天:硬件审计。确认 8x H100/H200/B200 节点。根据上下文长度需求选择 NVFP4 或 FP8。运行真实提示,包括视觉任务(如适用)。

作者创始人兼 Imaginator

Pineido, 总部位于 Strumica, North Macedonia, 是一家软件公司,为国内外企业开发网站、网店、网页与移动应用、业务自动化和 AI。工作以 30 天冲刺、固定价格交付,代码归客户所有。

发布于 更新于