LangGraph
生产编排。256K 上下文加 LangGraph 检查点可处理超长工作流。
选择模型和硬件时最关键的规格。
6750 亿总参数,每 token 激活 410 亿,加上 25 亿视觉编码器
细粒度 MoE,多模态(文本 + 视觉)
256K tokens
Apache 2.0
2025 年 12 月 2 日
3000 块 NVIDIA H200 GPU
73.1(独立评测)
93.6
约 38 tok/s
约 340GB,8x A100/H100/B200
约 675GB,8x H200 节点
244GB
三个层级,真实 SKU,真实吞吐数字。
吞吐量:10-25 token/秒。最适合:仅限实验室和试点工作,不适用于生产服务。对于中小企业,更好的做法是在单 GPU 上使用 Mistral 3 14B 或 8B 同系列模型。
吞吐量:60-120 token/秒。最适合:20-50 用户的公司,在最高 64K 上下文下运行视觉加文本,使用带 --tensor-parallel-size 4 和 Mistral 工具解析器的 vLLM。在 A100/H100 上,NVFP4 通过 Marlin FP4 回退路径运行(节省内存,但相对 FP8 无加速)。
吞吐:150-300 tokens/秒。适用:完整 256K 上下文生产,多租户部署,带视觉的智能体工作流。
GGUF、AWQ、FP8、INT4。
NVFP4 用于 H100 或 A100 上低于 64K 上下文的生产(文本上近乎无损,内存为 FP8 的一半,tensor-parallel-size 4)。FP8 用于 8x H200 节点上的完整 256K 上下文,以及计划进行微调时。GGUF Q4 仅用于实验室和离线批处理工作。
NVFP4 主要基于文本校准,因此预期在视觉数据集上出现轻微回退,并在超过 64K 上下文后出现质量下降,而这正是切换到 FP8 的节点。在 A100 或 H100 上,vLLM 回退到 Marlin FP4:你保留了内存收益,但相对 FP8 没有加速,只有 B200 拥有原生 NVFP4 加速路径。FP8 也是微调时更精确的选择。GGUF Q4 可用,但在消费级 GPU 上吞吐量受带宽限制,且工具调用解析器需要 Mistral 专用配置。25 亿参数的视觉编码器无论 LLM 量化如何,都以 FP16 运行。
文件大小:约 340GB。
文件大小:约 675GB。
文件大小:244GB。
文件大小:370GB。
于 2025 年 12 月 2 日在 Apache 2.0 下发布,410 亿激活 / 6750 亿总参数 MoE,256K 上下文,原生函数调用和 JSON 输出。
Mistral 官方智能体 CLI。npm install -g @mistralai/vibe-cli。原生支持 Mistral 工具格式,提供 Zed 扩展。在买家已使用 Mistral 企业版时,这是最顺畅的第一方体验。
Mistral 是 Cline 的一级提供商。OpenAI 兼容配置可对接您的 vLLM 端点。Cline 认可 Devstral 2 的工具调用可靠性,Mistral Large 3 继承相同的聊天模板。Plan 和 Act 模式均可正常使用。
Mistral Large 3 原生支持:托管版使用 aider --model mistralai/mistral-large-3 --api-key $MISTRAL_API_KEY,自托管使用 --openai-api-base http://your-vllm:8000/v1。编辑格式在 Python、TypeScript、Go 中均可正常应用。
config.yaml 使用 provider: mistral 或 openai(自定义 apiBase)。声明 capabilities: [tool_use, image_input] 启用多模态旗舰功能。chat 和 edit 角色均可用;自动补全角色配合较小的快速模型效果更佳。
Cline 的 fork。相同的 OpenAI 兼容配置。多模式(Code、Architect、Ask、Debug)均可使用。Mistral Large 3 的 256K 上下文解锁 Architect 模式的完整仓库上下文规划。
可用,但 Devstral 2 是更适合仓库自主任务的 Mistral 模型。仅在部署整合为单一模型时使用 Mistral Large 3。将 LLM_BASE_URL 设为 vLLM,SWE-bench Verified 通过率预计在 35% 至 45%。
Mistral 企业编程套件:IDE 助手、模型、本地部署、支持服务。封装了 Mistral Large 3、Devstral 2 和工具链。适用于买家希望获得厂商支持的完整产品而非自行拼装的场景。
此模型 + 智能体套件能交付真实成果的场景。
256K 上下文可处理深度文档综合。
标准 OPENAI_BASE_URL 覆盖。Mistral Large 3 指令遵循能力强,GPT Researcher 的规划执行模式无需调整提示词即可正常工作。5-10 个来源的报告运行时间为 4-7 分钟。
通用 OpenAI 提供商可正常工作。Mistral 的 parallel_tool_calls 标志允许 @agent 模式每轮调用多个工具,加速多工具研究工作流。
文档上传、网页搜索、函数调用均可正常使用。256K 上下文是多文档研究聊天的突出优势。配合 Mistral EAGLE 推测解码可加快流式响应。
生产级研究编排。Mistral Large 3 的 256K 上下文让 LangGraph 在不压缩检查点的情况下维持更长的智能体状态。langchain-mistral 或带 apiBase 覆盖的 langchain-openai 均可使用。
基于角色的协作团队。Mistral Large 3 强大的指令遵循和并行工具调用非常适合 CrewAI 的顺序模式。在 agent 配置中设置 llm。
GroupChat 可正常工作。256K 上下文比 DeepSeek V3.2 的 128K 能吸收更多辩论历史。Mistral 较慢的输出速度(约 38 t/s)是多智能体辩论的瓶颈。
混合架构:LlamaIndex 查询引擎作为 LangGraph 或 AutoGen 工作流中的工具。Mistral 严格函数调用模式与 LlamaIndex 结构化工具定义配合良好。
此模型 + 研究智能体套件能产出团队真正使用报告的场景。
按工作流形态选择框架。
生产编排。256K 上下文加 LangGraph 检查点可处理超长工作流。
启用并行工具调用的顺序协作团队。
GroupChat。Mistral 较慢的输出速度是辩论密集型模式的瓶颈。
提示词编译。与 Mistral 严格格式遵循配合良好。
类型安全智能体。Mistral Guidance(lark 语法)和 Pydantic AI 都以结构化输出为目标。
检索层。与 LangGraph 编排的混合架构。
Mistral 第一方智能体 CLI,带 Zed 扩展。
三类此模型是正确答案的买家画像。
任务:多语言合同审查、基于视觉的文档录入(扫描 PDF、证据材料)、智能体发现。成果:Apache 2.0 加上 Mistral 的欧盟来源简化 GDPR 合规立场。单一模型同时处理视觉和文本,减少一层流水线胶水代码。
任务:图像条件报告起草,对去标识化 DICOM 导出文件进行视觉文本问答。成果:开权重模型中的第一方多模态,完全兼容 HIPAA 的自托管。256K 上下文处理长期纵向病例。
任务:文档录入(视觉 OCR 加推理)、多语言 KYC、原生工具调用的智能体工作流。成果:Apache 2.0 再分发权允许公司将模型嵌入面向客户的产品,无按席位许可摩擦。
此模型胜出的场景和劣势场景。
DeepSeek V3.2 在最难推理和定理证明上胜出。Mistral Large 3 在多模态(原生视觉)、Apache 2.0 简洁性(DeepSeek 是 MIT,相当,但 Mistral 在西方企业中更受认可)以及 256K vs 128K 上下文上胜出。
Qwen3 235B 在硬件门槛(Q4 143GB vs 370GB)和纯推理基准上胜出。Mistral Large 3 在多模态视觉和训练来源透明度(3000 块 H200,完全公开)上胜出,对风险厌恶型买家更有吸引力。
不同级别。Llama 3.3 70B 可在 7000 美元的 Mac 上单机部署。Mistral Large 3 需要 8x H200 节点。SMB 自托管选 Llama,前沿质量 + 视觉 + Apache 2.0 都需要时选 Mistral Large 3。
第 4 天 vLLM 使用 mistral tool-call parser 和三个必填 mistral 标志为 Mistral Large 3 提供服务。
vLLM 使用 --tokenizer_mode mistral、--config_format mistral、--load_format mistral、--enable-auto-tool-choice、--tool-call-parser mistral、--max-model-len 32768(验证内存余量后提升)、--tensor-parallel-size 8 为 Mistral Large 3 提供服务。mistral_common >= 1.8.6 必须安装,否则工具调用失效。推理使用 NVFP4,微调使用 FP8。
接入 EAGLE 推测解码,使用伴随模型 mistralai/Mistral-Large-3-675B-Instruct-2512-Eagle,num_speculative_tokens: 3。吞吐提升而不影响输出质量。
接入编辑器智能体。Aider 通过 --model mistralai/mistral-large-3,Cline 作为 Mistral 提供商,Continue.dev 使用 provider: mistral,Roo Code 使用 OpenAI 兼容配置。根据 Mistral 1.10.0 版本启用严格函数调用。
Open WebUI 加 AnythingLLM 上线。文档上传支持图像多模态。工作区隔离敏感文档集。
LangGraph 工作流。交付三个工作流:深度研究、代码审查、客户录入。Mistral Guidance lark 语法模式验证接入结构化输出节点。
Mistral Code(厂商支持套件)或 OpenHands 仓库自主任务。对编程需求大的买家,我们同时部署 Devstral 2,因为 Devstral 2 主导编程任务(SWE-bench Verified 72.2%)。
Prometheus 指标仪表盘(vllm:num_requests_waiting、gpu_cache_usage_perc、time_to_first_token_seconds),证据包、运行手册和智能体清单交付。
来自做决定时在场的人的反馈。
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
We didn't rush. We just stopped wasting time on things that didn't matter. The risk was managed, not ignored.
The Firebase-to-Supabase migration sounded terrifying. They moved 200k users without a single support ticket. We were live in 19 days.
固定费用。
硬件审计。确认 8x H100/H200/B200 节点。根据上下文长度需求选择 NVFP4 或 FP8。运行真实提示,包括视觉任务(如适用)。
通过 vLLM 使用 Mistral tokenizer/config/load 格式提供服务。启用 tool-call parser('mistral')。设置包含工具描述的系统提示。生产环境温度设为 0.1。
RAG 配合视觉检索(如需要)。SSO、审计、RBAC。若不需要完整 256K,调整 max-model-len 至 32K 或 64K(节省大量 KV 缓存内存)。
渗透测试通过。Apache 2.0 NOTICE 存档。生产切换。如与 GDPR 相关,确认欧盟驻地合规。
Apache 2.0,包括基础版和指令微调版。没有使用限制,没有衍生作品条款,没有按收入的上限。是 2026 年最宽松的开放权重旗舰模型。当买家要求 Apache 2.0 或 MIT 时,Pineido 会特别推荐 Mistral Large 3(一些规避风险的买家,会拒绝 Llama 的 Acceptable Use Policy,或对 DeepSeek 带有中国管辖权的 MIT 有所顾虑)。
8x A100 80GB 或 8x H100 + NVFP4 权重是实际门槛,资本支出约 15-20 万美元。低于此配置,您将在多 GPU 消费级显卡(4x RTX 5090 或类似)上运行 Q4 GGUF,性能大幅下降。对于用户少于 30 人且不需要完整 6750 亿参数的企业,较小的兄弟模型(Mistral 3 14B、8B、3B)在单 GPU 上通常是正确选择。
是的。25 亿参数视觉编码器是原生集成的,不是附加组件。可处理扫描 PDF、图表、示意图、照片和纵向多图像案例。最佳效果:保持宽高比接近 1:1,无论 LLM 量化如何都以 FP16 运行视觉编码器。这是首批原生具备视觉和多语言能力的开放前沿模型之一。
两者都是企业硬件上的 6700 亿级 MoE。需要视觉、更长上下文(256K vs 128K)或 Apache 2.0 加西方训练来源时选 Mistral Large 3。需要最高推理和定理证明性能且可以接受没有视觉时选 DeepSeek V3.2。
纯编程部署选 Devstral 2。一模型多用途部署选 Mistral Large 3。Devstral 2 的 SWE-bench Verified 72.2%,在 4 块 H100 上运行,Cline 官方认可其工具调用可靠性。Mistral Large 3 是面向希望在单一许可下使用编程、研究和文档问答的团队的通用模型(6750 亿总参数 / 410 亿激活)。Pineido 经常同时运行两者:Mistral Large 3 作为默认端点,当业务量合理时在编程通道添加 Devstral 2。
三个 Mistral 专属标志是必须的:--tokenizer_mode mistral、--config_format mistral、--load_format mistral。函数调用还需要 --enable-auto-tool-choice 和 --tool-call-parser mistral。不加 --tool-call-parser mistral,vLLM 会使用默认解析器,工具调用将返回空值。确认安装了 mistral_common >= 1.8.6,否则 tokenization 会回退到 HuggingFace 默认值并报错。锁定 vLLM >= 0.17.0。
6750 亿总参数,每 token 激活 410 亿(MoE),25 亿视觉编码器 参数量
固定费用。
第 1 天您将看到确切的模型、硬件、智能体套件、成本计算和合规立场。
作者Kostadin Stamboliev创始人兼 Imaginator
Pineido, 总部位于 Strumica, North Macedonia, 是一家软件公司,为国内外企业开发网站、网店、网页与移动应用、业务自动化和 AI。工作以 30 天冲刺、固定价格交付,代码归客户所有。
发布于 更新于