在自有硬件上部署 Phi-4, 智能体套件上线,14 天生产就绪

Phi-4 是您在单张 GPU 上需要真正推理时的选择。147 亿参数,MIT 许可证,密集解码器架构,训练配方重度依赖可验证答案的合成数据。

  • 14 天生产切换
  • 包含编程 + 研究智能体套件
  • 140 亿密集参数 参数量
  • 16K tokens 上下文窗口
  • 14 天 生产切换

Phi-4 一览

选择模型和硬件时最关键的规格。

参数量

140 亿(密集)

上下文窗口

16K tokens

架构

仅解码器 Transformer

训练 tokens

约 10 万亿(合成数据为主的混合)

许可证

MIT(完整商业使用)

FP16 显存

约 28GB

Q4_K_M 显存

约 9GB

推理变体

Phi-4-reasoning、Phi-4-reasoning-plus

发布日期

2024-12-12

可用平台

Hugging Face、Azure AI Foundry、Ollama、llama.cpp

可在生产环境运行 Phi-4 的硬件

三个层级,真实 SKU,真实吞吐数字。

入门层:Mac Mini M4 24GB 统一内存,RTX 3090 24GB,RTX 4070 Ti 16GB 使用 Q4

吞吐:Mac Mini M4 10-30 tok/s,RTX 3090 40-70 tok/s。适用:独立开发者、本地智能体、离线推理工作流。

中端层:RTX 4090 24GB 或单张 A6000 48GB 使用 Q5 或 BF16

吞吐:60-120 tok/s,BF16 完整质量。适用:小团队自托管、带推理的内部 RAG、代码审查机器人。

企业层:1x H100 80GB 或 2x L40S 使用 vLLM 批量服务

吞吐:批处理 200-600 tok/s。适用:数学、结构化提取或智能体后端的生产多租户 API。

此模型的量化选择

GGUF、AWQ、FP8、INT4。

推荐量化

本地使用 Q4_K_M。显存超过 28GB 时使用 BF16。Phi-4 对量化的耐受性异常强,因为合成训练数据分布均匀。

权衡

Q4_K_M 在 MATH 和 GPQA 上比 BF16 损失约 1-2 分,是同级模型中最小的差距。Q3 开始破坏推理链。显存超过 12GB 时,Q5_K_M 是安全的中间选择。

BF16

文件大小:未指定。

Q8_0

文件大小:未指定。

Q5_K_M

文件大小:未指定。

Q4_K_M

文件大小:未指定。

我们为 Phi-4 接入的编程智能体

Phi-4 14B 是在数学和结构化推理上超出预期的小型密集模型,但在多文件仓库工作上遇到瓶颈。

Aider

在小型仓库上使用整体编辑格式可用。Phi-4 的 Aider Polyglot 约 28-35%。16K 上下文预算迫使使用 aider --map-tokens 4096 和积极文件固定。一旦 diff 历史溢出窗口,多文件重构会可预见地失败。

Continue.dev

内联编辑和对当前文件的聊天效果良好。配置为聊天模型,而不是自动补全模型,14B 参数量使首 token 延迟对按键级别建议来说太慢。最好与较小的模型(DeepSeek Coder V2 Lite 或 Qwen2.5 Coder 7B)配对用于自动补全。

Cline

很快遇到 16K 上限。Cline 仅第一轮就发出约 6-9K tokens 的系统提示。到第三轮,上下文已耗尽。仅在微小单文件任务或使用 Cline 实验性提示裁剪模式时可用。

Cursor(BYOK 通过本地代理)

Phi-4 通过本地 llama.cpp 置于 OpenAI 兼容代理后可用于聊天。Cursor 在 2026 年的上下文填充激进性使任何非微小文件都会使 16K 窗口饱和。仅适合小众场景。

Claude Code(BYOK 路线)

Anthropic 兼容桥接加 Phi-4 理论上可行。实际上,Claude Code 的工具使用协议假设 Anthropic 级别的工具调用可靠性。Phi-4 社区工具变体有 5-12% 的工具调用丢失率。跳过。

smolagents

HuggingFace 的轻量级智能体框架是正确配对。CodeAgent 模式下 LLM 直接输出 Python,非常适合 Phi-4 的推理优势。我们在客户流水线中将 smolagents 加 Phi-4 用于结构化提取智能体。

编程智能体使用场景

此模型 + 智能体套件能交付真实成果的场景。

我们在 Phi-4 上部署的研究智能体

16K 上下文是核心约束。

GPT Researcher

范围较小时可用。将来源 URL 限制在 5-8 个,综合前对每个进行摘要。在 STEM 主题的综合质量上与大得多的模型相当。

STORM(斯坦福)

Phi-4-reasoning 的大纲驱动结构在这里有帮助。多视角问题生成阶段工作良好。文章综合阶段由于 16K 窗口需要激进分块。

Open Deep Research(HuggingFace)

基于 smolagents,天然短上下文。最适合 Phi-4 的小模型配对。我们曾为客户在 20 个以内来源的一次性市场报告中使用过。

Pydantic AI 研究智能体模式

类型化模式强制纪律性。Phi-4 输出干净的结构化输出,Pydantic V2 验证很快。适合窄型提取-综合流水线,不适合广泛的开放式研究。

LlamaIndex 子问题查询引擎

将复杂查询分解为子问题,针对检索上下文依次运行。每个子问题适合 16K,最终综合在预算内。这是 Phi-4 研究的正确架构模式。

研究智能体使用场景

此模型 + 研究智能体套件能产出团队真正使用报告的场景。

我们为生产智能体工作流交付的框架

按工作流形态选择框架。

  1. LangGraph

  2. CrewAI

  3. AutoGen

  4. DSPy

  5. Pydantic AI

  6. smolagents

谁会选择 Phi-4

三类此模型是正确答案的买家画像。

本地智能体开发者

任务:在笔记本电脑或 Mac Mini 上进行多步骤规划和工具使用。成果:Phi-4 推理以可用速度离线运行,JSON 和结构化输出处理可靠,数据保留在设备上。

数学和 STEM 辅导应用

任务:通过逐步推理解决奥林匹克级别问题。成果:Phi-4-reasoning-plus 在 AIME 2025 上约 82.5%,以五分之一的体量击败 DeepSeek-R1-Distill-70B(任何单次 AIME 运行都有噪声,微软对 50 次以上生成取平均)。

结构化提取流水线

任务:从发票、合同、医疗记录中提取字段到 JSON。成果:合成数据训练使 Phi-4 在严格模式和不确定时拒绝回答方面异常出色,每文档推理成本低廉。

Phi-4 与最近竞品比较

此模型胜出的场景和劣势场景。

  1. vs Llama 3.1 8B

    Phi-4 大约 84%(14.7B vs 8B),但在 MATH、GPQA 和 HumanEval 上领先 15-25 分。Llama 3.1 8B 在多语言覆盖、128K 上下文和长尾事实召回上胜出。

  2. vs Mistral Small 22B

    Mistral Small 在创意写作、多语言和 32K 上下文上胜出。Phi-4 在数学、结构化输出和推理上决定性胜出。Phi-4 也是 MIT vs Mistral 研究许可证。

  3. vs Qwen2.5 14B

    Qwen2.5 14B 有 128K 上下文(vs 16K)和更强的中文及代码覆盖。Phi-4 在西方数学和 STEM 基准上胜出。根据语言和上下文需求选择。

Pineido 如何在 Phi-4 14B 上部署智能体

两周冲刺。

第 1 天

变体选择。Phi-4 基础版用于提取智能体,Phi-4-reasoning-plus 用于 STEM 研究(32K 上下文),Phi-4-mini 用于原生工具调用。选择工具调用 Modelfile(zac/phi4-tools 或自定义)。

第 3 天

vLLM 加 Outlines 在 24GB GPU(RTX 4090 或 A6000)FP16 下部署。guided_json 和 guided_regex 针对客户模式测试。命中率目标 99%,否则从任何量化升级至 FP16。

第 6 天

为每个工具输入和输出定义 Pydantic V2 模式。Pydantic AI 智能体运行时配置严格 result_type 验证。故障模式映射(模型输出无效 JSON,重试生成或回退)。

第 9 天

上下文预算强制执行。每个提示使用基于 tiktoken 的预检 token 计数。LangGraph 节点级摘要或 smolagents 短内存模式锁定。提示超过 14K tokens(2K 安全余量)时硬性失败。

第 11 天

客户任务套件评估套件。模式一致率、端到端任务通过率、平均上下文利用率。生产 SLA 锁定。

第 14 天

生产切换。小体量意味着单机部署可行。审计日志、提示日志和 Pydantic 验证错误都流向同一地方。

客户在发布后说了什么

来自做决定时在场的人的反馈。

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
We didn't rush. We just stopped wasting time on things that didn't matter. The risk was managed, not ignored.
Kwame, Digital DirectorSingapore
This wasn't theoretical. They got into the weeds with us and didn't leave until the code was live.
Marcus, Engineering ManagerGermany

我们如何在 14 天内部署 Phi-4

固定费用。

  1. 第 1 天

    使用 Ollama 拉取 Phi-4:ollama pull phi4。在您的硬件上验证基线 tok/s,运行您的推理评估集。

  2. 第 2 天

    通过 localhost:11434 的 OpenAI 兼容端点将其接入您的应用程序。测试 JSON 模式和工具调用往返。

  3. 第 3-5 天

    如果质量不足,评估 Phi-4-reasoning-plus 处理数学密集型任务。否则调整采样参数(推理温度 0-0.3)并添加强制逐步输出的系统提示。

  4. 第 2 周

    迁移至 vLLM 或 TGI 用于生产。批量处理请求,启用前缀缓存,设置 Prometheus 指标,与之前的 OpenAI 账单对比每百万 tokens 成本。

大家最先问我们的问题

Phi-4 真的是 MIT 许可证吗?

是的。微软在 2025 年初以 MIT 许可证发布了 Phi-4 和推理变体。无商业限制,无 MAU 上限,除 MIT 标准条款外无可接受使用条款。可在产品中使用、微调和再分发。

Phi-4 如何击败比自己大 30 倍的模型?

可验证答案的合成数据。微软生成了已知正确推理路径的训练题目,然后使用关键 Token 搜索和 DPO 教导 Phi-4 遵循该路径。它比通用的 405B 更窄,但在它研究过的主题上具有竞争力。

16K 上下文够吗?

对大多数推理和结构化输出任务,够。对于长文档 RAG,您需要激进分块,或将 Phi-4 与 Llama 3.1 8B 等 128K 模型配对用于检索。Phi-4-reasoning 变体扩展推理深度,而不是上下文长度。

在 MacBook 上运行效果好吗?

在 24GB Mac Mini M4 或 M4 Pro MacBook 上,Phi-4 的 Q4_K_M 通过 Ollama 或 LM Studio 以每秒 10-25 tokens 运行。在 16GB Mac 上可以运行 Q4,但任何有意义的上下文都会有内存压力。24GB 是舒适的最低配置。

微软 Phi-4 14B 是否原生支持工具调用?

基础 microsoft/phi-4 版本没有随附原生工具调用聊天模板。社区 Modelfile 变体(zac/phi4-tools、jacob-ebey/phi4-tools)通过自定义提示模板加解析层弥补了这一差距。较小的兄弟模型 Phi-4-mini 有微软官方工具调用支持。对于 2026 年 Phi-4 14B 生产工具使用,计划使用社区变体或自行构建模板。可靠性视量化不同在 88-95% 之间。

Phi-4 14B 能在真实代码库上与 Aider 配合使用吗?

仅在小型仓库上。Phi-4 基础版有 16K 上下文窗口。Aider 的仓库地图在中型代码库上单独就消耗 8-12K tokens,只剩 4-8K 用于文件、diff 和对话。故障模式是无声的质量下降:Aider 截断旧上下文,模型跟不上之前的决定。变通方案:aider --map-tokens 4096,用 /add 固定特定文件,超过 30 个文件的仓库切换到 Phi-4-reasoning(32K)。

140 亿密集参数 参数量

预约 30 分钟咨询通话。我们在您签约前告知 Phi-4 加智能体套件是否是正确选择。

固定费用。

第 1 天您将看到确切的模型、硬件、智能体套件、成本计算和合规立场。

你将带走

  1. 第 0 天(本周):30 分钟咨询通话。硬件候选清单、模型选择、智能体套件方案、成本预测,本周五前发送至您的邮箱
  2. 第 1 天:使用 Ollama 拉取 Phi-4:ollama pull phi4。在您的硬件上验证基线 tok/s,运行您的推理评估集。

作者创始人兼 Imaginator

Pineido, 总部位于 Strumica, North Macedonia, 是一家软件公司,为国内外企业开发网站、网店、网页与移动应用、业务自动化和 AI。工作以 30 天冲刺、固定价格交付,代码归客户所有。

发布于 更新于