本地大模型的硬件要求:CPU、内存与 GPU 指南

在自己的硬件上运行大模型究竟需要什么,从笔记本 CPU 上的 3B 模型到工作站上的 70B 模型。下面这些数字决定了你的配置是快、是慢,还是内存不足。

阅读约 8 分钟8 个章节2026年11月9日

Kostadin Stamboliev

创始人兼 Imaginator

领英

Pineido 创始人兼 Imaginator。从事 IT 咨询、应用与网站开发、技术 SEO 以及 AI 与自动化。以 30 天冲刺交付生产代码,范围固定,责任明确。

决定一切的唯一数字:内存

在比较 GPU 之前,先理解瓶颈。生成每一个 token 意味着把模型的整套活跃权重流经处理器,因此本地大模型的速度由内存带宽和内存容量决定,而非原始算力。容量决定模型能否加载;带宽决定加载后的运行速度。如果模型放不进内存,再强的 GPU 算力也无济于事。

这就是为什么实用的容量规划规则是围绕内存建立的。在完整的 FP16 精度下,一个模型每十亿参数大约需要 2 GB,所以 7B 的模型大约 14 GB,70B 的模型大约 140 GB。几乎没人以 FP16 运行本地模型。量化会压缩权重,在流行的 Q4_K_M 级别下,占用降到每十亿参数大约 0.5 到 0.7 GB:7B 的模型约 4 到 5 GB,70B 的模型约 40 GB。再加上 KV 缓存(你对话的运行内存),它随上下文长度增长,再加一点运行时开销,你就得到了真实需求。

第二个因素,带宽,解释了为什么一张 300 美元的 GPU 在同一模型上可能比一颗 2000 美元的 CPU 更快。一张 RTX 4090 的带宽大约 1000 GB/s,Apple M4 Max 约 546 GB/s,而典型的双通道 DDR5 系统内存约在 70 到 90 GB/s 之间。这一差距正是 GPU 推理感觉瞬时、而 CPU 推理感觉像拨号上网的主要原因。

量化:如何缩小模型而不破坏它

量化用更少的位来存储每个权重。FP16 每权重用 16 位,Q8 用约 8 位,Q4 用约 4 位。整个本地大模型社区最推荐的设置是 Q4_K_M,这是一种 4 位变体,加上它的块元数据后,实际每权重接近 4.8 位。它保留了约 95% 的全精度质量,同时把内存削减近 4 倍,这就是为什么它是几乎所有人起步时的默认选择。

实用的指引很简单。对于日常聊天、起草和摘要,Q4_K_M 是正确的选择。对于代码生成和更难的推理,如果你有足够显存,就提升到 Q5_K_M、Q6_K 或 Q8_0,因为质量损失会最先出现在逻辑和代码上。在 Q4 以下,劣化会变得明显,所以 Q3 和 Q2 是把超大模型挤进不足硬件的最后手段。一个有用的推论:更大模型在更激进量化下往往胜过更小模型在轻量量化下。如果两者都能放进你的内存预算,14B 模型在 Q4 下通常优于 7B 模型在 Q8 下。

这些量化权重的标准文件格式是 GGUF,即 llama.cpp 和 Ollama 使用的单文件格式。同一个 .gguf 文件可在 Windows、Linux 和 macOS 上运行,也可在 CUDA、Metal 和 CPU 后端上运行,所以你可以下载一个文件并在不同机器之间移动,而无需转换。

按模型大小分的显存与内存:实用表格

以下是每个模型档位在 Q4_K_M 下所需的容量,包含适度的上下文余量。3B 到 4B 的模型(Phi-4 Mini、Llama 3.2 3B、Gemma 3 4B、Qwen 3 4B)需要约 2 到 4 GB,几乎在任何设备上都能运行,包括配备 8 到 16 GB 内存的纯 CPU 笔记本。7B 到 8B 的模型(Mistral 7B、Llama 3.1 8B、Qwen 3 8B)需要约 6 到 8 GB,在任何 8 GB 或更大的 GPU 上都很从容。13B 到 14B 的模型需要约 9 到 12 GB,适合 12 GB 的显卡。30B 到 34B 的模型大约需要 18 到 24 GB,是单张 24 GB 显卡的天然搭配。

人人都低估的跳跃是 70B。在 Q4_K_M 下,一旦算上可用的上下文窗口,70B 的模型大约需要 40 到 48 GB,这意味着它放不进单张 24 GB 的显卡。你需要两张 24 GB 的 GPU 聚合(共 48 GB)、一张 48 GB 的工作站显卡,或一台大容量统一内存的 Mac。405B 的模型则是另一个宇宙:即使在 4 位下也约 240 GB,FP8 下约 486 GB,这是数据中心的范畴(想想 8x A100 80 GB 或 8x H100),外加超过一 TB 的系统内存和用于存放权重的高速 NVMe。

不要忘记 KV 缓存,这一项会悄悄撑爆预算。对于 8B 模型,缓存从 2K 上下文时的不到 1 GB 增长到 32K 时的约 5 GB,以及 128K 时的约 20 GB。在 70B 模型上,128K 的上下文可能在权重之外还需要 40 GB 以上的缓存。如果你打算使用长上下文,要按缓存来规划容量,而不只是按模型。把 KV 缓存量化到 8 位可大致将其减半,只有很小的质量代价。

GPU 选择以及 2026 年的真实价格

对于纯推理而言,每美元显存是真正重要的指标,而二手 NVIDIA RTX 3090 仍是性价比之王。以二手约 600 到 850 美元拥有 24 GB 显存,它可以在高量化下运行 13B 模型,在 Q4 下运行 30B 级模型,并干净地配成双卡 48 GB 机型用于 70B。它也是最后一张带 NVLink 的消费级显卡,这让双卡配置拥有更快的 GPU 到 GPU 通信。代价是:没有保修、可能有挖矿历史,而且你可能需要管理显存散热。

RTX 4090,约 1600 到 2200 美元,是最佳全能选手。同样是 24 GB 但明显更快,除推理外在图像生成和轻量微调上表现强劲,而且带保修。RTX 5090,在持续的存储芯片短缺中约 3000 到 4000 美元,是三者中唯一拥有 32 GB 和最高带宽的消费级显卡,这使它成为运行长上下文的 32B 模型(Q4)以及专家混合模型的单卡之选。注意,即便是 32 GB 也无法干净地容纳 Q4 下的 70B。

真实世界的生成速度让权衡一目了然。8B 模型在单张 4090 上运行超过每秒 100 个 token。70B 模型在 Q4_K_M 下无法加载到单张 24 GB 显卡上;在双 3090 上约每秒 16 个 token,在双 4090 上约 19 个。这些是可用的、可对话的速度,而双卡机型在负载下功耗接近 900 瓦。

Apple Silicon:安静的 70B 主力

Apple 的统一内存架构是通往 70B 模型最简单的单机路径。由于 CPU 和 GPU 共享一个内存池,一台拥有 128 GB 统一内存的 Mac 可以加载原本需要两张 NVLink GPU 或一张数据中心显卡才能装下的模型。M4 Max 提供约 546 GB/s 的带宽并支持最高 128 GB,而 M3 Ultra 可达 192 GB、约 800 GB/s,由于没有 M4 Ultra,它是 Apple 用于 AI 工作的真正高端部件。

在实践中,M4 Max 运行 Llama 3.3 70B(Q4_K_M)的速度在每秒 15 到 28 个 token 的范围内,具体取决于后端和上下文。请使用 Apple 的 MLX 框架,而不是默认的 llama.cpp 后端;在 Apple Silicon 上 MLX 持续快 30% 到 50%。一个明确的建议:对于严肃的 70B 工作,选择 128 GB,而不是 64 GB。70B Q4 模型在技术上能放进 64 GB,但 macOS 的内存压力会飙升,系统会换页到 SSD,这会拖垮速度并加重硬盘负担。128 GB 的配置为你的浏览器、编辑器和模型同时运行留出余量。

相对 NVIDIA 的权衡是:对于能装进 GPU 显存的模型,速度会更慢,因为 4090 的带宽大约是 M4 Max 的两倍。Apple 胜在能塞进一台安静、低功耗的单机里的内容;NVIDIA 胜在对能装进显卡的模型拥有原始吞吐。

纯 CPU 与混合卸载:预算路线

你完全可以在没有任何 GPU 的情况下运行本地大模型。在配备双通道 DDR5 的现代 CPU 上,3B 到 4B 的模型在 Q4 下运行约每秒 8 到 25 个 token,足够实际的交互式使用。Phi-4 Mini(3.8B)在这里很突出:占用约 2.3 GB,在现代 CPU 上约每秒 12 个 token,且基准分数在通用知识上与 Llama 3.1 8B 相当。7B 到 8B 的模型在 CPU 上降到约每秒 3 到 8 个 token,用于批处理尚可,但聊天偏慢。8B 以上,纯 CPU 就不再实用了。

两个 CPU 细节能起决定作用。内存速度很重要:从 DDR5-4800 升到 DDR5-6000 已被证明能将 7B 到 8B 的生成速度提升 20% 或更多,纯粹来自带宽。双通道也很重要:两条内存条相比一条能有效翻倍带宽,所以要把两个通道都插满。CPU 推理的简单内存法则是:GGUF 文件大小加上约 500 MB 开销即为你的最低要求。

当一个模型略大于你的显存时,混合卸载会把一部分层留在 GPU 上,其余溢出到系统内存。这比纯 GPU 慢,但比纯 CPU 快,而且关键在于它完全不改变输出质量;同样的权重做同样的运算,只是存放在不同位置。速度代价取决于你的 PCIe 带宽,所以在独立 GPU 上,每卸载一层都要预期真实的性能损失。它是务实的权宜之计,而非把模型装进显存的替代方案。

我们的实测:8 GB 显卡上的一个 4B 模型

经验法则在临界点会失灵,所以这里给出一个在我们自己的测试机上从头到尾实测的模型:Intel Core i7-7700,32 GB 内存,NVIDIA GeForce GTX 1080(8 GB),llama.cpp 的 llama-server(CUDA 12 构建,开启 flash attention),2026 年 11 月 9 日。模型是一个 Q4_K_M 量化的 40 亿参数混合架构模型,文件 3.3 GB。它的语言权重在显卡上占用 2,514 MiB,497 MiB 的词元嵌入表按 llama.cpp 的默认做法留在系统内存中。

在所有层都放在显卡上、两个对话共享 16,384 个词元缓存的情况下,显卡还额外容纳了 512 MiB 的 KV 缓存、100.5 MiB 的循环状态和 72 MiB 的计算缓冲区,另有 223 MiB 用作视觉编码器的工作内存。它读取提示词的速度为每秒 750 到 892 个词元,生成速度为每秒 24.9 到 37.4 个词元。

几分钟后,同一个模型在其他模型共用显卡的情况下,以每个对话 12,288 个词元的窗口重新启动。KV 缓存增至 768 MiB,33 层中有 3 层放不下,只能在处理器上运行。此时它读取提示词的速度为每秒 110 个词元,生成速度为每秒 5.47 个词元。仅移走 9% 的层,就损失了 78% 到 85% 的生成速度:部分卸载就是一条流水线,最慢的一级,即由四个 CPU 线程从系统内存读取权重,决定了每个词元的节奏。实用规则:当模型只是勉强装得下时,先缩小上下文窗口,或改用小一档的量化,而不要让层溢出到处理器。

成本档位:选择能满足工作负载的最小机型

把硬件匹配到你实际需要的模型,而不是你能想象的最大模型。入门档,约 0 到 400 美元:用你已有的笔记本或台式机,在 CPU 或 8 GB GPU 上运行 3B 到 8B 的模型。这覆盖私密起草、摘要、分类和简单的编程帮助,并足以确认本地 AI 是否适合你的工作流程。发烧档,约 700 到 2200 美元:一张二手 RTX 3090 或一张全新 24 GB RTX 4090,可从容运行 13B 到 34B 的模型,用于日常编程、对自己文档的 RAG 以及智能体脚本。

准专业档,约 2000 到 5000 美元:两张 24 GB GPU(聚合 48 GB)或一台 128 GB 的 M4 Max Mac,是以对话速度运行 70B 级模型的入门点。在这个档位,本地模型在许多任务上真正能与托管 API 竞争。再往上的 405B 级前沿,对几乎所有人来说实际上只能上云,而对几乎所有真实用例而言,一个精心选择的 70B 模型都能匹敌或胜过 405B 模型,运行成本却只是其零头。

这个容量规划过程正是 Pineido 本地 AI 搭建工作的起点。我们规划出满足你隐私和性能要求的最小机型,挑选匹配的模型和量化,并把整套技术栈搭起来,使其经得起真实使用的考验。如果你正在为敏感数据权衡本地与托管 AI,我们的本地 AI 搭建和 pocket AI 冲刺会在 30 天内把这套计算变成可运行的系统,当决策触及你更广泛的基础设施路线图时,还提供兼职 CTO 服务。

每周获取运营洞见

加入服务型企业的运营者,每周收到一条关于运营、自动化和增长的可执行洞见。

正在确认您是真人,稍后即可发送。

绝无垃圾邮件,可随时退订。

订阅成功!请留意收件箱中的下一期内容。

准备好交付了吗?

告诉我们您卡在哪里。我们会进行评估,并在一个工作日内给出有针对性的建议。

常见问题

运行本地大模型需要多少显存?

在常见的 Q4_K_M 量化下,按每十亿参数大约 0.5 到 0.7 GB 再加上上下文余量来规划。这意味着 7B 到 8B 的模型约 6 到 8 GB,13B 约 9 到 12 GB,30B 约 18 到 24 GB,70B 约 40 到 48 GB。长上下文会在此之上增加 KV 缓存,所以如果你打算使用 32K token 或更多,就要往上加。

我能在没有 GPU 的情况下运行本地大模型吗?

可以,对于较小的模型。配备双通道 DDR5 的现代 CPU 运行 3B 到 4B 的模型约每秒 8 到 25 个 token,足以用于聊天。7B 到 8B 的模型降到约每秒 3 到 8 个 token,用于批处理尚可,但交互使用偏慢。8B 以上,纯 CPU 推理变得不切实际,你会需要一张 GPU 或一台 Apple Silicon Mac。

什么硬件能在本地运行 70B 模型?

70B 模型在 Q4_K_M 下大约需要 40 到 48 GB 内存,所以放不进单张 24 GB GPU。三条实用路径是:两张聚合的 24 GB GPU(双 RTX 3090 或 4090 凑成 48 GB)、一张 48 GB 工作站显卡,或一台拥有 128 GB 统一内存的 Apple Silicon Mac。视配置而定,预计每秒约 15 到 28 个 token。

2026 年 RTX 3090 还值得为本地 AI 购买吗?

对于推理,值得。以二手约 600 到 850 美元,它提供任何消费级显卡中最佳的每美元显存,拥有 24 GB 和唯一的消费级 NVLink 支持,这使得用于 70B 模型的双卡 48 GB 机型比任何替代方案都便宜。代价是:没有保修、可能有挖矿历史,以及速度略低于 4090。如果你还想要保修、图像生成或轻量微调,就改买 4090。

为什么内存带宽比 CPU 或 GPU 的时钟频率更重要?

生成每一个 token 都需要把模型的活跃权重流经处理器,所以 token 速度受限于内存读取的快慢,而非原始算力。这就是为什么约 1000 GB/s 的 RTX 4090 在同一模型上感觉瞬时,而 70 到 90 GB/s 的系统内存感觉缓慢,也是为什么仅仅更快的 DDR5 就能把 CPU 推理速度提升 20% 或更多。

我真的需要 405B 模型吗,还是 70B 就够了?

对几乎所有实际用例,一个精心选择的 70B 模型就足够了,并且在基准上往往匹敌或胜过 405B 模型,而运行成本只是其零头。405B 模型即使在 4 位下也大约需要 240 GB,这是数据中心硬件,所以实际上只能上云。把它留给真正需要最大模型规模的特定研究。