为本地大语言模型添加 RAG:一份实用指南
运行在你自己硬件上的本地大语言模型只能根据训练数据作答。它不知道你的合同、你的工单,也不知道上周的定价决策。检索增强生成(RAG)通过让模型搜索你的文档并据此作答来解决这个问题。本指南将带你走过索引、嵌入和检索这几个环节,讲清 Qdrant 与 pgvector 之间的取舍,以及那些悄悄毁掉准确率的错误。
RAG 究竟为本地模型做了什么
本地大语言模型(通过 Ollama、LM Studio 或类似工具运行)只知道它在训练期间学到的东西。问它关于你内部运维手册或某位客户服务历史的问题,它要么拒答,要么编造答案。RAG 弥合了这一鸿沟。在模型写下任何一个 token 之前,系统会先在一个由你的文档构建的知识库中搜索,提取出与问题最相关的几段,并作为上下文粘贴进提示词。模型随后便根据这些证据而非记忆来作答。
在本地运行这套流程的回报是私有文档永远不会离开你的硬件。没有按 token 计费的 API 费用,没有需要与厂商协商的数据共享条款,延迟由你自己的 GPU 或 CPU 决定,而非网络往返。对于一家手握合同、标准作业流程和历史工单且这些资料不能交给第三方的服务型企业来说,这往往是让大语言模型接近敏感数据的唯一可接受方式。代价是你现在要拥有整条流水线,而质量正存在于这条流水线之中。
流水线:摄取、分块、嵌入、索引、检索
每个 RAG 系统都遵循同样的形态:摄取、分块、嵌入、索引、检索、重排、上下文构建,然后是生成。早期跳过或搞砸任何一步,再高的模型质量也无法挽回。一条被反复提及的规则是:如果你只修一样东西,就修分块,因为它界定了系统所能检索到的知识单元。
摄取加载原始文件(PDF、Markdown、数据库行)并将其清洗为干净文本。分块把这些文本切成可检索的片段。嵌入把每个文本块转换为一个捕捉其含义的数字向量。索引存储这些向量以便快速搜索。检索找出与问题最接近的文本块。一个可选的重排步骤会用更精确的模型重新排列候选项。最后,排名最前的几个文本块被组装进提示词,交给本地大语言模型。
思维上的陷阱是把这当成一次性脚本。在实践中,它是一个你要针对一组固定测试问题进行调优的循环,每次只改变一个变量,并衡量检索是否有所改善。
分块:杠杆最高的决策
过大的文本块会让模型淹没在无关文本里;过小的文本块则会丢失让一段话有意义的上下文。2026 年的共识默认值是递归分割器,约 400-512 个 token,重叠 10-20%,在你需要更复杂方案之前,它能应对大多数使用场景。多数系统在 200-500 个 token 区间表现良好,而事实型问题往往偏好该区间的较小一端。
重叠的存在是为了防止关键句子在文本块边界处被拦腰截断;一个 500 token 的文本块配 50-100 token 的重叠是合理的起点。但要把重叠当作可调参数,而非定律。2026 年 1 月的一项分析发现,某些情形下重叠增加了索引成本却没有可衡量的检索收益,所以要针对你自己的问题去验证它,而不是假定它总有帮助。
无论你如何选择,都要为每个文本块附上元数据:文档标题、章节、页码和一个文本块索引。这些元数据让你能够过滤检索("只搜索 2026 年的合同"),并让模型能标注某个答案来自何处,而这正是让一个演示变成团队会信任之物的关键。
选择本地嵌入模型
嵌入模型决定了语义相似的文本是否真的在向量空间中彼此靠近。对于 2026 年的本地配置,有三个名字占据主导。Nomic-embed-text 是安全的、对 CPU 友好的默认选择:约 1.37 亿参数,磁盘上约 274MB,8,192 token 的上下文窗口,并且是 Ollama 上被拉取次数最多的嵌入模型。一个配置陷阱是:它的原生上下文是 8,192 token,但 Ollama 模型卡上写的是 2,048,所以如果你想要完整窗口,就要设置 num_ctx。
BGE-M3 已成为正经 RAG 的生产默认选择,因为它能用单一模型支持稠密和稀疏检索,无需独立的关键词索引即可实现混合搜索,并且覆盖 100 多种语言。如果你有足够的 VRAM 并想要最高的开源质量,Qwen3-Embedding(8B 变体在 MTEB 多语言排行榜上得分 70.58,截至 2025 年 6 月排名第一)如今已能与商业嵌入 API 竞争。
一个值得内化的注意事项:像 nomic 和 mxbai-embed-large 这类轻量、以英语为主的模型在跨语言任务上得分接近于零,并且在非常长的文档上表现退化。如果你的语料是多语言的或文档量很大,就选用 BGE-M3 或 Qwen3,而不是最小的那个选项。
Qdrant 还是 pgvector:到底该怎么定
这是人们想得过多的问题。对于一个典型的本地 RAG 配置,在大约 500 万向量以下,数据库几乎从来不是你的瓶颈。2026 年一项基于几千份文档的基准测试发现,当两者都使用 HNSW 索引时,Qdrant 和 pgvector 在延迟上实质打平,运行间的波动比二者之间的差距还大。真正的成本是嵌入和生成,而非搜索。一次落在 45-80ms 区间的向量查询,会消失在一次耗时一到三秒的大语言模型回答之中。
所以这个决定是运维层面的。如果你已经在运行 PostgreSQL,就选 pgvector:同样的备份、同样的监控、同样的凭据,没有第二个需要在凌晨两点重启的服务。对大多数向量数在几百万以下的团队来说,它是务实的默认选择。当你以向量为先且规模庞大时就选 Qdrant:它用 Rust 专门构建,在百万向量级工作负载的 ANN 吞吐测试中名列前茅,内置量化以削减内存,而且它在 localhost 上的仪表盘对于调试索引里有什么内容确实有用。
明智的迁移路径是:如果 Postgres 已在你的技术栈里,就从 pgvector 起步,仅当你跨入数千万向量或需要高并发查询吞吐时再转向 Qdrant。那种迁移是可行的;过早优化则不可行。
检索质量:混合搜索与重排
纯向量搜索有一个真实的失败模式:它会混淆那些恰好语义相似的精确术语、ID 和缩写。混合搜索通过将关键词搜索(BM25 或 SPLADE)与向量搜索结合,再融合两个排序列表来解决这个问题,最常见的是用倒数排名融合(Reciprocal Rank Fusion)。这正是 BGE-M3 内置稀疏支持之所以有吸引力的原因:一个模型同时服务于两半。
重排是把系统从"主题相关"推向"真正回答了问题"的那一步。第一阶段检索是一个快速的双编码器,分别为查询和段落打分;交叉编码器重排器则联合为它们打分并重新排列候选项,这能切实提升检索质量。代价是延迟:交叉编码器开销很大,所以要广撒网(比如每种方法取前 30 个)再重排到一个小的最终集合。在某个生产系统中,把约 5 篇文档送入生成是最佳平衡点:既为多部分问题提供了足够的上下文,又不会把提示词塞满或招来噪声。
不要在第一天就把这一切都加上。要分层引入,用 Recall@K 或 NDCG 针对一组黄金问题衡量每一处改动,并在准确率足够好时停手。
一套可行的本地技术栈及其陷阱
2026 年常见的本地技术栈是:用 Ollama 同时进行嵌入和生成推理,用 LlamaIndex 处理摄取和索引流水线(它自带数百个文档连接器,并能干净利落地处理分块),以及用 pgvector 或 Qdrant 作为存储。对于超出简单检索的编排,许多团队会把 LlamaIndex 的检索与 LangGraph 搭配使用。对于单用户的静态语料,无需服务器进程的 FAISS 是最轻量的选项;当多个进程需要访问时,Chroma 则更友好。
这些陷阱都很平淡,但咬人很狠。Ollama 需要拉取两个独立的模型,一个用于嵌入,一个用于生成,而忘记拉取嵌入模型(或指向了错误的 base URL)会产生悄无声息的空检索,看起来就像数据库坏了。在 8GB 内存上,把生成模型降到诸如 3B 变体之类的;嵌入质量不受影响,只有复杂推理会略受影响。并且从一开始就要为生产现实做规划:随着语料变化而出现的检索漂移、没有评估循环、没有办法追溯某个答案为何产生,这些都是在上线之后而非之前才显现的失败模式。
这与你 AI 配置的其余部分如何衔接
RAG 是让本地模型在你自己数据上变得有用的那一层,但它建立在你最好早先就做出的决策之上:用哪个模型、什么硬件、如何提供服务,以及如何保持私密。如果你还没把基础的本地模型搭起来,那要先做;RAG 是第二步,而非第一步。
实践中最耗时的部分并不光鲜。清洗和分块源文档、针对你的实际问题挑选并测试嵌入模型,以及构建一个评估循环以便判断某处改动是否有帮助,这些才是数周时间的去处。而这也正是固定范围冲刺的价值所在:一次为期 30 天的聚焦合作能搭建起索引流水线、接入 Qdrant 或 pgvector、针对你真实的语料调优检索,并交给你一件团队能够运行的东西,而不是一个一旦文档变化就悄悄退化的精巧演示。
每周获取运营洞见
加入服务型企业的运营者,每周收到一条关于运营、自动化和增长的可执行洞见。
常见问题
在本地大语言模型上运行 RAG 需要 GPU 吗?
并非严格需要。像 nomic-embed-text 这样的嵌入模型可以在笔记本的 CPU 上运行,小型生成模型在普通硬件上也能工作(一个 3B 模型可装入 8GB 内存)。GPU 主要加快生成速度,并让你能运行更大、更强的模型。对于大语料的嵌入吞吐量,GPU 有帮助,但对一个可工作的系统而言并非必需。
本地 RAG 系统该用 Qdrant 还是 pgvector?
在大约 500 万向量以下,两者表现相近,所以选择是运维层面的。如果你已经在运行 PostgreSQL,就用 pgvector 以避免引入第二个服务。当你以向量为先且规模庞大时(数千万向量、高并发查询,或想要内置量化)就选 Qdrant。从 pgvector 起步、日后再迁移是一条可行的路径。
本地 RAG 配置最好用哪个嵌入模型?
Nomic-embed-text 是安全的、对 CPU 友好的默认选择。BGE-M3 是 2026 年的生产之选,因为它用单一模型处理稠密和稀疏检索以及 100 多种语言。如果你有足够的 VRAM,Qwen3-Embedding 提供最高的开源质量。对于多语言或非常长的文档,避免使用仅支持英语的轻量模型,它们在这些场景下会急剧退化。
我该从什么样的文本块大小和重叠开始?
从约 400-512 个 token、重叠 10-20% 的递归分割器开始;那能应对大多数情况。更小的文本块提升事实型问题的精确度,更大的则保留上下文。把重叠当作可调参数,因为某些工作负载从中得不到任何收益,并且始终为每个文本块附上标题、章节和页码等元数据。
我的本地 RAG 给出糟糕的答案。我该从哪里开始排查?
几乎总是检索的问题,而非模型。先确认嵌入模型确实已被拉取且可访问,因为错误的 base URL 会产生悄无声息的空检索。检查分块是否把上下文拦腰截断,如果精确术语被漏掉就加入混合搜索,并加上一个交叉编码器重排器、把约五篇文档送入生成。针对固定的测试问题衡量每一处改动。
本地 RAG 配置真的私密吗?
是的,前提是每个组件都在本地运行:大语言模型、嵌入模型和向量数据库全都在你自己的硬件上。没有任何文档、查询或嵌入离开你的机器,也没有按 token 计费。代价是你要拥有整条流水线,包括索引、调优,以及一个评估循环来防止准确率随文档变化而漂移。