ローカル LLM に RAG を追加する:実践ガイド

自分のハードウェア上で動くローカル LLM は、学習データだけから答えます。あなたの契約書も、チケットも、先週の価格決定も知りません。検索拡張生成(RAG)は、モデルにあなたのドキュメントを検索させてそこから答えさせることで、これを解決します。本ガイドでは、インデックス化、埋め込み、検索の各要素、Qdrant と pgvector の選択、そして精度を静かに損なう失敗を順に見ていきます。

約9分で読めます8セクション2026年6月22日

Kostadin Stamboliev

創業者・Imaginator

LinkedIn

Pineido の創業者・Imaginator。IT コンサルティング、アプリ・ウェブ開発、テクニカル SEO、AI と自動化に携わる。スコープと責任を明確にした 30 日間のスプリントで本番コードを届ける。

RAG がローカルモデルに実際にもたらすもの

ローカル LLM(Ollama、LM Studio などで動かすもの)は、学習中に学んだことしか知りません。社内のランブックや顧客のサービス履歴について尋ねると、拒否するか、答えをでっち上げます。RAG はそのギャップを埋めます。モデルが一つのトークンを書き出す前に、システムはあなたのドキュメントから構築したナレッジベースを検索し、質問に最も関連する数個の文章を取り出し、それらをコンテキストとしてプロンプトに貼り付けます。モデルはその後、記憶からではなくその証拠から答えます。

これをローカルで実行する見返りは、プライベートなドキュメントがあなたのハードウェアから一切出ないことです。トークンあたりの API 料金もなく、ベンダーと交渉すべきデータ共有条項もなく、レイテンシはネットワークの往復ではなくあなた自身の GPU や CPU に支配されます。契約書、SOP、過去のチケットを抱えていてそれらを第三者に渡せないサービス事業者にとって、これはしばしば、機密データの近くに LLM を置く唯一の許容可能な方法です。トレードオフは、あなたが今やパイプライン全体を所有することであり、そして品質はそのパイプラインの中に宿ります。

パイプライン:取り込み、チャンク分割、埋め込み、インデックス化、検索

あらゆる RAG システムは同じ形をたどります。取り込み、チャンク分割、埋め込み、インデックス化、検索、再ランキング、コンテキスト構築、そして生成です。早い段階のステップを飛ばしたり台無しにしたりすれば、どれほどモデルの品質が高くても取り返せません。広く繰り返される鉄則は、もし一つだけ直すならチャンク分割を直せ、というものです。なぜなら、それがシステムがそもそも検索できる知識の単位を定義するからです。

取り込みは生のファイル(PDF、Markdown、データベースの行)を読み込み、クリーンなテキストへと整えます。チャンク分割はそのテキストを検索可能な断片に分けます。埋め込みは各チャンクを、その意味を捉えた数値のベクトルに変えます。インデックス化はそれらのベクトルを高速に検索できるよう格納します。検索は質問に最も近いチャンクを見つけます。任意の再ランキングステップは、より精密なモデルで候補を並べ替えます。最後に、上位の数個のチャンクがプロンプトに組み立てられ、ローカル LLM に渡されます。

落とし穴は、これを一度きりのスクリプトとして扱うことです。実際には、固定された一連のテスト質問に対して調整するループであり、一度に一つの変数を変え、検索が改善したかどうかを測定します。

チャンク分割:最もレバレッジの高い決定

大きすぎるチャンクはモデルを無関係なテキストで溺れさせ、小さすぎるチャンクは一節を意味あるものにしていた文脈を失わせます。2026 年のコンセンサスのデフォルトは、約 400-512 トークンに 10-20% のオーバーラップを持たせた再帰的スプリッターで、より凝ったものが必要になる前に大半のユースケースをこなします。ほとんどのシステムは 200-500 トークンの範囲でうまく機能し、事実確認型の質問はその範囲の小さい側を好む傾向があります。

オーバーラップは、重要な一文がチャンク境界で真っ二つに切られるのを防ぐために存在します。500 トークンのチャンクに 50-100 トークンのオーバーラップは妥当な出発点です。しかしオーバーラップは法則ではなく、調整可能なパラメータとして扱ってください。2026 年 1 月の分析では、オーバーラップが測定可能な検索上の利益なしにインデックス化のコストを増やすケースが見つかったので、常に役立つと仮定するのではなく、自分自身の質問に対して検証してください。

何を選ぶにせよ、すべてのチャンクにメタデータを付与してください。ドキュメントのタイトル、セクション、ページ番号、そしてチャンクのインデックスです。そのメタデータによって検索をフィルタリングでき(「2026 年の契約書だけを検索」)、モデルが答えの出どころを引用できるようになります。これこそが、デモをチームが信頼するものへと変えるものです。

ローカル埋め込みモデルを選ぶ

埋め込みモデルは、意味的に似たテキストが実際にベクトル空間で互いに近くに着地するかどうかを決めます。2026 年のローカル構成では、三つの名前が支配的です。Nomic-embed-text は安全で CPU に優しいデフォルトです。約 1 億 3,700 万パラメータ、ディスク上で約 274MB、8,192 トークンのコンテキストウィンドウを持ち、Ollama で群を抜いて最も多くプルされている埋め込みモデルです。設定上の落とし穴の一つは、そのネイティブのコンテキストは 8,192 トークンですが Ollama のモデルカードには 2,048 と記載されていることで、フルウィンドウが欲しければ num_ctx を設定してください。

BGE-M3 は本格的な RAG の本番デフォルトになりました。単一のモデルから密検索と疎検索の両方をサポートし、別個のキーワードインデックスなしにハイブリッド検索を可能にし、100 を超える言語をカバーするからです。VRAM があって最高のオープンソース品質が欲しいなら、Qwen3-Embedding(8B 版は MTEB 多言語リーダーボードで 70.58 を獲得し、2025 年 6 月時点で 1 位)が今や商用の埋め込み API と競合します。

身につけておく価値のある注意点が一つ。nomic や mxbai-embed-large のような軽量で英語中心のモデルは、言語間タスクではゼロに近いスコアとなり、非常に長いドキュメントでは劣化します。コーパスが多言語、またはドキュメントが多いなら、最小の選択肢ではなく BGE-M3 や Qwen3 に手を伸ばしてください。

Qdrant か pgvector か:実際にどう決めるか

これは人々が考えすぎる問題です。約 500 万ベクトル未満の典型的なローカル RAG 構成では、データベースがボトルネックになることはまずありません。数千件のドキュメントに対する 2026 年のベンチマークでは、両方が HNSW インデックスを使うとき Qdrant と pgvector はレイテンシで実質的に同等で、両者の差よりも実行ごとのばらつきの方が大きいことが分かりました。本当のコストは埋め込みと生成であり、検索ではありません。45-80ms の範囲のベクトルクエリは、1 秒から 3 秒かかる LLM の応答の中に消えてしまいます。

ですから決定は運用上のものです。すでに PostgreSQL を運用しているなら pgvector を選んでください。同じバックアップ、同じ監視、同じ認証情報で、午前 2 時に再起動すべき二つ目のサービスがありません。数百万ベクトル未満のほとんどのチームにとって、これは現実的なデフォルトです。ベクトル中心で大規模なら Qdrant を選んでください。Rust で専用に作られ、百万ベクトル規模のワークロードでの ANN スループットテストの上位に位置し、メモリを削減する量子化を組み込みで備え、その localhost のダッシュボードはインデックスに何が入っているかをデバッグするのに本当に役立ちます。

正気の移行経路は、Postgres がすでにスタックにあるなら pgvector から始め、数千万ベクトルに踏み込むか高い同時クエリスループットが必要になったときにのみ Qdrant へ移ることです。その移行は扱いやすく、早すぎる最適化は扱いにくいものです。

検索品質:ハイブリッド検索と再ランキング

純粋なベクトル検索には現実的な失敗モードがあります。たまたま意味的に似ている正確な用語、ID、頭字語を混同するのです。ハイブリッド検索は、キーワード検索(BM25 または SPLADE)とベクトル検索を組み合わせ、二つのランク付けされたリストを融合することでこれを解決します。最も一般的には逆順位融合(Reciprocal Rank Fusion)を使います。これこそ BGE-M3 の組み込みの疎サポートが魅力的な理由です。一つのモデルが両方の半分を担います。

再ランキングは、システムを「トピックが関連している」から「実際に質問に答える」へと押し上げるステップです。第一段階の検索は、クエリと文章を別々にスコアリングする高速なバイエンコーダです。クロスエンコーダの再ランカーはそれらを合わせてスコアリングし候補を並べ替え、検索品質を有意に引き上げられます。難点はレイテンシです。クロスエンコーダは高価なので、広い網を投げ(たとえば各手法から上位 30 件)、小さな最終セットへと再ランキングします。ある本番システムでは、約 5 件のドキュメントを生成に渡すのがスイートスポットでした。複数部分からなる質問に十分な文脈がありつつ、プロンプトを散らかしたりノイズを招いたりしません。

これらすべてを初日に追加しないでください。層を重ねるように導入し、Recall@K や NDCG を使って一連のゴールデン質問に対して各変更を測定し、精度が十分に良くなったらやめてください。

実用的なローカルスタックとその落とし穴

2026 年の一般的なローカルスタックは、埋め込みと生成の両方の推論に Ollama、取り込みとインデックス化のパイプラインに LlamaIndex(数百のドキュメントコネクタを備え、チャンク分割をきれいに扱います)、そしてストアとして pgvector または Qdrant です。単純な検索を超えたオーケストレーションには、多くのチームが LlamaIndex の検索を LangGraph と組み合わせます。単一ユーザーの静的コーパスには、サーバープロセスを持たない FAISS が最も軽量な選択肢です。複数のプロセスがアクセスを必要とするときは Chroma の方が扱いやすいです。

落とし穴は平凡ですが、ひどく噛みつきます。Ollama は埋め込み用と生成用の二つの別々のモデルをプルする必要があり、埋め込みモデルのプルを忘れる(または間違ったベース URL を指す)と、壊れたデータベースのように見える静かな空の検索結果が生じます。8GB の RAM では、生成モデルを 3B 版のようなものに落としてください。埋め込みの品質は影響を受けず、複雑な推論だけがわずかに損なわれます。そして最初から本番の現実に備えてください。コーパスが変化するにつれての検索ドリフト、評価ループがないこと、ある答えがなぜ生じたのかを追跡する手段がないこと、これらはローンチの前ではなく後に現れる失敗モードです。

これがあなたの AI 構成の残りとどうつながるか

RAG は、ローカルモデルをあなた自身のデータ上で有用にする層ですが、理想的にはもっと早く下しておいた決定の上に乗っています。どのモデルか、どんなハードウェアか、どう提供するか、どうプライベートを保つか、です。まだ基盤となるローカルモデルを立ち上げていないなら、それが先です。RAG は二手目であって、一手目ではありません。

実際に最も時間を食う部分は華やかではありません。ソースドキュメントのクリーニングとチャンク分割、実際の質問に対する埋め込みモデルの選定とテスト、そして変更が役立ったかどうかを判断できるよう評価ループを構築すること、ここに何週間も費やされます。そこもまた、スコープ固定のスプリントがその真価を発揮する場所です。焦点を絞った 30 日間の取り組みで、インデックス化パイプラインを立ち上げ、Qdrant または pgvector を組み込み、実際のコーパスに対して検索を調整し、ドキュメントが変わった瞬間に静かに劣化する気の利いたデモではなく、チームが実行できるものをあなたに渡すことができます。

リリースの準備はできましたか?

どこで行き詰まっているかを教えてください。内容を確認し、1営業日以内に的を絞った提案をお送りします。

毎週、オペレーションのヒントを受け取る

サービス業の経営者・運営者と一緒に、オペレーション、自動化、成長に関する実践的なヒントを毎週1つ受け取りましょう。

人間であることを確認しています。まもなく送信できます。

スパムは送りません。いつでも配信停止できます。

登録が完了しました。次号を受信トレイでお待ちください。

よくある質問

ローカル LLM で RAG を動かすのに GPU は必要ですか?

厳密には不要です。nomic-embed-text のような埋め込みモデルはノートパソコンの CPU で動き、小さな生成モデルは控えめなハードウェアで動作します(3B モデルは 8GB の RAM に収まります)。GPU は主に生成を高速化し、より大きく能力の高いモデルを動かせるようにします。大きなコーパスの埋め込みスループットには GPU が役立ちますが、動作するシステムには必須ではありません。

ローカル RAG システムには Qdrant と pgvector のどちらを使うべきですか?

約 500 万ベクトル未満では両者は同程度に機能するので、選択は運用上のものです。すでに PostgreSQL を運用しているなら、二つ目のサービスを避けるために pgvector を使ってください。ベクトル中心で大規模なとき(数千万ベクトル、高い同時クエリ、または組み込みの量子化が欲しいとき)には Qdrant を選んでください。pgvector から始めて後で移行するのは扱いやすい経路です。

ローカル RAG 構成にはどの埋め込みモデルが最適ですか?

Nomic-embed-text は安全で CPU に優しいデフォルトです。BGE-M3 は 2026 年の本番向けの選択です。単一のモデルで密検索と疎検索、そして 100 を超える言語を扱うからです。VRAM があるなら Qwen3-Embedding が最高のオープンソース品質を提供します。多言語や非常に長いドキュメントには、急激に劣化するため、英語専用の軽量モデルは避けてください。

チャンクサイズとオーバーラップはどこから始めるべきですか?

約 400-512 トークンに 10-20% のオーバーラップを持たせた再帰的スプリッターから始めてください。それで大半のケースをこなせます。小さいチャンクは事実確認型の質問の精度を高め、大きいチャンクは文脈を保ちます。一部のワークロードはオーバーラップから何の利益も得ないので、オーバーラップは調整可能なパラメータとして扱い、常にタイトル、セクション、ページなどのメタデータを各チャンクに付与してください。

ローカル RAG の答えがひどいです。どこからデバッグを始めればよいですか?

ほとんど常にモデルではなく検索です。埋め込みモデルが実際にプルされ到達可能であることを確認してください。間違ったベース URL は静かな空の検索結果を生むからです。チャンク分割が文脈を真っ二つに切っていないか確認し、正確な用語が取りこぼされるならハイブリッド検索を加え、約 5 件のドキュメントを生成に渡すクロスエンコーダの再ランカーを加えてください。各変更を固定のテスト質問に対して測定してください。

ローカル RAG 構成は本当にプライベートですか?

はい、すべてのコンポーネントがローカルで動くとき、つまり LLM、埋め込みモデル、ベクトルデータベースのすべてがあなた自身のハードウェア上にあるときは。ドキュメント、クエリ、埋め込みのどれもマシンの外へ出ず、トークンあたりの料金もありません。トレードオフは、インデックス化、調整、そしてドキュメントが変わっても精度がドリフトしないようにする評価ループを含め、パイプライン全体をあなたが所有することです。