RAG zu lokalen LLMs hinzufügen: ein praktischer Leitfaden

Ein lokales LLM, das auf Ihrer eigenen Hardware läuft, antwortet allein aus den Trainingsdaten. Es kennt Ihre Verträge nicht, Ihre Tickets nicht und auch nicht die Preisentscheidung der letzten Woche. Retrieval-Augmented Generation (RAG) behebt das, indem es das Modell Ihre Dokumente durchsuchen und daraus antworten lässt. Dieser Leitfaden führt durch die Bausteine Indexierung, Embedding und Abruf, durch die Entscheidung zwischen Qdrant und pgvector und durch die Fehler, die leise die Genauigkeit zerstören.

7 Min. Lesezeit8 Abschnitte22. Juni 2026

Kostadin Stamboliev

Gründer und Imaginator

LinkedIn

Gründer und Imaginator von Pineido. Arbeitet in IT-Beratung, App- und Webentwicklung, technischem SEO sowie KI und Automatisierung. Liefert Produktionscode in 30-Tage-Sprints mit festem Umfang und klarer Verantwortung.

Was RAG für ein lokales Modell tatsächlich leistet

Ein lokales LLM (betrieben über Ollama, LM Studio oder Ähnliches) weiß nur, was es während des Trainings gelernt hat. Fragen Sie es nach Ihrem internen Runbook oder der Servicehistorie eines Kunden, und es verweigert entweder die Antwort oder erfindet eine. RAG schließt diese Lücke. Bevor das Modell auch nur einen einzigen Token schreibt, durchsucht das System eine aus Ihren Dokumenten aufgebaute Wissensbasis, holt die wenigen für die Frage relevantesten Passagen heraus und fügt sie als Kontext in den Prompt ein. Das Modell antwortet dann aus dieser Evidenz statt aus dem Gedächtnis.

Der Lohn dafür, dies lokal zu betreiben, ist, dass private Dokumente niemals Ihre Hardware verlassen. Es gibt keine Gebühren pro Token, keine mit einem Anbieter auszuhandelnden Datenfreigabebedingungen, und die Latenz wird von Ihrer eigenen GPU oder CPU bestimmt statt von einem Netzwerk-Roundtrip. Für ein Dienstleistungsunternehmen, das auf Verträgen, SOPs und historischen Tickets sitzt, die nicht zu einem Dritten gelangen dürfen, ist dies oft die einzige akzeptable Möglichkeit, ein LLM nahe an sensible Daten zu bringen. Der Kompromiss ist, dass Sie nun die gesamte Pipeline besitzen, und in der Pipeline lebt die Qualität.

Die Pipeline: einlesen, chunken, einbetten, indexieren, abrufen

Jedes RAG-System folgt derselben Form: Einlesen, Chunking, Embeddings, Indexierung, Abruf, Reranking, Kontextaufbau und dann Generierung. Überspringen oder verpfuschen Sie einen Schritt früh, holt keine Modellqualität das wieder heraus. Die oft wiederholte Regel lautet: Wenn Sie nur eine Sache reparieren, reparieren Sie das Chunking, denn es definiert die Wissenseinheiten, die das System überhaupt abrufen kann.

Das Einlesen lädt Rohdateien (PDFs, Markdown, Datenbankzeilen) und reduziert sie auf sauberen Text. Das Chunking teilt diesen Text in abrufbare Teile. Das Embedding verwandelt jeden Chunk in einen Vektor aus Zahlen, der seine Bedeutung erfasst. Die Indexierung speichert diese Vektoren so, dass sie schnell durchsucht werden können. Der Abruf findet die Chunks, die der Frage am nächsten sind. Ein optionaler Reranking-Schritt ordnet die Kandidaten mit einem präziseren Modell neu. Schließlich werden die obersten wenigen Chunks in den Prompt eingebaut und an das lokale LLM übergeben.

Die geistige Falle ist, dies als einmaliges Skript zu behandeln. In der Praxis ist es eine Schleife, die Sie gegen eine feste Menge von Testfragen abstimmen, dabei eine Variable nach der anderen ändern und messen, ob sich der Abruf verbessert hat.

Chunking: die Entscheidung mit der höchsten Hebelwirkung

Chunks, die zu groß sind, ertränken das Modell in irrelevantem Text; Chunks, die zu klein sind, verlieren den Kontext, der eine Passage erst bedeutungsvoll machte. Der Konsens-Standard von 2026 ist ein rekursiver Splitter bei ungefähr 400-512 Tokens mit 10-20% Überlappung, was die Mehrheit der Anwendungsfälle abdeckt, bevor Sie etwas Ausgefeilteres brauchen. Die meisten Systeme arbeiten im Bereich von 200-500 Tokens gut, und faktenbasierte Fragen tendieren zum kleineren Ende davon.

Die Überlappung gibt es, um zu verhindern, dass ein Schlüsselsatz an einer Chunk-Grenze in der Mitte abgeschnitten wird; ein 500-Token-Chunk mit 50-100 Tokens Überlappung ist ein vernünftiger Ausgangspunkt. Aber behandeln Sie die Überlappung als einstellbaren Parameter, nicht als Gesetz. Eine Analyse vom Januar 2026 fand Fälle, in denen die Überlappung Indexierungskosten ohne messbaren Abrufvorteil hinzufügte, also validieren Sie sie gegen Ihre eigenen Fragen, statt anzunehmen, sie helfe immer.

Was auch immer Sie wählen, hängen Sie an jeden Chunk Metadaten an: Dokumenttitel, Abschnitt, Seitenzahl und einen Chunk-Index. Diese Metadaten erlauben es Ihnen, den Abruf zu filtern ("nur die Verträge von 2026 durchsuchen"), und erlauben dem Modell, zu zitieren, woher eine Antwort kam, was eine Demo in etwas verwandelt, dem ein Team vertrauen wird.

Ein lokales Embedding-Modell wählen

Das Embedding-Modell entscheidet, ob semantisch ähnlicher Text tatsächlich nahe beieinander im Vektorraum landet. Für lokale Setups 2026 dominieren drei Namen. Nomic-embed-text ist der sichere, CPU-freundliche Standard: rund 137M Parameter, etwa 274MB auf der Festplatte, ein Kontextfenster von 8.192 Tokens und mit Abstand das am häufigsten abgerufene Embedding-Modell auf Ollama. Eine Konfigurationsfalle ist, dass sein nativer Kontext 8.192 Tokens beträgt, die Ollama-Modellkarte aber 2.048 angibt, also setzen Sie num_ctx, wenn Sie das volle Fenster wollen.

BGE-M3 ist zum Produktionsstandard für ernsthaftes RAG geworden, weil es dichten und spärlichen Abruf aus einem einzigen Modell unterstützt, was hybride Suche ohne separaten Stichwortindex ermöglicht, und es deckt mehr als 100 Sprachen ab. Wenn Sie das VRAM haben und die höchste Open-Source-Qualität wollen, konkurriert Qwen3-Embedding (die 8B-Variante erreichte 70,58 auf der MTEB-Mehrsprachen-Bestenliste und belegte Stand Juni 2025 den ersten Platz) inzwischen mit kommerziellen Embedding-APIs.

Ein Vorbehalt, den man verinnerlichen sollte: leichtgewichtige, auf Englisch fokussierte Modelle wie nomic und mxbai-embed-large erreichen bei sprachübergreifenden Aufgaben fast null Punkte und verschlechtern sich bei sehr langen Dokumenten. Ist Ihr Korpus mehrsprachig oder dokumentlastig, greifen Sie zu BGE-M3 oder Qwen3 statt zur kleinsten Option.

Qdrant oder pgvector: wie man tatsächlich entscheidet

Das ist die Frage, die Menschen überdenken. Für ein typisches lokales RAG-Setup unter ungefähr 5 Millionen Vektoren ist die Datenbank fast nie Ihr Engpass. Ein Benchmark von 2026 über einige tausend Dokumente fand Qdrant und pgvector bei der Latenz effektiv gleichauf, wenn beide HNSW-Indizes verwenden, wobei die Schwankung von Lauf zu Lauf größer war als der Abstand zwischen ihnen. Die wahren Kosten sind Embedding und Generierung, nicht die Suche. Eine Vektorabfrage im Bereich von 45-80ms verschwindet in einer LLM-Antwort, die ein bis drei Sekunden dauert.

Die Entscheidung ist also operativ. Wählen Sie pgvector, wenn Sie bereits PostgreSQL betreiben: dieselben Backups, dasselbe Monitoring, dieselben Zugangsdaten, kein zweiter Dienst, der um 2 Uhr nachts neu gestartet werden muss. Es ist der pragmatische Standard für die meisten Teams unter ein paar Millionen Vektoren. Wählen Sie Qdrant, wenn Sie vektorzentriert und in großem Maßstab unterwegs sind: Es ist zweckgebaut in Rust, rangiert in ANN-Durchsatztests auf Millionen-Vektor-Workloads ganz oben, bringt eingebaute Quantisierung mit, um Speicher zu sparen, und sein localhost-Dashboard ist wirklich nützlich, um zu debuggen, was in Ihrem Index steckt.

Der vernünftige Migrationspfad ist, mit pgvector zu beginnen, wenn Postgres ohnehin in Ihrem Stack ist, und nur dann zu Qdrant zu wechseln, wenn Sie in zweistellige Millionen von Vektoren vorstoßen oder hohen parallelen Abfragedurchsatz brauchen. Diese Migration ist machbar; vorzeitige Optimierung ist es nicht.

Abrufqualität: hybride Suche und Reranking

Reine Vektorsuche hat einen echten Schwachpunkt: Sie vermengt präzise Begriffe, IDs und Akronyme, die zufällig semantisch ähnlich sind. Hybride Suche behebt das, indem sie Stichwortsuche (BM25 oder SPLADE) mit Vektorsuche kombiniert und die beiden gerankten Listen dann zusammenführt, am häufigsten mit Reciprocal Rank Fusion. Genau deshalb ist die eingebaute spärliche Unterstützung von BGE-M3 attraktiv: Ein Modell bedient beide Hälften.

Reranking ist der Schritt, der ein System von "thematisch verwandt" zu "beantwortet die Frage tatsächlich" hebt. Der Abruf erster Stufe ist ein schneller Bi-Encoder, der Anfrage und Passagen getrennt bewertet; ein Cross-Encoder-Reranker bewertet sie gemeinsam und ordnet die Kandidaten neu, was die Abrufqualität spürbar heben kann. Der Haken ist die Latenz: Cross-Encoder sind teuer, also werfen Sie ein weites Netz aus (etwa die obersten 30 jeder Methode) und reranken auf eine kleine finale Menge herunter. In einem Produktionssystem war es der Sweet Spot, etwa 5 Dokumente an die Generierung zu übergeben: genug Kontext für mehrteilige Fragen, ohne den Prompt zu überladen oder Rauschen einzuladen.

Fügen Sie nicht all das am ersten Tag hinzu. Schichten Sie es ein, messen Sie jede Änderung gegen eine Menge goldener Fragen mit Recall@K oder NDCG und hören Sie auf, wenn die Genauigkeit gut genug ist.

Ein funktionsfähiger lokaler Stack und seine Tücken

Ein gängiger lokaler Stack von 2026 ist Ollama sowohl für Embedding- als auch für Generierungsinferenz, LlamaIndex für die Einlese- und Indexierungspipeline (es bringt Hunderte von Dokumentkonnektoren mit und handhabt das Chunking sauber) und pgvector oder Qdrant als Speicher. Für Orchestrierung jenseits einfachen Abrufs kombinieren viele Teams den LlamaIndex-Abruf mit LangGraph. Für einen statischen Korpus mit einem einzigen Nutzer ist FAISS ohne Serverprozess die leichteste Option; Chroma ist freundlicher, wenn mehrere Prozesse Zugriff brauchen.

Die Tücken sind banal und beißen hart. Ollama braucht zwei separat abgerufene Modelle, eines für Embeddings und eines für die Generierung, und das Vergessen, das Embedding-Modell abzurufen (oder auf die falsche Basis-URL zu zeigen), erzeugt stille leere Abrufe, die wie eine kaputte Datenbank aussehen. Bei 8GB RAM senken Sie das Generierungsmodell auf etwas wie eine 3B-Variante; die Embedding-Qualität bleibt unberührt, und nur komplexes Schlussfolgern leidet leicht. Und planen Sie von Anfang an für die Realitäten der Produktion: Abrufdrift, wenn sich der Korpus ändert, keine Evaluierungsschleife und keine Möglichkeit nachzuvollziehen, warum eine bestimmte Antwort zustande kam, sind die Schwachpunkte, die nach dem Start auftauchen, nicht davor.

Wo dies an den Rest Ihres KI-Setups anschließt

RAG ist die Schicht, die ein lokales Modell auf Ihren eigenen Daten nützlich macht, aber sie sitzt auf Entscheidungen, die Sie idealerweise früher getroffen haben: welches Modell, welche Hardware, wie es bereitgestellt wird und wie es privat bleibt. Wenn Sie das Basis-Lokalmodell noch nicht aufgesetzt haben, kommt das zuerst; RAG ist der zweite Zug, nicht der erste.

Die Teile, die in der Praxis am meisten Zeit verschlingen, sind nicht glamourös. Das Bereinigen und Chunken von Quelldokumenten, das Auswählen und Testen eines Embedding-Modells gegen Ihre tatsächlichen Fragen und der Aufbau einer Evaluierungsschleife, damit Sie erkennen können, ob eine Änderung geholfen hat, dorthin fließen Wochen. Genau dort verdient sich auch ein Sprint mit festem Umfang seinen Lohn: Ein fokussiertes 30-Tage-Engagement kann die Indexierungspipeline aufbauen, Qdrant oder pgvector einbinden, den Abruf gegen Ihren echten Korpus abstimmen und Ihnen etwas übergeben, das Ihr Team betreiben kann, statt einer cleveren Demo, die leise verfällt, sobald sich die Dokumente ändern.

Bereit zum Launch?

Sagen Sie uns, wo Sie feststecken. Wir prüfen es und senden Ihnen innerhalb eines Werktags eine konkrete Empfehlung.

Wöchentliche Impulse für den Betrieb

Schließen Sie sich Betreibern von Dienstleistungsunternehmen an, die jede Woche einen umsetzbaren Impuls zu Betrieb, Automatisierung und Wachstum erhalten.

Wir prüfen kurz, ob Sie ein Mensch sind. Gleich können Sie senden.

Kein Spam. Jederzeit abbestellbar.

Sie sind angemeldet! Die nächste Ausgabe kommt in Ihr Postfach.

Häufig gestellte Fragen

Brauche ich eine GPU, um RAG auf einem lokalen LLM zu betreiben?

Nicht zwingend. Embedding-Modelle wie nomic-embed-text laufen auf der CPU eines Laptops, und kleine Generierungsmodelle funktionieren auf bescheidener Hardware (ein 3B-Modell passt in 8GB RAM). Eine GPU beschleunigt hauptsächlich die Generierung und lässt Sie größere, fähigere Modelle betreiben. Für Embedding-Durchsatz auf einem großen Korpus hilft eine GPU, ist aber für ein funktionierendes System nicht erforderlich.

Sollte ich Qdrant oder pgvector für ein lokales RAG-System verwenden?

Unter ungefähr 5 Millionen Vektoren schneiden beide ähnlich ab, die Wahl ist also operativ. Wenn Sie bereits PostgreSQL betreiben, nutzen Sie pgvector, um einen zweiten Dienst zu vermeiden. Wählen Sie Qdrant, wenn Sie vektorzentriert und in großem Maßstab unterwegs sind (zweistellige Millionen Vektoren, hohe parallele Abfragen oder Sie wollen eingebaute Quantisierung). Mit pgvector zu beginnen und später zu migrieren ist ein machbarer Weg.

Welches Embedding-Modell ist für ein lokales RAG-Setup am besten?

Nomic-embed-text ist der sichere, CPU-freundliche Standard. BGE-M3 ist die Produktionswahl 2026, weil es dichten und spärlichen Abruf sowie mehr als 100 Sprachen aus einem Modell bewältigt. Qwen3-Embedding bietet die höchste Open-Source-Qualität, wenn Sie das VRAM haben. Vermeiden Sie leichtgewichtige, nur englische Modelle für mehrsprachige oder sehr lange Dokumente, wo sie sich stark verschlechtern.

Mit welcher Chunk-Größe und Überlappung sollte ich beginnen?

Beginnen Sie mit einem rekursiven Splitter bei etwa 400-512 Tokens mit 10-20% Überlappung; das deckt die meisten Fälle ab. Kleinere Chunks verbessern die Präzision bei faktenbasierten Fragen, größere bewahren den Kontext. Behandeln Sie die Überlappung als einstellbaren Parameter, da einige Workloads keinen Nutzen daraus ziehen, und hängen Sie immer Metadaten wie Titel, Abschnitt und Seite an jeden Chunk.

Mein lokales RAG gibt schlechte Antworten. Wo fange ich mit dem Debuggen an?

Fast immer der Abruf, nicht das Modell. Bestätigen Sie, dass das Embedding-Modell tatsächlich abgerufen wurde und erreichbar ist, da eine falsche Basis-URL stille leere Abrufe erzeugt. Prüfen Sie, ob das Chunking den Kontext nicht in der Mitte zerschneidet, fügen Sie hybride Suche hinzu, wenn präzise Begriffe übersehen werden, und fügen Sie einen Cross-Encoder-Reranker hinzu, der etwa fünf Dokumente an die Generierung übergibt. Messen Sie jede Änderung gegen feste Testfragen.

Ist ein lokales RAG-Setup wirklich privat?

Ja, wenn jede Komponente lokal läuft: das LLM, das Embedding-Modell und die Vektordatenbank, alle auf Ihrer eigenen Hardware. Keine Dokumente, Abfragen oder Embeddings verlassen Ihre Maschine, und es gibt keine Gebühren pro Token. Der Kompromiss ist, dass Sie die gesamte Pipeline besitzen, einschließlich Indexierung, Abstimmung und einer Evaluierungsschleife, damit die Genauigkeit nicht abdriftet, während sich die Dokumente ändern.