Aggiungere il RAG agli LLM locali: una guida pratica

Un LLM locale che gira sul tuo hardware risponde solo a partire dai dati di addestramento. Non conosce i tuoi contratti, i tuoi ticket, né la decisione sui prezzi della settimana scorsa. La generazione aumentata dal recupero (RAG) lo risolve permettendo al modello di cercare nei tuoi documenti e rispondere a partire da essi. Questa guida percorre i pezzi di indicizzazione, embedding e recupero, la scelta tra Qdrant e pgvector, e gli errori che rovinano silenziosamente l'accuratezza.

7 min di lettura8 sezioni22 giugno 2026

Kostadin Stamboliev

Fondatore e Imaginator

LinkedIn

Fondatore e Imaginator di Pineido. Si occupa di consulenza IT, sviluppo di app e siti web, SEO tecnica, IA e automazione. Rilascia codice in produzione in sprint di 30 giorni con perimetro fisso e responsabilità chiare.

Cosa fa davvero il RAG per un modello locale

Un LLM locale (eseguito tramite Ollama, LM Studio o simili) conosce solo ciò che ha appreso durante l'addestramento. Chiedigli del tuo manuale operativo interno o dello storico di assistenza di un cliente e o rifiuta o inventa una risposta. Il RAG colma quel divario. Prima che il modello scriva un solo token, il sistema cerca in una base di conoscenza costruita a partire dai tuoi documenti, estrae i pochi passaggi più rilevanti per la domanda e li incolla nel prompt come contesto. Il modello risponde poi a partire da quella evidenza anziché dalla memoria.

Il vantaggio di eseguire tutto questo localmente è che i documenti privati non lasciano mai il tuo hardware. Non ci sono costi di API per token, non ci sono termini di condivisione dati da negoziare con un fornitore, e la latenza è dominata dalla tua GPU o CPU anziché da un viaggio di andata e ritorno sulla rete. Per un'azienda di servizi che custodisce contratti, procedure e ticket storici che non possono andare a terzi, questo è spesso l'unico modo accettabile per mettere un LLM vicino a dati sensibili. Il compromesso è che ora possiedi l'intera pipeline, e nella pipeline vive la qualità.

La pipeline: ingestione, chunking, embedding, indicizzazione, recupero

Ogni sistema RAG segue la stessa forma: ingestione, chunking, embedding, indicizzazione, recupero, riordino, costruzione del contesto e poi generazione. Salta o rovina un passo presto e nessuna qualità del modello lo recupera. La regola ripetuta spesso è che, se sistemi una sola cosa, sistema il chunking, perché definisce le unità di conoscenza che il sistema potrà mai recuperare.

L'ingestione carica i file grezzi (PDF, Markdown, righe di database) e li riduce a testo pulito. Il chunking divide quel testo in pezzi recuperabili. L'embedding trasforma ogni frammento in un vettore di numeri che ne cattura il significato. L'indicizzazione memorizza quei vettori in modo che possano essere cercati velocemente. Il recupero trova i frammenti più vicini alla domanda. Un passo opzionale di riordino riordina i candidati con un modello più preciso. Infine, i pochi frammenti migliori vengono assemblati nel prompt e consegnati all'LLM locale.

La trappola mentale è trattare tutto questo come uno script una tantum. In pratica è un ciclo che regoli rispetto a un insieme fisso di domande di test, cambiando una variabile alla volta e misurando se il recupero è migliorato.

Chunking: la decisione a più alta leva

Frammenti troppo grandi annegano il modello in testo irrilevante; frammenti troppo piccoli perdono il contesto che rendeva significativo un passaggio. Il valore predefinito del consenso del 2026 è uno splitter ricorsivo a circa 400-512 token con un 10-20% di sovrapposizione, che gestisce la maggior parte dei casi d'uso prima di aver bisogno di qualcosa di più sofisticato. La maggior parte dei sistemi funziona bene nell'intervallo di 200-500 token, e le domande di tipo fattuale tendono a preferire l'estremità più piccola di quell'intervallo.

La sovrapposizione esiste per impedire che una frase chiave venga tagliata a metà al confine di un frammento; un frammento di 500 token con 50-100 token di sovrapposizione è un punto di partenza ragionevole. Ma tratta la sovrapposizione come un parametro regolabile, non come una legge. Un'analisi di gennaio 2026 ha trovato casi in cui la sovrapposizione aggiungeva costi di indicizzazione senza un beneficio misurabile sul recupero, quindi validala rispetto alle tue domande anziché presumere che aiuti sempre.

Qualunque cosa tu scelga, allega metadati a ogni frammento: titolo del documento, sezione, numero di pagina e un indice del frammento. Quei metadati ti permettono di filtrare il recupero ("cerca solo nei contratti del 2026") e permettono al modello di citare da dove è arrivata una risposta, il che è ciò che trasforma una demo in qualcosa di cui un team si fiderà.

Scegliere un modello di embedding locale

Il modello di embedding decide se un testo semanticamente simile finisca davvero vicino nello spazio vettoriale. Per le configurazioni locali nel 2026 dominano tre nomi. Nomic-embed-text è il valore predefinito sicuro e adatto alla CPU: circa 137M di parametri, all'incirca 274MB su disco, una finestra di contesto di 8.192 token, e di gran lunga il modello di embedding più scaricato su Ollama. Una insidia di configurazione è che il suo contesto nativo è di 8.192 token ma la scheda del modello su Ollama indica 2.048, quindi imposta num_ctx se vuoi la finestra completa.

BGE-M3 è diventato il valore predefinito di produzione per il RAG serio perché supporta il recupero denso e sparso da un unico modello, abilitando la ricerca ibrida senza un indice di parole chiave separato, e copre più di 100 lingue. Se hai la VRAM e vuoi la più alta qualità open source, Qwen3-Embedding (la variante 8B ha ottenuto 70,58 nella classifica multilingue MTEB, prima a giugno 2025) ora compete con le API di embedding commerciali.

Un avvertimento da interiorizzare: i modelli leggeri incentrati sull'inglese come nomic e mxbai-embed-large ottengono un punteggio vicino allo zero sui compiti interlinguistici e si degradano su documenti molto lunghi. Se il tuo corpus è multilingue o ricco di documenti, opta per BGE-M3 o Qwen3 anziché per l'opzione più piccola.

Qdrant o pgvector: come decidere davvero

Questa è la domanda su cui le persone riflettono troppo. Per una tipica configurazione RAG locale sotto i 5 milioni di vettori circa, il database non è quasi mai il tuo collo di bottiglia. Un benchmark del 2026 su qualche migliaio di documenti ha trovato Qdrant e pgvector di fatto alla pari in latenza quando entrambi usano indici HNSW, con una variabilità tra le esecuzioni maggiore del divario tra loro. Il vero costo è l'embedding e la generazione, non la ricerca. Una query vettoriale nell'intervallo di 45-80ms scompare dentro una risposta dell'LLM che richiede da uno a tre secondi.

Quindi la decisione è operativa. Scegli pgvector se gestisci già PostgreSQL: stessi backup, stesso monitoraggio, stesse credenziali, nessun secondo servizio da riavviare alle 2 di notte. È il valore predefinito pragmatico per la maggior parte dei team sotto qualche milione di vettori. Scegli Qdrant quando sei vector-first e su larga scala: è costruito appositamente in Rust, si posiziona ai vertici nei test di throughput ANN su carichi di lavoro da milioni di vettori, integra la quantizzazione per ridurre la memoria, e la sua dashboard su localhost è davvero utile per fare il debug di cosa c'è nel tuo indice.

Il percorso di migrazione sensato è iniziare su pgvector se Postgres è già nel tuo stack, e passare a Qdrant solo se superi le decine di milioni di vettori o hai bisogno di un alto throughput di query concorrenti. Quella migrazione è gestibile; l'ottimizzazione prematura no.

Qualità del recupero: ricerca ibrida e riordino

La pura ricerca vettoriale ha un reale modo di fallimento: confonde termini precisi, ID e acronimi che capita siano semanticamente simili. La ricerca ibrida lo risolve combinando la ricerca per parole chiave (BM25 o SPLADE) con la ricerca vettoriale, e poi fondendo le due liste ordinate, più comunemente con la Reciprocal Rank Fusion. Questo è esattamente il motivo per cui il supporto sparso integrato di BGE-M3 è allettante: un modello serve entrambe le metà.

Il riordino è il passo che porta un sistema da "tematicamente correlato" a "risponde davvero alla domanda". Il recupero di primo stadio è un bi-encoder veloce che valuta la query e i passaggi separatamente; un riordinatore di tipo cross-encoder li valuta congiuntamente e riordina i candidati, cosa che può elevare in modo significativo la qualità del recupero. L'inghippo è la latenza: i cross-encoder sono costosi, quindi recupera una rete ampia (diciamo i primi 30 di ciascun metodo) e riordina fino a un piccolo insieme finale. In un sistema di produzione, passare circa 5 documenti alla generazione era il punto ottimale: contesto sufficiente per domande in più parti senza ingombrare il prompt o invitare il rumore.

Non aggiungere tutto questo il primo giorno. Introducilo a strati, misura ogni cambiamento rispetto a un insieme di domande di riferimento usando Recall@K o NDCG, e fermati quando l'accuratezza è abbastanza buona.

Uno stack locale praticabile e le sue insidie

Uno stack locale comune del 2026 è Ollama per l'inferenza sia di embedding sia di generazione, LlamaIndex per la pipeline di ingestione e indicizzazione (integra centinaia di connettori di documenti e gestisce il chunking in modo pulito), e pgvector o Qdrant come archivio. Per l'orchestrazione oltre il semplice recupero, molti team abbinano il recupero di LlamaIndex a LangGraph. Per un corpus statico a singolo utente, FAISS senza processo server è l'opzione più leggera; Chroma è più accomodante quando più processi hanno bisogno di accesso.

Le insidie sono banali e mordono forte. Ollama ha bisogno di due modelli scaricati separatamente, uno per gli embedding e uno per la generazione, e dimenticare di scaricare il modello di embedding (o puntare all'URL di base sbagliato) produce recuperi vuoti silenziosi che sembrano un database rotto. Su 8GB di RAM, abbassa il modello di generazione a qualcosa come una variante 3B; la qualità dell'embedding non è influenzata e solo il ragionamento complesso soffre leggermente. E pianifica le realtà della produzione fin dall'inizio: la deriva del recupero man mano che il corpus cambia, l'assenza di un ciclo di valutazione e l'impossibilità di tracciare perché una data risposta sia avvenuta sono i modi di fallimento che compaiono dopo il lancio, non prima.

Dove questo si collega al resto della tua configurazione IA

Il RAG è lo strato che rende un modello locale utile sui tuoi dati, ma poggia su decisioni che idealmente hai preso prima: quale modello, quale hardware, come viene servito e come resta privato. Se non hai ancora messo in piedi il modello locale di base, è quello che viene prima; il RAG è la seconda mossa, non la prima.

Le parti che consumano più tempo in pratica non sono affascinanti. Pulire e suddividere in chunk i documenti sorgente, scegliere e testare un modello di embedding rispetto alle tue domande reali, e costruire un ciclo di valutazione per poter capire se un cambiamento ha aiutato sono i punti dove vanno le settimane. È anche lì che uno sprint a perimetro fisso si guadagna il proprio valore: un impegno mirato di 30 giorni può mettere in piedi la pipeline di indicizzazione, collegare Qdrant o pgvector, regolare il recupero rispetto al tuo corpus reale e consegnarti qualcosa che il tuo team può eseguire, anziché una demo intelligente che si degrada silenziosamente nel momento in cui i documenti cambiano.

Pronto a rilasciare?

Dicci dove sei bloccato. Lo esaminiamo e ti inviamo una raccomandazione mirata entro un giorno lavorativo.

Spunti operativi ogni settimana

Unisciti ai responsabili di aziende di servizi che ricevono ogni settimana uno spunto concreto su operazioni, automazione e crescita.

Stiamo verificando che sia una persona. Potrà inviare tra un momento.

Niente spam. Disiscriviti quando vuoi.

Iscrizione completata! Cerca il prossimo numero nella tua casella di posta.

Domande frequenti

Ho bisogno di una GPU per eseguire il RAG su un LLM locale?

Non strettamente. I modelli di embedding come nomic-embed-text girano sulla CPU di un portatile, e i piccoli modelli di generazione funzionano su hardware modesto (un modello 3B sta in 8GB di RAM). Una GPU accelera soprattutto la generazione e ti permette di eseguire modelli più grandi e capaci. Per il throughput di embedding su un grande corpus una GPU aiuta, ma non è necessaria per un sistema funzionante.

Dovrei usare Qdrant o pgvector per un sistema RAG locale?

Sotto i 5 milioni di vettori circa i due si comportano in modo simile, quindi la scelta è operativa. Se gestisci già PostgreSQL, usa pgvector per evitare un secondo servizio. Scegli Qdrant quando sei vector-first e su larga scala (decine di milioni di vettori, query concorrenti pesanti, o vuoi la quantizzazione integrata). Iniziare su pgvector e migrare in seguito è un percorso gestibile.

Quale modello di embedding è il migliore per una configurazione RAG locale?

Nomic-embed-text è il valore predefinito sicuro e adatto alla CPU. BGE-M3 è la scelta di produzione del 2026 perché gestisce il recupero denso e sparso e più di 100 lingue da un unico modello. Qwen3-Embedding offre la più alta qualità open source se hai la VRAM. Evita i modelli leggeri solo in inglese per documenti multilingue o molto lunghi, dove si degradano bruscamente.

Con quale dimensione del frammento e sovrapposizione dovrei iniziare?

Inizia con uno splitter ricorsivo a circa 400-512 token con un 10-20% di sovrapposizione; questo copre la maggior parte dei casi. Frammenti più piccoli migliorano la precisione per le domande fattuali, quelli più grandi preservano il contesto. Tratta la sovrapposizione come un parametro regolabile, dato che alcuni carichi di lavoro non ne traggono alcun beneficio, e allega sempre metadati come titolo, sezione e pagina a ogni frammento.

Il mio RAG locale dà risposte scadenti. Da dove inizio a fare il debug?

Quasi sempre il recupero, non il modello. Verifica che il modello di embedding sia stato davvero scaricato e sia raggiungibile, dato che un URL di base sbagliato produce recuperi vuoti silenziosi. Controlla che il chunking non stia tagliando il contesto a metà, aggiungi la ricerca ibrida se i termini precisi vengono persi, e aggiungi un riordinatore cross-encoder che passa circa cinque documenti alla generazione. Misura ogni cambiamento rispetto a domande di test fisse.

Una configurazione RAG locale è davvero privata?

Sì, quando ogni componente gira localmente: l'LLM, il modello di embedding e il database vettoriale, tutti sul tuo hardware. Nessun documento, query o embedding lascia la tua macchina, e non ci sono costi per token. Il compromesso è che possiedi l'intera pipeline, inclusi indicizzazione, regolazione e un ciclo di valutazione per impedire che l'accuratezza derivi man mano che i documenti cambiano.