Ajouter le RAG aux LLM locaux : un guide pratique
Un LLM local qui tourne sur votre propre matériel répond uniquement à partir des données d'entraînement. Il ne connaît pas vos contrats, vos tickets, ni la décision de tarification de la semaine dernière. La génération augmentée par récupération (RAG) corrige cela en laissant le modèle chercher dans vos documents et répondre à partir d'eux. Ce guide parcourt les briques d'indexation, d'embedding et de récupération, le choix entre Qdrant et pgvector, et les erreurs qui ruinent silencieusement la précision.
Le plan8
- Ce que le RAG apporte réellement à un modèle local
- La chaîne : ingérer, découper, embedder, indexer, récupérer
- Le découpage : la décision au plus fort levier
- Choisir un modèle d'embedding local
- Qdrant ou pgvector : comment décider concrètement
- Qualité de récupération : recherche hybride et réordonnancement
- Une pile locale viable et ses pièges
- Où cela se connecte au reste de votre configuration IA
Ce que le RAG apporte réellement à un modèle local
Un LLM local (exécuté via Ollama, LM Studio ou similaire) ne connaît que ce qu'il a appris pendant l'entraînement. Interrogez-le sur votre manuel d'exploitation interne ou sur l'historique de service d'un client et il refuse ou invente une réponse. Le RAG comble cet écart. Avant que le modèle n'écrive un seul token, le système cherche dans une base de connaissances construite à partir de vos documents, en extrait les quelques passages les plus pertinents pour la question et les colle dans le prompt comme contexte. Le modèle répond alors à partir de cette preuve plutôt que de sa mémoire.
Le gain de faire tourner cela localement est que les documents privés ne quittent jamais votre matériel. Pas de frais d'API par token, pas de conditions de partage de données à négocier avec un fournisseur, et la latence est dominée par votre propre GPU ou CPU plutôt que par un aller-retour réseau. Pour une entreprise de services assise sur des contrats, des procédures et des tickets historiques qui ne peuvent pas aller chez un tiers, c'est souvent la seule façon acceptable de mettre un LLM près de données sensibles. Le compromis est que vous possédez désormais toute la chaîne de traitement, et c'est dans la chaîne que réside la qualité.
La chaîne : ingérer, découper, embedder, indexer, récupérer
Tout système RAG suit la même forme : ingestion, découpage, embeddings, indexation, récupération, réordonnancement, construction du contexte, puis génération. Sautez ou bâclez une étape tôt et aucune qualité de modèle ne le rattrape. La règle souvent répétée est que si vous ne corrigez qu'une seule chose, corrigez le découpage, car il définit les unités de connaissance que le système pourra jamais récupérer.
L'ingestion charge les fichiers bruts (PDF, Markdown, lignes de base de données) et les réduit à du texte propre. Le découpage divise ce texte en morceaux récupérables. L'embedding transforme chaque fragment en un vecteur de nombres qui capture son sens. L'indexation stocke ces vecteurs pour qu'ils puissent être recherchés rapidement. La récupération trouve les fragments les plus proches de la question. Une étape optionnelle de réordonnancement reclasse les candidats avec un modèle plus précis. Enfin, les quelques meilleurs fragments sont assemblés dans le prompt et remis au LLM local.
Le piège mental est de traiter cela comme un script ponctuel. En pratique, c'est une boucle que vous ajustez contre un ensemble fixe de questions de test, en changeant une variable à la fois et en mesurant si la récupération s'est améliorée.
Le découpage : la décision au plus fort levier
Des fragments trop grands noient le modèle dans du texte hors sujet ; des fragments trop petits perdent le contexte qui rendait un passage significatif. La valeur par défaut du consensus 2026 est un découpeur récursif d'environ 400-512 tokens avec 10-20% de chevauchement, qui couvre la majorité des cas d'usage avant que vous n'ayez besoin de quelque chose de plus sophistiqué. La plupart des systèmes fonctionnent bien dans la plage de 200-500 tokens, et les questions de type factuel tendent à favoriser le bas de cette plage.
Le chevauchement existe pour empêcher qu'une phrase clé soit coupée en deux à une frontière de fragment ; un fragment de 500 tokens avec 50-100 tokens de chevauchement est un point de départ raisonnable. Mais traitez le chevauchement comme un paramètre réglable, pas comme une loi. Une analyse de janvier 2026 a trouvé des cas où le chevauchement ajoutait un coût d'indexation sans bénéfice mesurable de récupération, alors validez-le contre vos propres questions plutôt que de supposer qu'il aide toujours.
Quoi que vous choisissiez, attachez des métadonnées à chaque fragment : titre du document, section, numéro de page et un index de fragment. Ces métadonnées vous permettent de filtrer la récupération ("ne chercher que dans les contrats de 2026") et permettent au modèle de citer d'où vient une réponse, ce qui transforme une démo en quelque chose à quoi une équipe fera confiance.
Choisir un modèle d'embedding local
Le modèle d'embedding décide si un texte sémantiquement similaire atterrit réellement à proximité dans l'espace vectoriel. Pour les configurations locales en 2026, trois noms dominent. Nomic-embed-text est la valeur par défaut sûre et compatible CPU : environ 137M de paramètres, à peu près 274 Mo sur le disque, une fenêtre de contexte de 8 192 tokens, et de loin le modèle d'embedding le plus téléchargé sur Ollama. Un piège de configuration est que son contexte natif est de 8 192 tokens mais que la fiche du modèle sur Ollama indique 2 048, alors réglez num_ctx si vous voulez la fenêtre complète.
BGE-M3 est devenu la valeur par défaut de production pour le RAG sérieux car il prend en charge la récupération dense et clairsemée depuis un seul modèle, permettant la recherche hybride sans index de mots-clés séparé, et il couvre plus de 100 langues. Si vous avez la VRAM et voulez la plus haute qualité open source, Qwen3-Embedding (la variante 8B a obtenu 70,58 sur le classement multilingue MTEB, première en date de juin 2025) rivalise désormais avec les API d'embedding commerciales.
Une mise en garde à intérioriser : les modèles légers centrés sur l'anglais comme nomic et mxbai-embed-large obtiennent un score proche de zéro sur les tâches interlingues et se dégradent sur les documents très longs. Si votre corpus est multilingue ou riche en documents, tournez-vous vers BGE-M3 ou Qwen3 plutôt que vers l'option la plus petite.
Qdrant ou pgvector : comment décider concrètement
C'est la question que les gens suranalysent. Pour une configuration RAG locale typique sous environ 5 millions de vecteurs, la base de données n'est presque jamais votre goulot d'étranglement. Un benchmark de 2026 sur quelques milliers de documents a trouvé Qdrant et pgvector effectivement à égalité en latence quand les deux utilisent des index HNSW, avec une variabilité d'une exécution à l'autre plus grande que l'écart entre eux. Le vrai coût, c'est l'embedding et la génération, pas la recherche. Une requête vectorielle dans la plage de 45-80 ms disparaît à l'intérieur d'une réponse de LLM qui prend une à trois secondes.
La décision est donc opérationnelle. Choisissez pgvector si vous exécutez déjà PostgreSQL : mêmes sauvegardes, même supervision, mêmes identifiants, aucun second service à redémarrer à 2 heures du matin. C'est la valeur par défaut pragmatique pour la plupart des équipes sous quelques millions de vecteurs. Choisissez Qdrant quand vous êtes vector-first et à l'échelle : il est conçu spécifiquement en Rust, se classe en tête des tests de débit ANN sur des charges de millions de vecteurs, embarque la quantification pour réduire la mémoire, et son tableau de bord sur localhost est vraiment utile pour déboguer ce qui se trouve dans votre index.
Le chemin de migration sensé est de commencer sur pgvector si Postgres est déjà dans votre stack, et de passer à Qdrant seulement si vous franchissez les dizaines de millions de vecteurs ou avez besoin d'un fort débit de requêtes concurrentes. Cette migration est faisable ; l'optimisation prématurée ne l'est pas.
Qualité de récupération : recherche hybride et réordonnancement
La recherche vectorielle pure a un vrai mode de défaillance : elle confond les termes précis, les identifiants et les acronymes qui se trouvent être sémantiquement similaires. La recherche hybride corrige cela en combinant la recherche par mots-clés (BM25 ou SPLADE) avec la recherche vectorielle, puis en fusionnant les deux listes classées, le plus souvent avec la Reciprocal Rank Fusion. C'est exactement pourquoi le support clairsemé intégré de BGE-M3 est attrayant : un seul modèle sert les deux moitiés.
Le réordonnancement est l'étape qui fait passer un système de "thématiquement lié" à "répond réellement à la question". La récupération de première étape est un bi-encodeur rapide qui note la requête et les passages séparément ; un réordonnanceur de type cross-encodeur les note conjointement et reclasse les candidats, ce qui peut élever sensiblement la qualité de récupération. Le hic, c'est la latence : les cross-encodeurs sont coûteux, alors récupérez un large filet (disons les 30 meilleurs de chaque méthode) et réordonnez vers un petit ensemble final. Dans un système de production, passer environ 5 documents à la génération était le point idéal : assez de contexte pour des questions à plusieurs volets sans encombrer le prompt ni inviter le bruit.
N'ajoutez pas tout cela dès le premier jour. Introduisez-le par couches, mesurez chaque changement contre un ensemble de questions de référence avec Recall@K ou NDCG, et arrêtez-vous quand la précision est assez bonne.
Une pile locale viable et ses pièges
Une pile locale courante de 2026 est Ollama pour l'inférence d'embedding et de génération, LlamaIndex pour la chaîne d'ingestion et d'indexation (il embarque des centaines de connecteurs de documents et gère le découpage proprement), et pgvector ou Qdrant comme stockage. Pour l'orchestration au-delà de la simple récupération, beaucoup d'équipes associent la récupération de LlamaIndex à LangGraph. Pour un corpus statique mono-utilisateur, FAISS sans processus serveur est l'option la plus légère ; Chroma est plus accommodant quand plusieurs processus ont besoin d'accès.
Les pièges sont banals et ils mordent fort. Ollama a besoin de deux modèles téléchargés séparément, un pour les embeddings et un pour la génération, et oublier de télécharger le modèle d'embedding (ou pointer vers la mauvaise URL de base) produit des récupérations vides silencieuses qui ressemblent à une base de données cassée. Avec 8 Go de RAM, descendez le modèle de génération vers quelque chose comme une variante 3B ; la qualité de l'embedding n'est pas affectée et seul le raisonnement complexe souffre légèrement. Et anticipez dès le départ les réalités de la production : la dérive de récupération à mesure que le corpus change, l'absence de boucle d'évaluation et l'impossibilité de retracer pourquoi une réponse donnée a eu lieu sont les modes de défaillance qui apparaissent après le lancement, pas avant.
Où cela se connecte au reste de votre configuration IA
Le RAG est la couche qui rend un modèle local utile sur vos propres données, mais elle repose sur des décisions que vous avez idéalement prises plus tôt : quel modèle, quel matériel, comment il est servi et comment il reste privé. Si vous n'avez pas encore mis en place le modèle local de base, c'est cela qui vient d'abord ; le RAG est le deuxième coup, pas le premier.
Les parties qui consomment le plus de temps en pratique ne sont pas glamour. Nettoyer et découper les documents sources, choisir et tester un modèle d'embedding contre vos vraies questions, et construire une boucle d'évaluation pour pouvoir dire si un changement a aidé, c'est là que partent les semaines. C'est aussi là qu'un sprint à périmètre fixe gagne sa valeur : une mission concentrée de 30 jours peut monter la chaîne d'indexation, brancher Qdrant ou pgvector, ajuster la récupération contre votre corpus réel et vous remettre quelque chose que votre équipe peut exécuter, plutôt qu'une démo astucieuse qui se dégrade silencieusement dès que les documents changent.
Prêt à livrer ?
Dites-nous où vous bloquez. Nous l’examinons et vous envoyons une recommandation ciblée sous un jour ouvré.
Des idées opérationnelles chaque semaine
Rejoignez les dirigeants d’entreprises de services qui reçoivent chaque semaine une idée concrète sur les opérations, l’automatisation et la croissance.
Pas de spam. Désabonnement à tout moment.
Vous êtes inscrit ! Surveillez votre boîte de réception pour le prochain numéro.
L’envoi a échoué. Réessayez ou écrivez à [email protected].
Questions fréquentes
Ai-je besoin d'un GPU pour faire tourner le RAG sur un LLM local ?
Pas strictement. Les modèles d'embedding comme nomic-embed-text tournent sur le CPU d'un ordinateur portable, et les petits modèles de génération fonctionnent sur du matériel modeste (un modèle 3B tient dans 8 Go de RAM). Un GPU accélère surtout la génération et vous permet de faire tourner des modèles plus grands et plus performants. Pour le débit d'embedding sur un grand corpus, un GPU aide mais n'est pas requis pour un système fonctionnel.
Dois-je utiliser Qdrant ou pgvector pour un système RAG local ?
Sous environ 5 millions de vecteurs, les deux se comportent de manière similaire, donc le choix est opérationnel. Si vous exécutez déjà PostgreSQL, utilisez pgvector pour éviter un second service. Choisissez Qdrant quand vous êtes vector-first et à l'échelle (dizaines de millions de vecteurs, requêtes concurrentes lourdes, ou vous voulez la quantification intégrée). Commencer sur pgvector et migrer plus tard est un chemin faisable.
Quel modèle d'embedding est le meilleur pour une configuration RAG locale ?
Nomic-embed-text est la valeur par défaut sûre et compatible CPU. BGE-M3 est le choix de production 2026 car il gère la récupération dense et clairsemée et plus de 100 langues depuis un seul modèle. Qwen3-Embedding offre la plus haute qualité open source si vous avez la VRAM. Évitez les modèles légers uniquement en anglais pour les documents multilingues ou très longs, où ils se dégradent fortement.
Quelle taille de fragment et quel chevauchement adopter au départ ?
Commencez avec un découpeur récursif d'environ 400-512 tokens avec 10-20% de chevauchement ; cela couvre la plupart des cas. Des fragments plus petits améliorent la précision pour les questions factuelles, les plus grands préservent le contexte. Traitez le chevauchement comme un paramètre réglable, car certaines charges n'en tirent aucun bénéfice, et attachez toujours des métadonnées comme le titre, la section et la page à chaque fragment.
Mon RAG local donne de mauvaises réponses. Par où commencer le débogage ?
Presque toujours la récupération, pas le modèle. Confirmez que le modèle d'embedding a bien été téléchargé et qu'il est joignable, car une mauvaise URL de base produit des récupérations vides silencieuses. Vérifiez que le découpage ne coupe pas le contexte en deux, ajoutez la recherche hybride si des termes précis sont manqués, et ajoutez un réordonnanceur cross-encodeur passant environ cinq documents à la génération. Mesurez chaque changement contre des questions de test fixes.
Une configuration RAG locale est-elle vraiment privée ?
Oui, lorsque chaque composant tourne localement : le LLM, le modèle d'embedding et la base de données vectorielle, tous sur votre propre matériel. Aucun document, aucune requête ni aucun embedding ne quitte votre machine, et il n'y a pas de frais par token. Le compromis est que vous possédez toute la chaîne, y compris l'indexation, l'ajustement et une boucle d'évaluation pour empêcher la précision de dériver à mesure que les documents changent.