Añadir RAG a los LLM locales: una guía práctica
Un LLM local que se ejecuta en tu propio hardware responde solo a partir de los datos de entrenamiento. No conoce tus contratos, tus tickets ni la decisión de precios de la semana pasada. La generación aumentada por recuperación (RAG) lo soluciona al permitir que el modelo busque en tus documentos y responda a partir de ellos. Esta guía recorre las piezas de indexación, embedding y recuperación, la decisión entre Qdrant y pgvector, y los errores que silenciosamente arruinan la precisión.
El esquema8
- Qué hace realmente RAG por un modelo local
- La canalización: ingerir, fragmentar, embeber, indexar, recuperar
- Fragmentado: la decisión de mayor impacto
- Elegir un modelo de embedding local
- Qdrant o pgvector: cómo decidir de verdad
- Calidad de recuperación: búsqueda híbrida y reordenamiento
- Un stack local viable y sus trampas
- Dónde conecta esto con el resto de tu configuración de IA
Qué hace realmente RAG por un modelo local
Un LLM local (ejecutado mediante Ollama, LM Studio o similar) solo sabe lo que aprendió durante el entrenamiento. Pregúntale sobre tu manual de operaciones interno o el historial de servicio de un cliente y o se niega o inventa una respuesta. RAG cierra esa brecha. Antes de que el modelo escriba un solo token, el sistema busca en una base de conocimiento construida a partir de tus documentos, extrae los pocos pasajes más relevantes para la pregunta y los pega en el prompt como contexto. El modelo entonces responde a partir de esa evidencia en lugar de a partir de la memoria.
La recompensa de ejecutar esto localmente es que los documentos privados nunca salen de tu hardware. No hay tarifas de API por token, no hay términos de intercambio de datos que negociar con un proveedor, y la latencia está dominada por tu propia GPU o CPU en lugar de un viaje de ida y vuelta por la red. Para una empresa de servicios que cuenta con contratos, procedimientos y tickets históricos que no pueden ir a un tercero, esta es a menudo la única forma aceptable de poner un LLM cerca de datos sensibles. La contrapartida es que ahora eres dueño de toda la canalización, y la canalización es donde reside la calidad.
La canalización: ingerir, fragmentar, embeber, indexar, recuperar
Todo sistema RAG sigue la misma forma: ingestión, fragmentado, embeddings, indexación, recuperación, reordenamiento, construcción del contexto y luego generación. Omite o estropea un paso temprano y ninguna cantidad de calidad del modelo lo recupera. La regla repetida con frecuencia es que, si solo arreglas una cosa, arregla el fragmentado, porque define las unidades de conocimiento que el sistema podrá recuperar.
La ingestión carga los archivos en bruto (PDF, Markdown, filas de base de datos) y los reduce a texto limpio. El fragmentado divide ese texto en piezas recuperables. El embedding convierte cada fragmento en un vector de números que captura su significado. La indexación almacena esos vectores para que puedan buscarse rápido. La recuperación encuentra los fragmentos más cercanos a la pregunta. Un paso opcional de reordenamiento reorganiza los candidatos con un modelo más preciso. Por último, los pocos fragmentos principales se ensamblan en el prompt y se entregan al LLM local.
La trampa mental es tratar esto como un script de una sola vez. En la práctica es un bucle que ajustas contra un conjunto fijo de preguntas de prueba, cambiando una variable a la vez y midiendo si la recuperación mejoró.
Fragmentado: la decisión de mayor impacto
Los fragmentos demasiado grandes ahogan al modelo en texto irrelevante; los fragmentos demasiado pequeños pierden el contexto que hacía significativo a un pasaje. El valor por defecto del consenso de 2026 es un divisor recursivo de aproximadamente 400-512 tokens con un 10-20% de solapamiento, que cubre la mayoría de los casos de uso antes de necesitar algo más sofisticado. La mayoría de los sistemas funcionan bien en el rango de 200-500 tokens, y las preguntas de tipo factual tienden a favorecer el extremo más pequeño de ese rango.
El solapamiento existe para evitar que una frase clave quede cortada por la mitad en un límite de fragmento; un fragmento de 500 tokens con 50-100 tokens de solapamiento es un punto de partida razonable. Pero trata el solapamiento como un parámetro ajustable, no como una ley. Un análisis de enero de 2026 encontró casos en los que el solapamiento añadía coste de indexación sin beneficio medible en la recuperación, así que valídalo contra tus propias preguntas en lugar de asumir que siempre ayuda.
Sea lo que sea que elijas, adjunta metadatos a cada fragmento: título del documento, sección, número de página y un índice de fragmento. Esos metadatos te permiten filtrar la recuperación ("buscar solo en los contratos de 2026") y permiten que el modelo cite de dónde vino una respuesta, que es lo que convierte una demo en algo en lo que un equipo confiará.
Elegir un modelo de embedding local
El modelo de embedding decide si un texto semánticamente similar realmente acaba cerca en el espacio vectorial. Para configuraciones locales en 2026, dominan tres nombres. Nomic-embed-text es el valor por defecto seguro y compatible con CPU: alrededor de 137M de parámetros, unos 274MB en disco, una ventana de contexto de 8.192 tokens y, con diferencia, el modelo de embedding más descargado en Ollama. Un detalle de configuración es que su contexto nativo es de 8.192 tokens pero la ficha del modelo en Ollama indica 2.048, así que establece num_ctx si quieres la ventana completa.
BGE-M3 se ha convertido en el valor por defecto de producción para RAG serio porque admite recuperación densa y dispersa desde un solo modelo, lo que permite la búsqueda híbrida sin un índice de palabras clave separado, y cubre más de 100 idiomas. Si tienes la VRAM y quieres la mayor calidad de código abierto, Qwen3-Embedding (la variante de 8B obtuvo 70,58 en la tabla de clasificación multilingüe MTEB, ocupando el primer puesto a junio de 2025) ahora compite con las API de embedding comerciales.
Una advertencia que vale la pena interiorizar: los modelos ligeros centrados en inglés como nomic y mxbai-embed-large obtienen una puntuación cercana a cero en tareas interlingüísticas y se degradan con documentos muy largos. Si tu corpus es multilingüe o tiene muchos documentos, recurre a BGE-M3 o Qwen3 en lugar de la opción más pequeña.
Qdrant o pgvector: cómo decidir de verdad
Esta es la pregunta que la gente piensa demasiado. Para una configuración RAG local típica por debajo de aproximadamente 5 millones de vectores, la base de datos casi nunca es tu cuello de botella. Un benchmark de 2026 sobre unos pocos miles de documentos encontró que Qdrant y pgvector quedaban prácticamente empatados en latencia cuando ambos usan índices HNSW, con una variación entre ejecuciones mayor que la diferencia entre ellos. El coste real es el embedding y la generación, no la búsqueda. Una consulta vectorial en el rango de 45-80ms desaparece dentro de una respuesta del LLM que tarda de uno a tres segundos.
Así que la decisión es operativa. Elige pgvector si ya ejecutas PostgreSQL: las mismas copias de seguridad, la misma monitorización, las mismas credenciales, ningún segundo servicio que reiniciar a las 2 de la madrugada. Es el valor por defecto pragmático para la mayoría de los equipos por debajo de unos pocos millones de vectores. Elige Qdrant cuando seas vector-first y estés a escala: está construido a propósito en Rust, alcanza los primeros puestos en las pruebas de rendimiento de ANN en cargas de trabajo de millones de vectores, incorpora cuantización para reducir la memoria, y su panel de control en localhost es genuinamente útil para depurar qué hay en tu índice.
El camino de migración sensato es empezar en pgvector si Postgres ya está en tu stack, y pasar a Qdrant solo si cruzas a decenas de millones de vectores o necesitas un alto rendimiento de consultas concurrentes. Esa migración es tratable; la optimización prematura no lo es.
Calidad de recuperación: búsqueda híbrida y reordenamiento
La búsqueda vectorial pura tiene un modo de fallo real: confunde términos precisos, identificadores y acrónimos que resultan ser semánticamente similares. La búsqueda híbrida lo soluciona combinando la búsqueda por palabras clave (BM25 o SPLADE) con la búsqueda vectorial, y luego fusionando las dos listas ordenadas, lo más común con Reciprocal Rank Fusion. Esto es exactamente por lo que el soporte disperso incorporado de BGE-M3 resulta atractivo: un modelo sirve para ambas mitades.
El reordenamiento es el paso que lleva a un sistema de "relacionado temáticamente" a "realmente responde la pregunta". La recuperación de primera etapa es un bi-encoder rápido que puntúa la consulta y los pasajes por separado; un reordenador de tipo cross-encoder los puntúa conjuntamente y reorganiza los candidatos, lo que puede elevar significativamente la calidad de la recuperación. La pega es la latencia: los cross-encoders son caros, así que recupera una red amplia (digamos los 30 principales de cada método) y reordena hasta un conjunto final pequeño. En un sistema de producción, pasar unos 5 documentos a la generación era el punto óptimo: suficiente contexto para preguntas de varias partes sin saturar el prompt ni invitar al ruido.
No añadas todo esto el primer día. Incorpóralo por capas, mide cada cambio contra un conjunto de preguntas de referencia usando Recall@K o NDCG, y detente cuando la precisión sea lo bastante buena.
Un stack local viable y sus trampas
Un stack local común de 2026 es Ollama para la inferencia tanto de embedding como de generación, LlamaIndex para la canalización de ingestión e indexación (incluye cientos de conectores de documentos y maneja el fragmentado de forma limpia), y pgvector o Qdrant como almacén. Para la orquestación más allá de la recuperación simple, muchos equipos combinan la recuperación de LlamaIndex con LangGraph. Para un corpus estático de un solo usuario, FAISS sin proceso de servidor es la opción más ligera; Chroma es más amigable cuando varios procesos necesitan acceso.
Las trampas son mundanas y muerden fuerte. Ollama necesita dos modelos separados descargados, uno para embeddings y otro para generación, y olvidar descargar el modelo de embedding (o apuntar a la URL base equivocada) produce recuperaciones vacías silenciosas que parecen una base de datos rota. Con 8GB de RAM, baja el modelo de generación a algo como una variante de 3B; la calidad del embedding no se ve afectada y solo el razonamiento complejo sufre ligeramente. Y planifica las realidades de producción desde el principio: la deriva de recuperación a medida que el corpus cambia, la ausencia de un bucle de evaluación y la falta de forma de rastrear por qué ocurrió una respuesta dada son los modos de fallo que aparecen después del lanzamiento, no antes.
Dónde conecta esto con el resto de tu configuración de IA
RAG es la capa que hace útil a un modelo local sobre tus propios datos, pero se asienta sobre decisiones que idealmente tomaste antes: qué modelo, qué hardware, cómo se sirve y cómo se mantiene privado. Si todavía no has puesto en marcha el modelo local base, eso va primero; RAG es el segundo movimiento, no el primero.
Las partes que más tiempo consumen en la práctica no son glamorosas. Limpiar y fragmentar los documentos fuente, elegir y probar un modelo de embedding contra tus preguntas reales, y construir un bucle de evaluación para poder saber si un cambio ayudó es donde se van las semanas. Ahí es también donde un sprint de alcance fijo gana su sustento: una colaboración enfocada de 30 días puede levantar la canalización de indexación, conectar Qdrant o pgvector, ajustar la recuperación contra tu corpus real, y entregarte algo que tu equipo pueda ejecutar, en lugar de una demo ingeniosa que se degrada silenciosamente en cuanto los documentos cambian.
¿Listo para lanzar?
Cuéntenos dónde está atascado. Lo revisaremos y le enviaremos una recomendación concreta en un día hábil.
Reciba ideas sobre operaciones cada semana
Únase a los responsables de empresas de servicios que reciben cada semana una idea práctica sobre operaciones, automatización y crecimiento.
Sin spam. Cancele cuando quiera.
¡Ya está suscrito! Busque nuestro próximo número en su bandeja de entrada.
No se pudo enviar. Inténtelo de nuevo o escriba a [email protected].
Preguntas frecuentes
¿Necesito una GPU para ejecutar RAG en un LLM local?
No estrictamente. Los modelos de embedding como nomic-embed-text se ejecutan en la CPU de un portátil, y los modelos de generación pequeños funcionan en hardware modesto (un modelo de 3B cabe en 8GB de RAM). Una GPU sobre todo acelera la generación y te permite ejecutar modelos más grandes y capaces. Para el rendimiento de embedding en un corpus grande, una GPU ayuda pero no es necesaria para un sistema funcional.
¿Debería usar Qdrant o pgvector para un sistema RAG local?
Por debajo de aproximadamente 5 millones de vectores los dos rinden de forma similar, así que la elección es operativa. Si ya ejecutas PostgreSQL, usa pgvector para evitar un segundo servicio. Elige Qdrant cuando seas vector-first y estés a escala (decenas de millones de vectores, consultas concurrentes intensas, o quieres cuantización incorporada). Empezar en pgvector y migrar más tarde es un camino tratable.
¿Qué modelo de embedding es mejor para una configuración RAG local?
Nomic-embed-text es el valor por defecto seguro y compatible con CPU. BGE-M3 es la elección de producción de 2026 porque maneja recuperación densa y dispersa y más de 100 idiomas desde un solo modelo. Qwen3-Embedding ofrece la mayor calidad de código abierto si tienes la VRAM. Evita los modelos ligeros solo de inglés para documentos multilingües o muy largos, donde se degradan bruscamente.
¿Con qué tamaño de fragmento y solapamiento debería empezar?
Empieza con un divisor recursivo de unos 400-512 tokens con un 10-20% de solapamiento; eso cubre la mayoría de los casos. Los fragmentos más pequeños mejoran la precisión para preguntas factuales, los más grandes preservan el contexto. Trata el solapamiento como un parámetro ajustable, ya que algunas cargas de trabajo no ven ningún beneficio en él, y adjunta siempre metadatos como título, sección y página a cada fragmento.
Mi RAG local da malas respuestas. ¿Por dónde empiezo a depurar?
Casi siempre es la recuperación, no el modelo. Confirma que el modelo de embedding se descargó realmente y es accesible, ya que una URL base equivocada produce recuperaciones vacías silenciosas. Comprueba que el fragmentado no esté cortando el contexto por la mitad, añade búsqueda híbrida si se pierden términos precisos, y añade un reordenador cross-encoder pasando unos cinco documentos a la generación. Mide cada cambio contra preguntas de prueba fijas.
¿Es una configuración RAG local verdaderamente privada?
Sí, cuando cada componente se ejecuta localmente: el LLM, el modelo de embedding y la base de datos vectorial, todos en tu propio hardware. Ningún documento, consulta ni embedding sale de tu máquina, y no hay tarifas por token. La contrapartida es que eres dueño de toda la canalización, incluyendo la indexación, el ajuste y un bucle de evaluación para evitar que la precisión derive a medida que los documentos cambian.