Добавление RAG к локальным LLM: практическое руководство

Локальная LLM, работающая на вашем собственном оборудовании, отвечает только на основе обучающих данных. Она не знает ваших договоров, ваших заявок, ни решения по ценам, принятого на прошлой неделе. Генерация с дополнением через поиск (RAG) решает это, позволяя модели искать в ваших документах и отвечать на их основе. Это руководство проходит по составляющим индексации, эмбеддинга и поиска, по выбору между Qdrant и pgvector, и по ошибкам, которые тихо разрушают точность.

6 мин чтенияРазделов: 822 июня 2026 г.

Kostadin Stamboliev

Основатель и имагинатор

LinkedIn

Основатель и имагинатор Pineido. Занимается ИТ-консалтингом, разработкой приложений и сайтов, техническим SEO, ИИ и автоматизацией. Выпускает рабочий код 30-дневными спринтами с фиксированным объёмом и понятной ответственностью.

Что RAG на самом деле даёт локальной модели

Локальная LLM (запущенная через Ollama, LM Studio или аналог) знает только то, что выучила во время обучения. Спросите её о вашем внутреннем регламенте или истории обслуживания клиента, и она либо откажется, либо выдумает ответ. RAG закрывает этот разрыв. Прежде чем модель напишет хотя бы один токен, система ищет в базе знаний, построенной из ваших документов, извлекает несколько наиболее релевантных вопросу фрагментов и вставляет их в промпт как контекст. Затем модель отвечает на основе этого свидетельства, а не из памяти.

Выгода от локального запуска в том, что приватные документы никогда не покидают ваше оборудование. Нет платы за API по токенам, нет условий передачи данных, которые нужно согласовывать с поставщиком, и задержка определяется вашим собственным GPU или CPU, а не сетевым обменом. Для сервисной компании, у которой есть договоры, регламенты и исторические заявки, которые нельзя передавать третьей стороне, это часто единственный приемлемый способ поместить LLM рядом с чувствительными данными. Компромисс в том, что теперь вы владеете всем конвейером, а именно в конвейере и живёт качество.

Конвейер: загрузка, разбивка, эмбеддинг, индексация, поиск

Каждая система RAG имеет одну и ту же форму: загрузка, разбивка на фрагменты, эмбеддинги, индексация, поиск, переранжирование, построение контекста, а затем генерация. Пропустите или испортите шаг на раннем этапе, и никакое качество модели этого не восстановит. Часто повторяемое правило гласит: если вы исправляете только одно, исправьте разбивку на фрагменты, потому что она определяет единицы знания, которые система вообще сможет извлечь.

Загрузка берёт исходные файлы (PDF, Markdown, строки базы данных) и сводит их к чистому тексту. Разбивка делит этот текст на извлекаемые части. Эмбеддинг превращает каждый фрагмент в вектор чисел, который улавливает его смысл. Индексация сохраняет эти векторы так, чтобы их можно было быстро искать. Поиск находит фрагменты, ближайшие к вопросу. Необязательный шаг переранжирования переупорядочивает кандидатов с помощью более точной модели. Наконец, несколько лучших фрагментов собираются в промпт и передаются локальной LLM.

Мысленная ловушка в том, чтобы относиться к этому как к одноразовому скрипту. На практике это цикл, который вы настраиваете на фиксированном наборе тестовых вопросов, меняя по одной переменной за раз и измеряя, улучшился ли поиск.

Разбивка на фрагменты: решение с наибольшим рычагом

Слишком большие фрагменты топят модель в нерелевантном тексте; слишком маленькие фрагменты теряют контекст, который делал отрывок осмысленным. Значение по умолчанию по консенсусу 2026 года это рекурсивный разделитель примерно на 400-512 токенов с перекрытием в 10-20%, что покрывает большинство сценариев использования, прежде чем вам понадобится что-то более изощрённое. Большинство систем хорошо работают в диапазоне 200-500 токенов, а фактологические вопросы тяготеют к меньшему краю этого диапазона.

Перекрытие существует, чтобы ключевое предложение не оказалось разрезанным пополам на границе фрагмента; фрагмент в 500 токенов с перекрытием в 50-100 токенов это разумная отправная точка. Но относитесь к перекрытию как к настраиваемому параметру, а не как к закону. Анализ от января 2026 года выявил случаи, когда перекрытие добавляло издержки индексации без измеримой выгоды для поиска, поэтому проверяйте его на ваших собственных вопросах, а не предполагайте, что оно всегда помогает.

Что бы вы ни выбрали, прикрепляйте к каждому фрагменту метаданные: название документа, раздел, номер страницы и индекс фрагмента. Эти метаданные позволяют фильтровать поиск ("искать только в договорах 2026 года") и позволяют модели указывать, откуда взялся ответ, а это и есть то, что превращает демонстрацию в нечто, чему команда будет доверять.

Выбор локальной модели эмбеддинга

Модель эмбеддинга решает, действительно ли семантически похожий текст оказывается рядом в векторном пространстве. Для локальных конфигураций в 2026 году доминируют три имени. Nomic-embed-text это безопасный, дружелюбный к CPU вариант по умолчанию: около 137M параметров, примерно 274МБ на диске, контекстное окно в 8 192 токена и, безусловно, самая скачиваемая модель эмбеддинга на Ollama. Одна тонкость настройки в том, что её родной контекст составляет 8 192 токена, но карточка модели на Ollama указывает 2 048, поэтому задайте num_ctx, если хотите полное окно.

BGE-M3 стала продакшен-вариантом по умолчанию для серьёзного RAG, потому что поддерживает плотный и разреженный поиск из одной модели, давая гибридный поиск без отдельного индекса ключевых слов, и охватывает более 100 языков. Если у вас есть VRAM и вы хотите наивысшее качество с открытым исходным кодом, Qwen3-Embedding (вариант на 8B набрал 70,58 в многоязычном рейтинге MTEB, заняв первое место по состоянию на июнь 2025) теперь конкурирует с коммерческими API эмбеддинга.

Одна оговорка, которую стоит усвоить: лёгкие, ориентированные на английский модели вроде nomic и mxbai-embed-large набирают близкий к нулю балл на межъязыковых задачах и деградируют на очень длинных документах. Если ваш корпус многоязычный или насыщен документами, обращайтесь к BGE-M3 или Qwen3, а не к самому маленькому варианту.

Qdrant или pgvector: как на самом деле выбрать

Это вопрос, над которым люди слишком много думают. Для типичной локальной конфигурации RAG примерно до 5 миллионов векторов база данных почти никогда не является вашим узким местом. Бенчмарк 2026 года на нескольких тысячах документов показал, что Qdrant и pgvector фактически равны по задержке, когда оба используют индексы HNSW, причём разброс от запуска к запуску больше, чем разница между ними. Реальная стоимость это эмбеддинг и генерация, а не поиск. Векторный запрос в диапазоне 45-80мс растворяется внутри ответа LLM, который занимает от одной до трёх секунд.

Так что решение операционное. Выбирайте pgvector, если вы уже используете PostgreSQL: те же резервные копии, тот же мониторинг, те же учётные данные, никакого второго сервиса, который надо перезапускать в 2 часа ночи. Это прагматичный вариант по умолчанию для большинства команд при количестве векторов до нескольких миллионов. Выбирайте Qdrant, когда вы ориентированы на векторы и работаете в масштабе: он специально создан на Rust, занимает верхние позиции в тестах пропускной способности ANN на нагрузках в миллионы векторов, поставляется со встроенным квантованием для сокращения памяти, а его панель на localhost действительно полезна для отладки того, что лежит в вашем индексе.

Здравый путь миграции это начать на pgvector, если Postgres уже в вашем стеке, и переходить на Qdrant только если вы пересекаете рубеж в десятки миллионов векторов или вам нужна высокая пропускная способность параллельных запросов. Такая миграция выполнима; преждевременная оптимизация нет.

Качество поиска: гибридный поиск и переранжирование

У чистого векторного поиска есть реальный режим отказа: он смешивает точные термины, идентификаторы и аббревиатуры, которые оказываются семантически похожими. Гибридный поиск исправляет это, объединяя поиск по ключевым словам (BM25 или SPLADE) с векторным поиском, а затем сливая два ранжированных списка, чаще всего с помощью Reciprocal Rank Fusion. Именно поэтому встроенная разреженная поддержка BGE-M3 привлекательна: одна модель обслуживает обе половины.

Переранжирование это шаг, который выводит систему из состояния "тематически связано" в состояние "действительно отвечает на вопрос". Поиск первого этапа это быстрый би-энкодер, который оценивает запрос и отрывки по отдельности; кросс-энкодерный переранжировщик оценивает их совместно и переупорядочивает кандидатов, что может заметно поднять качество поиска. Загвоздка в задержке: кросс-энкодеры дороги, поэтому извлекайте широкую сеть (скажем, топ-30 от каждого метода) и переранжируйте до небольшого финального набора. В одной продакшен-системе передача около 5 документов в генерацию была оптимальной точкой: достаточно контекста для составных вопросов без загромождения промпта и без приглашения шума.

Не добавляйте всё это в первый день. Вводите это слоями, измеряйте каждое изменение на наборе эталонных вопросов с помощью Recall@K или NDCG и останавливайтесь, когда точность достаточно хороша.

Работоспособный локальный стек и его подводные камни

Распространённый локальный стек 2026 года это Ollama для инференса как эмбеддинга, так и генерации, LlamaIndex для конвейера загрузки и индексации (он поставляется с сотнями коннекторов документов и аккуратно обрабатывает разбивку на фрагменты), и pgvector или Qdrant в качестве хранилища. Для оркестрации сверх простого поиска многие команды сочетают поиск LlamaIndex с LangGraph. Для статического корпуса с одним пользователем FAISS без серверного процесса это самый лёгкий вариант; Chroma удобнее, когда доступ нужен нескольким процессам.

Подводные камни обыденны, и они кусают больно. Ollama требует двух отдельно скачанных моделей, одной для эмбеддингов и одной для генерации, и забыв скачать модель эмбеддинга (или указав неверный базовый URL), вы получаете тихие пустые результаты поиска, которые выглядят как сломанная база данных. На 8ГБ ОЗУ опустите модель генерации до чего-то вроде варианта на 3B; качество эмбеддинга не пострадает, и лишь сложные рассуждения слегка просядут. И планируйте реалии продакшена с самого начала: дрейф поиска по мере изменения корпуса, отсутствие цикла оценки и невозможность отследить, почему возник тот или иной ответ, это режимы отказа, которые проявляются после запуска, а не до него.

Где это связано с остальной частью вашей конфигурации ИИ

RAG это слой, который делает локальную модель полезной на ваших собственных данных, но он опирается на решения, которые в идеале вы приняли раньше: какая модель, какое оборудование, как она обслуживается и как остаётся приватной. Если вы ещё не подняли базовую локальную модель, это идёт первым; RAG это второй ход, а не первый.

Части, которые на практике съедают больше всего времени, неприглядны. Очистка и разбивка исходных документов на фрагменты, выбор и тестирование модели эмбеддинга на ваших реальных вопросах, и построение цикла оценки, чтобы вы могли понять, помогло ли изменение, это там, куда уходят недели. Именно там фиксированный по объёму спринт окупает себя: сфокусированная работа на 30 дней может поднять конвейер индексации, подключить Qdrant или pgvector, настроить поиск на вашем реальном корпусе и передать вам нечто, что ваша команда может запускать, а не остроумную демонстрацию, которая тихо деградирует в тот момент, когда документы меняются.

Готовы к запуску?

Расскажите, где вы застряли. Мы разберёмся и пришлём конкретную рекомендацию в течение одного рабочего дня.

Идеи для операционной работы каждую неделю

Присоединяйтесь к руководителям сервисных компаний, которые каждую неделю получают одну практическую идею об операциях, автоматизации и росте.

Проверяем, что вы человек. Отправить можно будет через мгновение.

Без спама. Отписаться можно в любой момент.

Вы подписаны! Следующий выпуск придёт на вашу почту.

Часто задаваемые вопросы

Нужен ли мне GPU, чтобы запускать RAG на локальной LLM?

Не обязательно. Модели эмбеддинга вроде nomic-embed-text работают на CPU ноутбука, а небольшие модели генерации работают на скромном оборудовании (модель на 3B помещается в 8ГБ ОЗУ). GPU в основном ускоряет генерацию и позволяет запускать более крупные и способные модели. Для пропускной способности эмбеддинга на большом корпусе GPU помогает, но для работающей системы не требуется.

Использовать ли Qdrant или pgvector для локальной системы RAG?

При количестве примерно до 5 миллионов векторов оба работают схоже, так что выбор операционный. Если вы уже используете PostgreSQL, используйте pgvector, чтобы избежать второго сервиса. Выбирайте Qdrant, когда вы ориентированы на векторы и работаете в масштабе (десятки миллионов векторов, тяжёлые параллельные запросы или вам нужно встроенное квантование). Начать на pgvector и мигрировать позже это выполнимый путь.

Какая модель эмбеддинга лучше для локальной конфигурации RAG?

Nomic-embed-text это безопасный, дружелюбный к CPU вариант по умолчанию. BGE-M3 это продакшен-выбор 2026 года, потому что он обрабатывает плотный и разреженный поиск и более 100 языков из одной модели. Qwen3-Embedding предлагает наивысшее качество с открытым исходным кодом, если у вас есть VRAM. Избегайте лёгких моделей только для английского на многоязычных или очень длинных документах, где они резко деградируют.

С какого размера фрагмента и перекрытия мне начать?

Начните с рекурсивного разделителя примерно на 400-512 токенов с перекрытием в 10-20%; это покрывает большинство случаев. Меньшие фрагменты улучшают точность для фактологических вопросов, большие сохраняют контекст. Относитесь к перекрытию как к настраиваемому параметру, поскольку некоторые нагрузки не получают от него никакой выгоды, и всегда прикрепляйте к каждому фрагменту метаданные вроде названия, раздела и страницы.

Мой локальный RAG даёт плохие ответы. С чего начать отладку?

Почти всегда дело в поиске, а не в модели. Убедитесь, что модель эмбеддинга действительно скачана и доступна, поскольку неверный базовый URL порождает тихие пустые результаты поиска. Проверьте, что разбивка на фрагменты не режет контекст пополам, добавьте гибридный поиск, если точные термины теряются, и добавьте кросс-энкодерный переранжировщик, передающий около пяти документов в генерацию. Измеряйте каждое изменение на фиксированных тестовых вопросах.

Действительно ли локальная конфигурация RAG приватна?

Да, когда каждый компонент работает локально: LLM, модель эмбеддинга и векторная база данных, все на вашем собственном оборудовании. Никакие документы, запросы или эмбеддинги не покидают вашу машину, и нет платы за токены. Компромисс в том, что вы владеете всем конвейером, включая индексацию, настройку и цикл оценки, чтобы точность не дрейфовала по мере изменения документов.