RAG-от што бараше во погрешен простор

  • Точниот извор меѓу првите пет: од 17% на 94%
  • 5,5 пати повеќе прашања со точниот документ
  • Тимот за поддршка повторно му верува за 2 недели
  • од 17% на 94% Прашања со точниот извор меѓу првите пет
  • 5,5× Повеќе прашања одговорени од точниот документ
  • 2 недели Додека тимот за поддршка повторно не му поверува

Што се промени

Прашања со точниот извор меѓу првите пет
од 17% на 94%
Повеќе прашања одговорени од точниот документ
5,5×
Додека тимот за поддршка повторно не му поверува
2 недели
Места што го поставуваат моделот и големината
од 3 на 1
Вистински прашања во тестот чувар
120
Целосно повторно претворање на нивната база
Преку ноќ

Ситуацијата

Софтверска компанија изгради асистент за својот тим за поддршка: поставуваш прашање, добиваш одговор од документацијата на производот и старите барања, со линкови до изворите. Retrieval-augmented generation, RAG. Демото изгледаше добро. Во продукција асистентот одговараше самоуверено и цитираше документи што немаа никаква врска со прашањето. Агентите за поддршка престанаа да му веруваат за две недели. Тимот потроши месец препишувајќи инструкции, пробувајќи поголем модел и менувајќи колку документи да се земаат. Секоја промена ги поместуваше одговорите, но не ги правеше точни.

Што всушност беше скршено

Кога RAG асистент цитира погрешни извори, виновникот обично не е јазичниот модел. Тој може да одговори само од она што ќе му го даде пребарувањето, а тука пребарувањето му даваше делови што едвај имаа врска. Работата на инструкциите и поголемиот модел го лекуваа последниот чекор од процесот за грешка во првиот.

Ги проверивме самите вектори. Документите беа претворени во embeddings месеци порано, со модел поставен да дава вектори со 2048 димензии. Подоцна колоната во базата и кодот за пребарување беа поставени на 1024 димензии, за помалку простор и побрзо пребарување. Задачата за внесување беше прилагодена секој зачуван вектор да го скрати за да собере во колоната, додека прашањата се претвораа директно во 1024. Зачуваните документи и новите прашања сега беа вектори од два различни простора. Пребарувањето сепак враќаше „најблиски“ делови, бидејќи растојание секогаш може да се пресмета, но блискоста меѓу тие два простора значеше многу малку.

Ништо не пукна гласно. Без грешка, без пад, секое пребарување враќаше резултати за милисекунди. Токму тоа го направи скапо: системот изгледаше здрав на секоја табла, а единственото нешто што им беше важно на корисниците, наоѓањето на вистинскиот документ, беше речиси случајно. Моделот за embeddings и неговите димензии беа поставени на три различни места, и се разминале.

Чекор по чекор

Тест само на пребарувањето

Собравме 120 вистински прашања од тимот за поддршка и, за секое, документот што би го цитирал експерт. Потоа го измеривме само пребарувањето, без јазичен модел: дали точниот документ се појавува меѓу првите пет резултати? Само кај 17% од прашањата. Таа бројка, а не одговорите, стана мерка за секоја поправка.

Еден сопственик на поставката за embeddings

Моделот за embeddings и бројот на димензии сега живеат во една поставка што ја читаат и внесувањето и пребарувањето. Кодот одбива да зачува или да пребарува со вектор чија должина не одговара на таа поставка, па двете страни никогаш повеќе не можат тивко да се разминат.

Повторно претворање и нов индекс

Целиот корпус го претворивме одново со истиот модел и истата поставка од 1024 димензии што ја користат прашањата, а потоа го изградивме векторскиот индекс на новата колона. Работеше преку ноќ на сопствената Supabase база на компанијата, а стариот индекс остана додека новиот не го помина тестот.

Тестот останува како чувар

Збирот прашања сега се пушта секогаш кога ќе се сменат поставките за embeddings, делењето на текстот или документите. Ако квалитетот на пребарувањето падне, промената не оди во продукција. Пребарувањето порасна од 17% на 94% на истите 120 прашања. Дури тогаш се вративме на инструкциите, и повеќето претходни промени на инструкциите се покажаа непотребни.

од 17% на 94% Прашања со точниот извор меѓу првите пет

Контактирајте нѐ

Кажете ни што сакате да изградиме. Ви кажуваме од каде да почнеме и што е потребно.

Прашањата што одлучуваат дали сме вистински избор

Како различни димензии на embeddings можат да го скршат пребарувањето без грешка?

Векторското пребарување секогаш ги враќа најблиските совпаѓања што може да ги пресмета. Ако зачуваните документи и новите прашања доаѓаат од различни поставки за embeddings, растојанијата сепак се бројки, па резултатите стигнуваат брзо и изгледаат нормално. Само што немаат вистинска врска. Тоа го открива само проверка дали се враќа точниот документ.

Дали помала големина на embeddings е полоша?

Не мора. Многу современи модели за embeddings се учени да работат во повеќе големини, а 1024 димензии се сосема доволни за повеќето збирки документи. Она што крши е мешањето големини или модели меѓу документите и прашањата. Изберете една поставка, користете ја на двете страни и мерете го пребарувањето со вашите прашања.

Дали треба сѐ повторно да се претвори по промена на моделот?

Да. Векторите од различни модели или поставки не можат да се споредуваат, па промена на моделот за embeddings или неговата големина значи повторно претворање на целиот корпус и нов индекс. На сопствена база обично е работа за една ноќ, а тестот ви кажува кога новиот индекс е подготвен да го преземе местото.

АвторОсновач и имагинатор

Објавено