Кога RAG асистент цитира погрешни извори, виновникот обично не е јазичниот модел. Тој може да одговори само од она што ќе му го даде пребарувањето, а тука пребарувањето му даваше делови што едвај имаа врска. Работата на инструкциите и поголемиот модел го лекуваа последниот чекор од процесот за грешка во првиот.
Ги проверивме самите вектори. Документите беа претворени во embeddings месеци порано, со модел поставен да дава вектори со 2048 димензии. Подоцна колоната во базата и кодот за пребарување беа поставени на 1024 димензии, за помалку простор и побрзо пребарување. Задачата за внесување беше прилагодена секој зачуван вектор да го скрати за да собере во колоната, додека прашањата се претвораа директно во 1024. Зачуваните документи и новите прашања сега беа вектори од два различни простора. Пребарувањето сепак враќаше „најблиски“ делови, бидејќи растојание секогаш може да се пресмета, но блискоста меѓу тие два простора значеше многу малку.
Ништо не пукна гласно. Без грешка, без пад, секое пребарување враќаше резултати за милисекунди. Токму тоа го направи скапо: системот изгледаше здрав на секоја табла, а единственото нешто што им беше важно на корисниците, наоѓањето на вистинскиот документ, беше речиси случајно. Моделот за embeddings и неговите димензии беа поставени на три различни места, и се разминале.