От документ към откъс
При индексиране документът се проверява, текстът се извлича и разделя на смислови части. Към всяка част се запазват източник, версия и права. Подходящият размер зависи от документа: твърде кратките откъси губят контекст, а твърде дългите внасят нерелевантна информация.
Таблици, приложения и препратки могат да се нарушат при обработката. Затова качеството на извличане се оценява отделно от модела. Системата не трябва да прикрива нечетим документ зад убедителен отговор.
Разрешението идва преди сходството
Първо се определя кои документи потребителят може да вижда. Едва след това се търсят подходящи откъси. Филтриране само на финалния текст е твърде късно: забраненото съдържание вече може да е попаднало в контекста на модела.
Правилото трябва да обхваща и разговорите, кешовете и препратките. При отнемане на права старите резултати не бива да остават достъпни по друг път. Тествайте изрично с потребители от различни групи.
Сходството не доказва истина
Векторното търсене намира близко съдържание, но не определя дали то е актуално или авторитетно. Съчетавайте релевантността с версия, тип източник и бизнес контекст. При конфликт между два документа отговорът трябва да показва несигурността.
Цитатът трябва да подкрепя конкретното твърдение. Наличието на връзка в края на параграфа не е достатъчно. Проверявайте дали човек може да стигне от отговора до точния откъс и да потвърди смисъла.
Документите могат да съдържат злонамерени инструкции
Текст като „игнорирай предишните правила“ може да бъде част от извлечен файл. Приложението трябва да третира документа като недоверени данни. Правата, инструментите и разрешените действия не могат да зависят само от инструкция към модела.
Ограничете източниците и процеса на публикуване. Журналът трябва да позволява проследяване на използваните версии, без безконтролно копиране на поверителното съдържание.
Пример: отменена процедура в резултатите
Представете си въпрос за допустим разход, при който търсенето намира стара и нова версия на политиката. И двете съдържат сходни думи и могат да изглеждат релевантни. Без статус на документа системата може да цитира отменения праг и да даде напълно правдоподобен отговор.
Контролният тест трябва да провери коя версия е разрешена, дали старият откъс е оттеглен от активния индекс и какво вижда служителят. Ако двете версии още са валидни за различни дружества, е необходим правилният организационен контекст. Така тестът проверява не само езика, а връзката между бизнес правилото, данните и правата.
Оценявайте и правилните откази
Контролният набор включва въпроси с отговор, въпроси без достатъчно информация и опити за достъп до забранени документи. Оценявайте намирането, цитатите и обосноваността поотделно. Повтаряйте проверките след нов модел или промяна на индекса.