Сохраните старый набор документов как контроль и прогоните одни и те же вопросы по старому и расширенному корпусу. Сравните найденные фрагменты до генерации. Если нужная инструкция раньше попадала в выдачу, а теперь вытеснена похожими файлами, смена текста промпта не устранит причину. Для первого опыта достаточно изолированного сравнения, без удаления рабочей базы.

Рост корпуса меняет конкуренцию кандидатов. Новый файл может содержать много повторов, похожие названия другого продукта или черновую инструкцию. Больше документов не означает больше полезного контекста для конкретного вопроса. Отделите такой случай от неудачного разбиения и устаревшей версии: здесь проверяется именно влияние добавленного набора.

Разделите новые файлы на проверяемые группы

ГруппаРискСравнение
Копии одного регламентаЗанимают несколько позицийЧисло разных источников в выдаче
Другой продукт с теми же терминамиПодмена области ответаПараметры продукта и разрешённый фильтр
Черновики и архивКонкуренция с действующей инструкциейМетаданные публикации и применимости
Навигационные выгрузкиСовпадения по служебному шумуОчищенный текст до индексирования

Разметьте вопросы с опорным документом или фрагментом, который действительно содержит ответ. Измерьте долю вопросов, где он попал в выбранное число кандидатов, и отдельно качество финального ответа. Усреднение по всему набору скрывает проблему: общие вопросы могут улучшиться, а точные инструкции одного продукта — исчезнуть. Смотрите группы по типу задачи.

Больше кандидатов не равно больше доказательств

В Azure AI Search параметр vectorQueries.k задаёт число возвращаемых векторных совпадений. Документация проверена 20 октября 2026 года. Это размер выдачи, а не гарантия правильного источника. Увеличение k можно проверить как отдельный эксперимент, но передача всех кандидатов модели добавляет цену и конкурирующие утверждения.

Условный контроль корпуса:
A: исходные документы
B: A + добавленная группа файлов
вопросы, модель, фильтры, настройки поиска -> одинаковые
сравнить позиции опорных фрагментов A и B
затем проверить отбор контекста и финальный ответ
повторить для каждой добавленной группы отдельно

Если нужный фрагмент есть среди кандидатов, но исчезает после переранжирования, исправление относится к этому этапу. Если он передан модели, а ответ всё равно неверен, изучайте конфликт источников и сборку контекста. Не объявляйте индекс виновником только по плохому финальному тексту. Отдельная фиксация результатов стадий делает гипотезу проверяемой.

Верните разнообразие и применимость

  1. Убрать доказанные технические дубли из тестового выпуска.
  2. Сохранить устойчивый источник и признаки действующей версии.
  3. Проверить допустимые продуктовые фильтры по подтверждённому контексту.
  4. Оценить отбор разных полезных разделов вместо повторов одного.
  5. Повторить контроль на прежних и новых вопросах.

Не используйте жёсткий фильтр, основанный на догадке модели, как способ скрыть сложные вопросы. Ошибочная область исключит правильный документ ещё до ранжирования. Если пользователь не указал различающий продукт, иногда нужен уточняющий вопрос. Закрытые источники не должны попадать в диагностику неавторизованного запроса даже ради измерения качества.

Публикуйте проверенный выпуск корпуса с возможностью вернуться к совместимому предыдущему набору. Сохраняйте список изменений, а не пытайтесь вручную удалить «лишние файлы» из рабочей базы без протокола. Для содержательного разбора нужны старый и новый состав, набор вопросов и позиции опорных фрагментов. Они покажут, какая группа документов принесла знания, а какая вытеснила ответ.

Проверенные источники