Не увеличивайте top-k вслепую. Сначала откройте страницу, где точно есть ответ, и возьмите редкую фразу из двух-трёх слов. Затем ищите её последовательно в extracted text, chunk store и поисковом индексе. Если фраза исчезла при OCR, настройка векторного поиска её не вернёт; если chunk найден, но генератор молчит, проблема уже после retrieval.

Большой PDF — не один текстовый поток. В нём бывают сканированные страницы, две колонки, повторяющиеся колонтитулы, таблицы, сноски и вложенные изображения. Простое извлечение по порядку объектов может склеить левую колонку с правой или оторвать заголовок от таблицы. Поэтому диагностика должна сохранять страницу и структуру, а не только длинную строку.

Пять контрольных точек вместо одной ошибки «ответа нет»

ЭтапБыстрая проверкаТипичная поломка
Доступ к файлуHash и число страниц совпадаютИндексируется старая версия или preview
ИзвлечениеРедкая фраза есть в page textНет OCR, перепутаны колонки, потеряна таблица
ChunkingФраза и её заголовок в одном или соседнем chunkРазрыв строки посередине условия
ИндексПо exact phrase находится chunk IDJob завершился частично или поле не searchable
RetrievalНужный chunk входит в top-k без генератораФильтр ACL, query rewrite или score
ОтветЦитата поддерживает выводМодель игнорирует context или получает усечённый prompt

Azure Document Layout skill умеет выдавать Markdown или text и сохранять сведения о расположении, включая страницы и изображения. Это удобнее для заголовков и таблиц, чем плоский поток. Но пределы тарифа и формата тоже нужно читать: например, число обрабатываемых страниц и режим image extraction зависят от конфигурации сервиса.

Карточка chunk делает потерю наблюдаемой

document_id: manual-v7
file_sha256: 91b...e42
page_from: 184
page_to: 185
heading_path: 7.4 / Аварийный режим
content_type: table_with_caption
chunk_index: 392
parser_version: layout-2026-09
text_hash: 2dc...8a1
acl_scope: engineering
indexed_at: 2026-10-04T14:08:00Z

По такой записи можно ответить на конкретный вопрос: какая версия файла разобрана, какая страница породила chunk, какой парсер работал и не запретил ли доступ ACL-фильтр. Номер страницы лучше хранить как метаданные и возвращать в цитате; вычислять его позже по позиции символа ненадёжно, особенно после OCR.

Разбиваем по структуре, но не делаем chunks бесконечными

  • Начинать новый блок по заголовку, а heading path копировать в дочерние chunks.
  • Не отделять подпись таблицы и названия столбцов от строк, к которым они относятся.
  • Добавлять небольшой overlap на границе абзацев, а не дублировать целые страницы.
  • Удалять повторяющиеся headers и footers только после проверки, что они действительно шаблонные.
  • Для скана хранить OCR confidence и ссылку на изображение страницы для ручной сверки.
  • Слишком большие разделы дополнительно резать по абзацам с сохранением section identity.

Microsoft описывает layout-aware chunking как способ учитывать структуру документа и семантическую связность. Это не отменяет измерений: подходящий размер зависит от модели embeddings, длины запроса и характера документа. Сравнивайте варианты на одном golden set, а не выбирайте размер только по числу токенов.

Retrieval тестируем отдельно от красивого ответа

  1. Запросить точную редкую фразу без query rewrite и фильтров, кроме обязательного ACL.
  2. Повторить смысловой вопрос через vector search и сохранить top-k с raw scores.
  3. Добавить keyword или hybrid retrieval для артикулов, формул и точных терминов.
  4. Проверить, что reranker не выбросил нужную страницу после первого этапа.
  5. Передать найденные chunks в answer step и потребовать page citation.
  6. Если доказательства нет, возвращать «не найдено», а не достраивать ответ из памяти модели.

Отдельно воспроизведите запрос под той же ролью пользователя. Частая ситуация: администратор видит chunk в индексе, а пользовательский ACL корректно исключает документ. Это не ошибка поиска, но интерфейс должен различать «нет доступа» и «в доступных источниках ответа нет», если политика безопасности позволяет.

Набор приёмки для одного большого документа

Составьте 15–30 вопросов: по обычному абзацу, таблице, подписи к рисунку, сканированной странице, двум колонкам и разделу возле границы chunk. Для каждого заранее укажите документ, страницу и допустимый фрагмент. Релиз проходит, когда нужная страница стабильно появляется в retrieval, ответ цитирует её, запретный документ не просачивается, а повторная индексация той же версии не создаёт дубликаты.

Проверенные источники