Отметьте время прохождения одного файла через чтение, распознавание, извлечение структуры, разбиение, векторизацию, запись и появление в поиске. Статус «загружен» подтверждает только начало пути. Если основное время занято распознаванием скана, дополнительные потоки записи индекса не ускорят появление ответа.

Для измерения выберите репрезентативный тестовый файл: похожий объём, формат и сложность, но без секретов. Сохраните версии парсера и модели, число страниц, фрагментов и попыток. Сравнивайте полный срок готовности, включая ожидание очередей, а не только время успешного вызова внешнего API.

Паспорт файла показывает место ожидания

ЭтапИзмерениеВозможный разрыв
Чтение и OCRВремя, страницы, ошибкиСкан долго распознаётся
РазбиениеЧисло и размеры фрагментовСлужебный шум размножает чанки
ВекторизацияПакеты, ожидание, повторыОграничение внешнего сервиса
ЗаписьПринятые и отклонённые элементыЧасть пакета не сохранена
Поисковая видимостьКонтрольный запрос по версииЗаписано, но ещё не доступно поиску

Файл с несколькими строками текста и скан одинакового размера в байтах не являются сопоставимой нагрузкой. Отдельно учитывайте извлечение таблиц и изображений. Если конвертер зациклился на повреждённом объекте, ограниченный повтор и очередь разбора полезнее бесконечного занятия работника. Ошибка одного файла не должна бесшумно блокировать весь выпуск.

Параллельность проверяют по отказам, а не только скорости

Elastic рекомендует подбирать размер bulk-запросов измерением и предупреждает, что чрезмерное число работников может перегрузить индекс и вызвать ответы 429. Проверено 20 октября 2026 года. Это рекомендации для Elasticsearch, а не универсальные настройки любой векторной базы. Увеличивайте нагрузку только там, где измерения показали запас принимающей стороны.

Условный тест ускорения:
одинаковый набор -> исходный полный срок
изменить один этап / размер пакета / число работников
сравнить срок, память, отказы и число попыток
сверить ожидаемые и сохранённые фрагменты
контрольный поиск -> нужная версия действительно доступна
сбой посередине -> повтор не создаёт второй набор

Сервис векторизации может иметь собственные ограничения на размер и частоту запросов. Не подставляйте неподтверждённые лимиты из чужого примера: проверьте выбранный API и окружение. Повтор после временного отказа должен сохранять идентичность фрагмента и ограничивать число попыток. Иначе более быстрая очередь будет многократно оплачивать одну работу.

Готовность документа требует полноты

Завершённая отправка пакета не доказывает успех каждого элемента. Соберите подтверждения записи и сверку числа фрагментов с манифестом — перечнем ожидаемых частей выпуска. При частичной ошибке файл остаётся в предусмотренном промежуточном состоянии. Новая неполная версия не должна случайно подменить предыдущую пригодную инструкцию.

  • Неизменившийся файл не проходит дорогое преобразование без причины.
  • Версия парсера учитывается при переиспользовании результата.
  • Частично принятый пакет восстанавливается адресно.
  • Поздний работник не публикует старую версию поверх новой.
  • Срок до поисковой видимости измерен отдельно от записи.

Для большого начального импорта иногда меняют настройки обновления поисковой видимости, но это увеличивает задержку чтения и требует отдельного плана возврата. Не применяйте такой приём к рабочему индексу вслепую. Начните с профиля одного файла и одного изменения на стенде. На разбор принесите времена этапов, количества частей и коды отказов: эти данные покажут узкое место без передачи самих закрытых документов.

Проверенные источники