Отметьте время прохождения одного файла через чтение, распознавание, извлечение структуры, разбиение, векторизацию, запись и появление в поиске. Статус «загружен» подтверждает только начало пути. Если основное время занято распознаванием скана, дополнительные потоки записи индекса не ускорят появление ответа.
Для измерения выберите репрезентативный тестовый файл: похожий объём, формат и сложность, но без секретов. Сохраните версии парсера и модели, число страниц, фрагментов и попыток. Сравнивайте полный срок готовности, включая ожидание очередей, а не только время успешного вызова внешнего API.
Паспорт файла показывает место ожидания
| Этап | Измерение | Возможный разрыв |
|---|---|---|
| Чтение и OCR | Время, страницы, ошибки | Скан долго распознаётся |
| Разбиение | Число и размеры фрагментов | Служебный шум размножает чанки |
| Векторизация | Пакеты, ожидание, повторы | Ограничение внешнего сервиса |
| Запись | Принятые и отклонённые элементы | Часть пакета не сохранена |
| Поисковая видимость | Контрольный запрос по версии | Записано, но ещё не доступно поиску |
Файл с несколькими строками текста и скан одинакового размера в байтах не являются сопоставимой нагрузкой. Отдельно учитывайте извлечение таблиц и изображений. Если конвертер зациклился на повреждённом объекте, ограниченный повтор и очередь разбора полезнее бесконечного занятия работника. Ошибка одного файла не должна бесшумно блокировать весь выпуск.
Параллельность проверяют по отказам, а не только скорости
Elastic рекомендует подбирать размер bulk-запросов измерением и предупреждает, что чрезмерное число работников может перегрузить индекс и вызвать ответы 429. Проверено 20 октября 2026 года. Это рекомендации для Elasticsearch, а не универсальные настройки любой векторной базы. Увеличивайте нагрузку только там, где измерения показали запас принимающей стороны.
Условный тест ускорения:
одинаковый набор -> исходный полный срок
изменить один этап / размер пакета / число работников
сравнить срок, память, отказы и число попыток
сверить ожидаемые и сохранённые фрагменты
контрольный поиск -> нужная версия действительно доступна
сбой посередине -> повтор не создаёт второй наборСервис векторизации может иметь собственные ограничения на размер и частоту запросов. Не подставляйте неподтверждённые лимиты из чужого примера: проверьте выбранный API и окружение. Повтор после временного отказа должен сохранять идентичность фрагмента и ограничивать число попыток. Иначе более быстрая очередь будет многократно оплачивать одну работу.
Готовность документа требует полноты
Завершённая отправка пакета не доказывает успех каждого элемента. Соберите подтверждения записи и сверку числа фрагментов с манифестом — перечнем ожидаемых частей выпуска. При частичной ошибке файл остаётся в предусмотренном промежуточном состоянии. Новая неполная версия не должна случайно подменить предыдущую пригодную инструкцию.
- Неизменившийся файл не проходит дорогое преобразование без причины.
- Версия парсера учитывается при переиспользовании результата.
- Частично принятый пакет восстанавливается адресно.
- Поздний работник не публикует старую версию поверх новой.
- Срок до поисковой видимости измерен отдельно от записи.
Для большого начального импорта иногда меняют настройки обновления поисковой видимости, но это увеличивает задержку чтения и требует отдельного плана возврата. Не применяйте такой приём к рабочему индексу вслепую. Начните с профиля одного файла и одного изменения на стенде. На разбор принесите времена этапов, количества частей и коды отказов: эти данные покажут узкое место без передачи самих закрытых документов.