Сначала ограничьте число одновременно работающих генераторов, сохранив остальные задания в очереди. Запуск отдельного процесса для каждой строки партии способен занять всю память и временный диск ещё до появления первого результата. Затем измерьте один обычный и один сложный документ в том же окружении, где работает пакет.

Считайте работающие процессы, а не размер списка

РесурсЧто наблюдать во время задания
ПамятьПик процесса и дочерних конвертеров
CPUВремя обработки и загрузку
Временный дискОбъём распаковки, изображений и PDF
ХранилищеЗагрузку ресурсов и запись результата
ОчередьВозраст ожидания и число исполняемых задач

Сотня ожидающих заданий и сотня одновременно запущенных конвертеров дают разную нагрузку. Выберите общий лимит исполнения на узел, а не отдельный лимит на каждый HTTP-запрос. Иначе несколько пользователей одновременно создадут столько независимых партий, что локальные ограничения перестанут помогать.

Условная модель партии:
batch_id -> перечень документов
job_id -> один закреплённый набор данных и шаблон
admission -> разрешение занять слот рендеринга
attempt_id -> конкретный запуск
artifact_id -> проверенный результат

Повтор API создания партии возвращает тот же состав.
Очередь ожидания не должна запускать рендерер заранее.

Долгий документ не должен размножаться при повторе

Для Amazon SQS истечение visibility timeout делает неудалённое сообщение снова видимым; справочник проверен 29 октября 2026 года. Если конвертация ещё идёт, другой работник может получить то же задание. Подберите политику продления и устойчивый учёт владения задачей, но не считайте аренду очереди гарантией единственного запуска.

Результат связывайте с устойчивым job_id и версией входа. Два завершившихся запуска не должны дважды отправлять документ клиенту. Выходной файл сначала создаётся как отдельный артефакт, проходит проверку, затем становится результатом задания. Само наличие файла по ожидаемому имени не доказывает, что это полный результат текущей попытки.

Ограничьте время, память и размер входных ресурсов в соответствии с измерениями и задачей продукта. Плохой шаблон или тяжёлое изображение не должны бесконечно занимать слот. После завершения или аварии учитывайте дочерние процессы и временные файлы; повтор не должен наследовать случайные остатки предыдущего запуска.

Разделите классы работ, если один очень большой документ задерживает весь поток коротких. Например, отдельный допуск для тяжёлых пакетов сохраняет отзывчивость одиночного выпуска. Это решение по измеренной нагрузке, а не повод заранее увеличивать число работников до количества процессорных ядер без проверки памяти.

Увеличивайте параллелизм ступенчато

  1. Измерить один документ и сохранить характеристики входа.
  2. Запустить небольшую синтетическую партию с ограниченным числом работников.
  3. Повышать допуск, наблюдая пики и время ожидания.
  4. Прервать один запуск и проверить безопасный повтор.
  5. Приостановить партию и сверить завершённые и ещё не начатые задания.

Полезный результат испытания — найденный рабочий предел для конкретного профиля документов и запас для сайта. Если память растёт после каждого задания и не возвращается, исследуйте утечку или жизненный цикл процесса. Простое снижение очереди ожидания не исправляет удерживаемые ресурсы.

Остановка партии запрещает новые допуски, а для уже исполняемых заданий действует отдельная политика завершения или отмены. Показывайте пользователю эти различия. Для технического разбора подготовьте профиль одного тяжёлого документа, число процессов, пики памяти и временного диска, журнал повторов. Уже выпущенные файлы сохраняйте при изменении лимитов; их повторная отправка требует отдельного решения.

Проверенные источники