Если сайт тормозит одновременно с импортом, сначала сравните задержку пользовательского поиска с фактическим потоком записи в Elasticsearch. Очередь импорта и веб-запросы могут конкурировать за CPU, диск или память, но совпадение по времени ещё не доказывает причину. Безопасный эксперимент — уменьшить один параметр фонового потока на стенде и посмотреть, меняется ли задержка при сопоставимой поисковой нагрузке.

Остановить импорт навсегда легко, но это оставит каталог устаревшим. Поэтому оценка включает две величины: время ответа поиска и возраст самого старого необработанного изменения. Цель — согласованный режим, в котором сайт отвечает, а очередь успевает догонять источник. Пустая очередь при неприемлемом поиске не считается хорошим результатом.

Один эксперимент — одно изменение

  1. Зафиксировать обычную поисковую нагрузку и исходную задержку.
  2. Ограничить число одновременных работников импорта.
  3. Повторить тот же набор запросов и записей.
  4. Отдельно испытать другой размер пакета.
  5. Сравнить задержки, отказы и возраст очереди.

Считайте задержку по одинаковому правилу, например выбранный процентиль за сопоставимый интервал. Не сравнивайте среднее утром с максимумом вечером. Вместе с приложением наблюдайте ресурсы кластера и ответы записи: полезен признак, который меняется вслед за управляемым потоком, а не только общий график нагрузки сервера.

Большой bulk не всегда быстрее для сайта

Официальная рекомендация Elastic — подбирать размер bulk-пакета и число работников экспериментом. Слишком большие пакеты и чрезмерная параллельность могут перегружать память и узлы; 429 при индексации служит сигналом перегрузки. Проверено 14 октября 2026 года. Указанные в документации примеры размеров не являются нормативом для вашего каталога: объём документов и поисковая нагрузка различаются.

НаблюдениеГипотезаОграниченная проверка
С ростом workers растёт задержка поискаКонкуренция за ресурсыСнизить параллелизм без смены пакета
Крупный bulk даёт пики памятиСлишком большой пакетУменьшить пакет при прежнем числе workers
После 429 начинается шквал повторовНет управляемого ожиданияОграничить повторы и общий допуск
Сайт быстрее, очередь стареетПропускной способности недостаточноПроверить устойчивость режима на длинном интервале
Условный протокол испытания:
search_workload: <одинаковый набор запросов>
import_workers: <один изменяемый параметр>
bulk_size: <сохранённый размер>
search_latency: <одно правило измерения>
oldest_pending_age: <возраст очереди>
write_failures: <поэлементные исходы>

После отказа запись повторяется управляемо, с ожиданием и конечным бюджетом попыток. Сохраните связь изменения с документом и его версией: запоздавший повтор старой записи не должен затереть новую. Успех HTTP-запроса bulk не заменяет разбор исходов отдельных элементов. Повтор всего пакета вслепую способен увеличить нагрузку и скрыть постоянную ошибку одной записи.

Свежесть выдачи нельзя менять незаметно

Elastic указывает, что увеличение index.refresh_interval может снизить затраты на refresh, если допустима более поздняя видимость изменений в поиске. Проверено по той же инструкции 14 октября 2026 года. Перед экспериментом согласуйте задержку появления цены, остатка и удаления. Эта настройка меняет свежесть выдачи; она не исправляет потерянные события и не должна использоваться как маскировка неработающего импорта.

Не отключайте реплики или защитные ограничения ради первого красивого графика на рабочем кластере. Для статьи достаточно управлять отправителями и оценить допустимую свежесть. Более глубокие изменения требуют отдельной оценки отказоустойчивости и восстановления. Если сайт и Elasticsearch делят один сервер, замеры должны учитывать остальные процессы — иногда поисковый кластер лишь получает последствия нагрузки другого компонента.

Приёмка включает паузу импорта, накопление изменений и постепенное возобновление. После восстановления поток не должен мгновенно отправить весь накопленный объём без прежнего ограничения. Сравните контрольные документы с источником и убедитесь, что очередь действительно обработана, а не очищена потерей задач.

Для продолжения разбора сохраните графики задержки и возраста очереди, параметры отправителя, версии компонентов и обезличенные исходы bulk. При ухудшении верните прежние значения изменённых параметров и сохраните необработанные события. Следующее решение принимается по воспроизводимому компромиссу между скоростью ответа и свежестью данных, а не по максимальному числу записей в секунду.

Проверенные источники