Когда RabbitMQ видит мало свободного места, блокировка publishers — защитное поведение, а не зависший broker. В кластере disk alarm одного node блокирует входящие сообщения на всех nodes. Поэтому перезапуск клиента или переключение load balancer обычно ничего не исправляет.
Сначала приостановите необязательных producers и проверьте alarms на каждом member. Не уменьшайте disk_free_limit до нескольких мегабайт и не удаляйте файлы database вручную: брокеру нужен резерв для paging и записи queue data.
Blocked connection отличается от сетевого обрыва
| Признак | Что вероятнее | Что проверить |
|---|---|---|
| connection.blocked с reason | Resource alarm | Disk и memory alarms |
| Publish call ждёт, consumer читает | Publisher flow заблокирован | Client blocked handler и confirms |
| Все nodes перестали принимать | Cluster-wide alarm | Каждый cluster member |
| TCP connection закрыта | Сеть, TLS или broker crash | Logs и connection state |
| Только одна queue растёт | Медленный consumer | Messages ready/unacked и rates |
Поддерживающие расширение AMQP 0-9-1 clients получают connection.blocked и затем connection.unblocked. Client должен логировать событие без credentials и ограничивать собственную очередь ожидания, иначе после восстановления он обрушит накопленный burst на broker.
Проверяем раздел, который использует broker
rabbitmq-diagnostics -q alarms
rabbitmq-diagnostics -q status
rabbitmq-diagnostics -q check_running
# Затем проверьте filesystem каталога данных RabbitMQ
df -hT /var/lib/rabbitmqПуть зависит от установки и должен быть подтверждён конфигурацией node. status и environment могут содержать внутренние имена и пути; в отчёт передают только нужные поля. Проверка выполняется на всех members, а не только на node, к которому подключён producer.
Место освобождаем за пределами queue data
Самый безопасный быстрый путь — расширить volume или удалить подтверждённо ненужные посторонние файлы: старые system logs, временные artifacts, core dumps. Очереди, message store и quorum data не трогают файловыми командами. Удаление queue через API — отдельное бизнес-решение с владельцем данных.
- Остановить источник runaway публикаций, если это допускает процесс.
- Проверить growth rate и ETA до полного диска.
- Освободить место штатной rotation либо увеличить volume.
- Дождаться очистки alarm на каждом node.
- Возвращать publishers постепенно, наблюдая confirms и queue rates.
Watermark выбирают по скорости заполнения
RabbitMQ 4.3 документирует абсолютный disk_free_limit как более понятный вариант. Значение должно оставлять время на реакцию и запас для paging; 50 MB по умолчанию может быть слишком мало для production-нагрузки. Официальная документация предлагает консервативный ориентир, связанный с объёмом памяти, но конкретный резерв считают по peak write rate и времени восстановления.
# rabbitmq.conf — пример, не универсальный размер
disk_free_limit.absolute = 4GB
# Временное изменение живёт до restart;
# постоянное значение храните в управляемой конфигурации.Не ставьте threshold выше фактически доступного места: node сразу останется в alarm. После изменения сверяйте reported disk_free_limit и свободное место. Понижение watermark не создаёт место и не устраняет рост очереди.
Причина часто находится в одной queue
Сопоставьте publish и deliver rates, messages_ready, messages_unacknowledged и consumers. Если вход стабильно выше выхода, после снятия alarm диск снова заполнится. Нужны capacity consumers, ограничение publisher или retention/TTL, согласованный с потерей сообщений, а не циклический ручной cleanup.
Приёмка после unblocked
- Убедиться, что alarms пусты на всех nodes.
- Опубликовать одно тестовое сообщение с publisher confirm.
- Получить его тестовым consumer без дубля.
- Проверить восстановление blocked connection клиента.
- Наблюдать free bytes и queue depth несколько интервалов.
- Вернуть штатный поток ступенчато и подтвердить отрицательный disk slope.
Что сохранить для расследования
Нужны версия RabbitMQ, topology cluster, время alarm, свободные bytes и disk_free_limit каждого node, queue rates, причина blocked notification и временная шкала восстановления. Сообщения из очереди и credentials management API в диагностический пакет не входят.