basic.nack с requeue=true способен вернуть сообщение почти сразу тому же consumer и загрузить CPU бесконечным циклом. Первый шаг — остановить быстрый requeue для известной ошибки и направить сообщение в контролируемый retry или quarantine path. Не удаляйте его молча: сохраните message ID, тип ошибки и последний безопасный diagnostic context.
Число попыток выбирают не глобально. Timeout внешнего API можно повторить с backoff, неверный payload бессмысленно обрабатывать второй раз, а неизвестную ошибку лучше ограниченно повторить и передать человеку. Retry budget включает не только count, но и максимальный возраст задачи и допустимое число side effects.
Класс ошибки определяет следующий маршрут
| Результат обработки | Действие | Причина |
|---|---|---|
| Временный timeout или 503 | Delayed retry с backoff | Зависимость может восстановиться |
| Validation error payload | Dead-letter сразу | Повтор не изменит вход |
| Unauthorized после ротации | Ограниченный retry после refresh credential | Нужен отдельный восстановительный шаг |
| Side effect выполнен, ack потерян | Idempotent replay | Доставка может повториться |
| Неизвестная exception | Малый budget и quarantine | Нельзя бесконечно нагружать систему |
В RabbitMQ 4.3 счётчики означают разное
Quorum queues добавляют x-delivery-count для неуспешных доставок и x-acquired-count для числа назначений consumer. Начиная с 4.3 обычный AMQP 0.9.1 basic.nack сам по себе не увеличивает delivery-count, а basic.reject и потеря connection с unacked message увеличивают. Поэтому нельзя предполагать, что любой requeue приблизил сообщение к delivery-limit.
У quorum queue с RabbitMQ 4.0 default delivery-limit равен 20. После превышения сообщение удаляется или отправляется в DLX, если он настроен. Отключение лимита значением -1 возвращает неограниченное поведение и документацией не рекомендуется. Для classic queues и межверсионной совместимости часто нужен application-level attempt в новом сообщении retry.
Policy ставит предел и сохраняет исчерпанные задачи
rabbitmqctl set_policy retry-guard \
"^jobs\." \
"{\"delivery-limit\":8,\"dead-letter-exchange\":\"jobs.dlx\"}" \
--priority 50 \
--apply-to quorum_queuesИмена и limit условны. Перед применением проверьте RabbitMQ version, queue type, существующие operator policies и binding target DLX. Без подходящей dead-letter destination исчерпанное сообщение может быть удалено. Изменение policy сначала проводят на тестовой queue и подтверждают через effective policy и synthetic poison message.
Backoff не держит worker и не штормит зависимость
RabbitMQ 4.3 добавляет delayed retry для quorum queues с линейной задержкой, ограниченной minimum и maximum. Но application должен всё равно отличать recoverable outcome и permanent failure. Для других queue types используют retry queues с TTL и dead-letter routing либо внешний scheduler; схема обязана избегать цикла, где DLX сразу возвращает сообщение в исходную queue.
- Первая попытка получает короткую задержку, следующие — увеличенную до cap.
- Retry не блокирует consumer thread с sleep.
- Attempt и first_seen_at сохраняются при republish.
- Publisher confirms подтверждают запись retry до ack исходного сообщения.
- Один message ID не создаёт повторный платёж или письмо.
- DLQ имеет retention, владельца и процедуру replay.
Если consumer публикует новое retry message, сначала дождитесь publisher confirm и только затем ack исходное. Иначе разрыв между операциями потеряет задачу. Обратный порядок без idempotency может создать дубликат. Транзакционная outbox или broker-specific безопасный механизм выбирается по цене потери и повторения.
DLQ — рабочая очередь расследования, не архив навсегда
- Записать error class, attempt, first_seen_at и last_failed_at без секретов.
- Сгруппировать сообщения по fingerprint причины, а не только queue name.
- Исправить consumer или входные данные через контролируемую процедуру.
- Проверить idempotency key перед replay.
- Повторно отправлять небольшими batch с rate limit.
- Следить за новым failure rate и остановить replay при повторении причины.
- Удалять сообщения только по retention policy и после сохранения нужного аудита.
Приёмочный тест ломает зависимость намеренно
temporary failure -> delayed retries -> success -> one side effect
invalid payload -> direct DLQ -> zero retries
persistent 503 -> budget exhausted -> DLQ
consumer crash -> redelivery -> idempotent result
retry publish lost -> original remains unacked
DLQ replay batch -> rate limited and observableУспех измеряется отсутствием tight loop, ограниченным возрастом retry, сохранёнными poison messages и ровно одним business result. Для настройки нужны RabbitMQ и protocol versions, queue type, ack/reject code paths, effective policies, DLX bindings и обезличенная timeline одного message ID.