Redis Stream не является очередью с автоматическим удалением после чтения. XACK меняет состояние Pending Entries List конкретной consumer group, но запись остаётся в самом stream. Поэтому XLEN растёт, пока producer или отдельная задача не применит retention.

Не запускайте XTRIM наугад при заполненном диске. Сначала измерьте длину, память, lag и pending каждой группы. Старое сообщение может быть уже не нужно одной группе, но всё ещё ожидаться другой.

ACK, trim и TTL делают разные вещи

МеханизмЧто меняетГлавное ограничение
XACKСнимает pending у группыНе удаляет entry из stream
XDELУдаляет выбранные entryНе задаёт постоянную retention-политику
XTRIM MAXLENОставляет приблизительное/точное число entryВозраст записей может различаться
XTRIM MINIDУдаляет ID ниже cutoffНужна осмысленная связь ID со временем
EXPIRE keyУдаляет весь stream keyНе подходит для непрерывного общего stream

Для суточных отдельных streams TTL может быть уместен: истекает весь ключ периода. Для одного непрерывного stream требуется MAXLEN или MINID. Политику формулируют через бизнес-требование: сколько событий или какой период допускается переигрывать.

Перед сокращением снимаем три показателя

XLEN events:orders
XINFO GROUPS events:orders
XPENDING events:orders billing-workers
XRANGE events:orders - + COUNT 1
XREVRANGE events:orders + - COUNT 1

# После выбора лимита:
XTRIM events:orders MAXLEN ~ 100000

# Для будущих записей:
XADD events:orders MAXLEN ~ 100000 * type order_updated ref order_ref

100000 здесь условный пример, не рекомендация для любого сервиса. Лимит считают из максимальной скорости поступления, требуемого окна replay и запаса на задержку consumers. При time-based политике MINID сравнивают с ID cutoff, полученным из документированного времени добавления.

Приблизительный trim обычно дешевле

Оператор ~ позволяет Redis освобождать целые внутренние блоки и может оставить немного больше записей порога. Точный = старается выдержать границу строго и может стоить дороже. Для защиты памяти обычно подходит приблизительный лимит; для жёсткого юридического срока одной команды trim недостаточно — нужна проверяемая политика хранения.

  • Начните с порога выше текущего безопасного replay window.
  • Ограничьте объём первого trim и наблюдайте latency.
  • Добавьте MAXLEN/MINID к XADD, чтобы рост не вернулся.
  • Следите за XLEN, used memory, lag и pending после изменения.
  • Зафиксируйте версию Redis и поведение consumer group references.

Consumer groups требуют отдельной осторожности

Trim удаляет stream entries независимо от того, успела ли старая consumer group обработать их, если выбранная политика это допускает. В Redis 8.2 появились дополнительные KEEPREF, DELREF и ACKED для управления ссылками consumer groups. На более ранней версии нельзя переносить эти флаги в команду; сверяйтесь с документацией своей версии.

Безопасный общий принцип не зависит от версии: cutoff не должен пересекать обязательный lag. Заброшенную группу удаляют осознанно после подтверждения владельца, а не сохраняют бесконечную историю ради неизвестного consumer.

Переход делаем ступенями

  1. Зафиксировать XLEN, память, first/last ID и состояние всех групп.
  2. Назначить владельца каждой consumer group и допустимое окно replay.
  3. Выбрать MAXLEN либо MINID и вычислить начальный мягкий порог.
  4. Выполнить ограниченный trim вне пика и проверить latency.
  5. Добавить ту же политику к XADD producers.
  6. Настроить alert до приближения к дисковому или memory limit.

Успех виден не только по XLEN

После включения retention длина стабилизируется около выбранного порога, consumers продолжают читать новые события, pending не теряет обязательные записи, а latency XADD не ухудшается неожиданно. Проверьте также failover и восстановление: конфигурация producer должна быть развернута на всех экземплярах.

Что сохранить для разбора

Нужны версия Redis, обезличенное имя stream, XLEN, XINFO GROUPS, агрегированный XPENDING, скорость входа и требуемое окно replay. Значения payload и пользовательские идентификаторы удалите. По этим данным можно выбрать порог и оценить риск без чтения содержимого сообщений.

Проверенные источники