Redis Stream не является очередью с автоматическим удалением после чтения. XACK меняет состояние Pending Entries List конкретной consumer group, но запись остаётся в самом stream. Поэтому XLEN растёт, пока producer или отдельная задача не применит retention.
Не запускайте XTRIM наугад при заполненном диске. Сначала измерьте длину, память, lag и pending каждой группы. Старое сообщение может быть уже не нужно одной группе, но всё ещё ожидаться другой.
ACK, trim и TTL делают разные вещи
| Механизм | Что меняет | Главное ограничение |
|---|---|---|
| XACK | Снимает pending у группы | Не удаляет entry из stream |
| XDEL | Удаляет выбранные entry | Не задаёт постоянную retention-политику |
| XTRIM MAXLEN | Оставляет приблизительное/точное число entry | Возраст записей может различаться |
| XTRIM MINID | Удаляет ID ниже cutoff | Нужна осмысленная связь ID со временем |
| EXPIRE key | Удаляет весь stream key | Не подходит для непрерывного общего stream |
Для суточных отдельных streams TTL может быть уместен: истекает весь ключ периода. Для одного непрерывного stream требуется MAXLEN или MINID. Политику формулируют через бизнес-требование: сколько событий или какой период допускается переигрывать.
Перед сокращением снимаем три показателя
XLEN events:orders
XINFO GROUPS events:orders
XPENDING events:orders billing-workers
XRANGE events:orders - + COUNT 1
XREVRANGE events:orders + - COUNT 1
# После выбора лимита:
XTRIM events:orders MAXLEN ~ 100000
# Для будущих записей:
XADD events:orders MAXLEN ~ 100000 * type order_updated ref order_ref100000 здесь условный пример, не рекомендация для любого сервиса. Лимит считают из максимальной скорости поступления, требуемого окна replay и запаса на задержку consumers. При time-based политике MINID сравнивают с ID cutoff, полученным из документированного времени добавления.
Приблизительный trim обычно дешевле
Оператор ~ позволяет Redis освобождать целые внутренние блоки и может оставить немного больше записей порога. Точный = старается выдержать границу строго и может стоить дороже. Для защиты памяти обычно подходит приблизительный лимит; для жёсткого юридического срока одной команды trim недостаточно — нужна проверяемая политика хранения.
- Начните с порога выше текущего безопасного replay window.
- Ограничьте объём первого trim и наблюдайте latency.
- Добавьте MAXLEN/MINID к XADD, чтобы рост не вернулся.
- Следите за XLEN, used memory, lag и pending после изменения.
- Зафиксируйте версию Redis и поведение consumer group references.
Consumer groups требуют отдельной осторожности
Trim удаляет stream entries независимо от того, успела ли старая consumer group обработать их, если выбранная политика это допускает. В Redis 8.2 появились дополнительные KEEPREF, DELREF и ACKED для управления ссылками consumer groups. На более ранней версии нельзя переносить эти флаги в команду; сверяйтесь с документацией своей версии.
Безопасный общий принцип не зависит от версии: cutoff не должен пересекать обязательный lag. Заброшенную группу удаляют осознанно после подтверждения владельца, а не сохраняют бесконечную историю ради неизвестного consumer.
Переход делаем ступенями
- Зафиксировать XLEN, память, first/last ID и состояние всех групп.
- Назначить владельца каждой consumer group и допустимое окно replay.
- Выбрать MAXLEN либо MINID и вычислить начальный мягкий порог.
- Выполнить ограниченный trim вне пика и проверить latency.
- Добавить ту же политику к XADD producers.
- Настроить alert до приближения к дисковому или memory limit.
Успех виден не только по XLEN
После включения retention длина стабилизируется около выбранного порога, consumers продолжают читать новые события, pending не теряет обязательные записи, а latency XADD не ухудшается неожиданно. Проверьте также failover и восстановление: конфигурация producer должна быть развернута на всех экземплярах.
Что сохранить для разбора
Нужны версия Redis, обезличенное имя stream, XLEN, XINFO GROUPS, агрегированный XPENDING, скорость входа и требуемое окно replay. Значения payload и пользовательские идентификаторы удалите. По этим данным можно выбрать порог и оценить риск без чтения содержимого сообщений.