Если свободная память уменьшается всё время, пока устройство без сети, остановите неконтролируемую запись раньше, чем разбирать MQTT-брокер. Зафиксируйте число локальных записей, занятые байты, возраст самой старой записи и скорость поступления новых данных. Затем поставьте временный безопасный предел, при котором остаётся место для журналов, обновления прошивки и штатного запуска.

У очереди должны быть три независимые границы: количество сообщений, суммарный объём и срок хранения. Один лимит по числу не защищает от крупного payload, а один TTL не спасает, если сеть пропала на час и датчик создаёт сотни записей в секунду. Когда предел достигнут, прошивка обязана выполнить заранее выбранную политику, а не продолжать писать до ошибки файловой системы.

Сначала определите, где именно копятся данные

ПризнакВероятное местоЧто измерить
Flash занята даже после перезагрузкиPersistent queue устройстваРазмер раздела, число записей, oldest timestamp
RAM растёт только до rebootБуфер процесса или MQTT-библиотекиHeap, pending tokens, размер payload
После reconnect приходит старый поток командSession state брокераClient ID, Session Expiry, подписки и возраст
Очередь не уменьшается при хорошем каналеНет подтверждения или drain медленнее входаPUBACK, retry count, publish rate
Измерения отправляются повторноЗапись удаляется не по завершению QoS flowMessage ID, sequence и момент удаления

Локальная очередь исходящих измерений и очередь брокера для отключённого подписчика — разные механизмы. MQTT 5 хранит session state после разрыва только при ненулевом Session Expiry Interval; отдельный Message Expiry Interval ограничивает жизнь публикации. Эти параметры не очищают произвольную базу или ring buffer, который реализован в вашей прошивке.

Бюджет памяти считают по фактической записи

record_bytes = payload + topic + timestamp + sequence + checksum + storage_overhead
write_rate_bytes_per_hour = record_bytes * samples_per_hour
required_bytes = write_rate_bytes_per_hour * offline_hours * safety_factor

Проверка:
- сериализовать 1000 настоящих записей без секретов
- записать их в тестовый раздел тем же кодом
- сравнить занятые байты до и после
- разделить разницу на 1000

Не подставляйте длину JSON из редактора: файловая система, индекс, выравнивание, checksum и metadata увеличивают запись. Safety factor нужен для служебных операций и разброса payload, но его значение выбирают по измерению конкретного устройства. Отдельно проверьте ресурс flash: частая перезапись одного сектора может стать проблемой раньше, чем закончится общий объём.

Разные сообщения требуют разных правил потери

КлассКогда очередь полнаПочему
Текущее значение температурыЗаменить более старое значение того же датчикаДля текущего состояния важнее свежесть
Минутный агрегатХранить ограниченное окно и отмечать пропускИстория полезна, но не бесконечна
Аварийное событиеРезервировать отдельный лимитСобытие нельзя растворить в телеметрии
Команда на исполнительНе складывать как обычную телеметриюПросроченная команда может быть опасна
Debug logОтбрасывать первым или хранить кольцевым буферомДиагностика не останавливает основную функцию

Удаление oldest подходит только там, где старое значение действительно потеряло смысл. Для бухгалтерского счётчика, тревоги или команды нужна другая семантика: уникальный sequence, дедупликация на приёмнике, подтверждение обработки и заметный счётчик dropped records. Молчаливое отбрасывание превращает нехватку памяти в невидимую потерю данных.

QoS не заменяет управление очередью

QoS 1 означает повтор до PUBACK и допускает повторную доставку; приложение-получатель должно переносить дубликаты. QoS 2 добавляет handshake, но не решает, сколько суток устройство должно копить измерения. QoS 0 можно выбрать для быстро устаревающей телеметрии, если бизнес действительно допускает потерю, — это решение уровня данных, а не способ скрыть переполнение.

В Eclipse Paho параметры disconnected buffer задают его включение, размер, persistence и удаление старых сообщений. Конкретные значения и доступность зависят от языка и версии клиента. На брокере Mosquitto лимиты max_queued_messages и max_queued_bytes относятся к исходящей очереди на клиента; они не ограничивают собственный flash-буфер датчика.

После reconnect очередь выпускают дозированно

  1. Дождаться успешного CONNACK и подтверждения актуального времени устройства.
  2. Отправить короткий статус: размер backlog, возраст oldest и число отброшенных записей.
  3. Чередовать свежую телеметрию и историю, чтобы текущее состояние не ждало.
  4. Ограничить число in-flight сообщений и скорость drain по возможностям канала.
  5. Удалять локальную запись только после завершения выбранного подтверждения.
  6. При повторном разрыве продолжить с подтверждённой позиции, а не с начала файла.

Если устройство создаёт 10 записей в секунду, а после восстановления отправляет только 8, backlog никогда не исчезнет. Нужен drain rate выше текущего write rate либо агрегация старых данных. Ограничение важно и в другую сторону: мгновенный выпуск суточной очереди способен занять uplink, вызвать watchdog или переполнить уже брокерную очередь.

Контрольный обрыв доказывает, что предел работает

На отдельном стендовом устройстве отключите сеть дольше расчётного окна. Наблюдайте верхнюю границу памяти, dropped-by-class, перезагрузку у заполненного буфера и восстановление после reconnect. Успех — память перестаёт расти на заданной отметке, важные события сохраняются согласно политике, текущие значения не ждут завершения всей истории, а принимающая сторона не создаёт дубликаты бизнес-событий.

Для разбора подготовьте версию прошивки и MQTT-библиотеки, схему разделов, средний и максимальный размер записи, частоту измерений, QoS, Session Expiry, Message Expiry и график publish/PUBACK. Не прикладывайте сертификаты и ключи устройства. По этим данным можно отличить утечку heap от нормального backlog и подобрать лимит без догадок.

Проверенные источники