Пустой график — не ноль. Когда датчик перестал отправлять series, выражение temperature_c == 0 не становится истинным: у Prometheus может не остаться элемента, к которому применить сравнение. Поэтому тревога на значение и тревога на отсутствие данных — разные правила.

Начните с договора о свежести: как часто устройство обязано сообщаться, сколько допускается jitter, что происходит в энергосберегающем режиме и через какое время молчание опасно. Пятиминутный порог для холодильника и суточный порог для сезонного счётчика не могут быть общей константой.

Last seen превращает отсутствие в измеримое состояние

groups:
- name: device-liveness
  rules:
  - alert: DeviceTelemetryStale
    expr: time() - device_last_seen_timestamp_seconds{environment="prod"} > 600
    for: 2m
    labels:
      severity: warning
    annotations:
      summary: "Device {{ $labels.device_id }} has no fresh telemetry"

  - alert: TelemetryPipelineSilent
    expr: absent_over_time(telemetry_ingested_total{environment="prod"}[5m])
    for: 1m
    labels:
      severity: critical

device_last_seen_timestamp_seconds обновляется после принятого валидного события и сохраняет label device_id. Но exporter обязан публиковать series для всех ожидаемых устройств, включая молчащие; если series тоже исчезнет, индивидуальное вычитание не даст результата. Для этого inventory соединяют с последним событием или генерируют liveness metric из реестра устройств.

Один пропуск и падение pipeline выглядят похоже только на графике

НаблюдениеВероятная областьНезависимый сигнал
Молчит один device, остальные свежиеПитание, радио, firmwareLast seen по inventory
Одновременно замолчала группа gatewayGateway или uplinkGateway heartbeat и batch size
Все devices устарелиBroker, consumer, storage, exporterIngestion canary
Данные есть, alert Pending бесконечноВыражение/for/resetRule evaluation history
Alert Firing, уведомления нетAlertmanager route или receiverSynthetic notification
LWT не пришёл, но данных нетСоединение живо, publisher зависApplication heartbeat

Разделяйте три времени: последнее измерение по часам датчика, момент приёма платформой и момент успешной записи. Если первое свежее, а приём старый или наоборот, причина уже не просто «датчик offline». Для liveness чаще нужен observed_at доверенного ingestion, а measured_at остаётся для качества самих показаний.

absent_over_time полезен, но не перечисляет забытые устройства

Prometheus описывает absent_over_time как проверку отсутствия series в диапазоне. Она хорошо ловит пропажу единственного canary или всей pipeline. Однако запрос по широкому matcher не создаст по alert на каждый пропавший device, которого больше нет в данных. Источник ожидаемого множества должен существовать отдельно: inventory, provisioning database или постоянная info metric.

  • Inventory отмечает enabled, maintenance, retired и ожидаемый cadence каждого устройства.
  • Last seen обновляется только после валидации и durable приёма события.
  • Ingestion canary проходит тот же broker, consumer и storage path, что и реальные данные.
  • Alert на exporter/target down существует отдельно от alert на device stale.
  • Порог учитывает cadence, jitter, допустимые retries и бизнес-критичность.
  • Maintenance window подавляет уведомление, но не удаляет историю молчания.

MQTT Last Will — признак соединения, а не показаний

Will Message публикуется при определённых нештатных разрывах MQTT connection и может иметь Will Delay. Устройство способно оставаться подключённым, но перестать читать датчик или публиковать telemetry; тогда LWT не появится. И наоборот, сеть может оборваться после успешной отправки последнего измерения. Используйте LWT как дополнительный connection signal, а не как единственный liveness check.

  1. Проверить cadence heartbeat независимо от основной редко меняющейся величины.
  2. Сымитировать зависание publisher при живом TCP/MQTT connection.
  3. Оборвать питание, дождаться LWT и сравнить с last_seen deadline.
  4. Остановить ingestion consumer и убедиться, что срабатывает pipeline alert.
  5. Перевести одно устройство в maintenance и проверить правильное подавление route.

Маршрут уведомления тоже проходит приёмочный тест

Prometheus for требует, чтобы условие оставалось активным заданное время; keep_firing_for может удерживать firing при кратком исчезновении данных. Эти параметры уменьшают дребезг, но слишком длинный for скрывает настоящий outage. Измеряйте время от последнего принятого события до доставленного уведомления и сравнивайте с SLO реакции.

Готовая схема поднимает предупреждение на одном молчащем устройстве, критический alert на остановке общей pipeline и тестовое уведомление при поломке receiver. В карточке инцидента видны device_id, expected cadence, last measured/observed/stored timestamps, rule state и notification status — этого достаточно, чтобы не искать вслепую между датчиком и мессенджером.

Проверенные источники