Пустой график — не ноль. Когда датчик перестал отправлять series, выражение temperature_c == 0 не становится истинным: у Prometheus может не остаться элемента, к которому применить сравнение. Поэтому тревога на значение и тревога на отсутствие данных — разные правила.
Начните с договора о свежести: как часто устройство обязано сообщаться, сколько допускается jitter, что происходит в энергосберегающем режиме и через какое время молчание опасно. Пятиминутный порог для холодильника и суточный порог для сезонного счётчика не могут быть общей константой.
Last seen превращает отсутствие в измеримое состояние
groups:
- name: device-liveness
rules:
- alert: DeviceTelemetryStale
expr: time() - device_last_seen_timestamp_seconds{environment="prod"} > 600
for: 2m
labels:
severity: warning
annotations:
summary: "Device {{ $labels.device_id }} has no fresh telemetry"
- alert: TelemetryPipelineSilent
expr: absent_over_time(telemetry_ingested_total{environment="prod"}[5m])
for: 1m
labels:
severity: criticaldevice_last_seen_timestamp_seconds обновляется после принятого валидного события и сохраняет label device_id. Но exporter обязан публиковать series для всех ожидаемых устройств, включая молчащие; если series тоже исчезнет, индивидуальное вычитание не даст результата. Для этого inventory соединяют с последним событием или генерируют liveness metric из реестра устройств.
Один пропуск и падение pipeline выглядят похоже только на графике
| Наблюдение | Вероятная область | Независимый сигнал |
|---|---|---|
| Молчит один device, остальные свежие | Питание, радио, firmware | Last seen по inventory |
| Одновременно замолчала группа gateway | Gateway или uplink | Gateway heartbeat и batch size |
| Все devices устарели | Broker, consumer, storage, exporter | Ingestion canary |
| Данные есть, alert Pending бесконечно | Выражение/for/reset | Rule evaluation history |
| Alert Firing, уведомления нет | Alertmanager route или receiver | Synthetic notification |
| LWT не пришёл, но данных нет | Соединение живо, publisher завис | Application heartbeat |
Разделяйте три времени: последнее измерение по часам датчика, момент приёма платформой и момент успешной записи. Если первое свежее, а приём старый или наоборот, причина уже не просто «датчик offline». Для liveness чаще нужен observed_at доверенного ingestion, а measured_at остаётся для качества самих показаний.
absent_over_time полезен, но не перечисляет забытые устройства
Prometheus описывает absent_over_time как проверку отсутствия series в диапазоне. Она хорошо ловит пропажу единственного canary или всей pipeline. Однако запрос по широкому matcher не создаст по alert на каждый пропавший device, которого больше нет в данных. Источник ожидаемого множества должен существовать отдельно: inventory, provisioning database или постоянная info metric.
- Inventory отмечает enabled, maintenance, retired и ожидаемый cadence каждого устройства.
- Last seen обновляется только после валидации и durable приёма события.
- Ingestion canary проходит тот же broker, consumer и storage path, что и реальные данные.
- Alert на exporter/target down существует отдельно от alert на device stale.
- Порог учитывает cadence, jitter, допустимые retries и бизнес-критичность.
- Maintenance window подавляет уведомление, но не удаляет историю молчания.
MQTT Last Will — признак соединения, а не показаний
Will Message публикуется при определённых нештатных разрывах MQTT connection и может иметь Will Delay. Устройство способно оставаться подключённым, но перестать читать датчик или публиковать telemetry; тогда LWT не появится. И наоборот, сеть может оборваться после успешной отправки последнего измерения. Используйте LWT как дополнительный connection signal, а не как единственный liveness check.
- Проверить cadence heartbeat независимо от основной редко меняющейся величины.
- Сымитировать зависание publisher при живом TCP/MQTT connection.
- Оборвать питание, дождаться LWT и сравнить с last_seen deadline.
- Остановить ingestion consumer и убедиться, что срабатывает pipeline alert.
- Перевести одно устройство в maintenance и проверить правильное подавление route.
Маршрут уведомления тоже проходит приёмочный тест
Prometheus for требует, чтобы условие оставалось активным заданное время; keep_firing_for может удерживать firing при кратком исчезновении данных. Эти параметры уменьшают дребезг, но слишком длинный for скрывает настоящий outage. Измеряйте время от последнего принятого события до доставленного уведомления и сравнивайте с SLO реакции.
Готовая схема поднимает предупреждение на одном молчащем устройстве, критический alert на остановке общей pipeline и тестовое уведомление при поломке receiver. В карточке инцидента видны device_id, expected cadence, last measured/observed/stored timestamps, rule state и notification status — этого достаточно, чтобы не искать вслепую между датчиком и мессенджером.