Зелёный process_up говорит лишь о том, что endpoint метрик отвечает. Worker может держать соединение, продлевать liveness и не завершать ни одной задачи. Для обнаружения зависания измеряйте не присутствие процесса, а возраст последнего полезного прогресса на том участке, который важен пользователю.

Начните с определения прогресса. Для загрузчика это успешно сохранённый объект, для рассылки — подтверждённое сообщение провайдером, для batch job — завершение всего запуска. Получение задания из очереди не считается прогрессом, если после него side effect может навсегда застрять.

Одной метрики очереди недостаточно

СостояниеНаблюдаемые признакиНужна ли тревога
Нормальный простойqueue=0, in_progress=0, heartbeat свежийНет
Обычная обработкаin_progress>0, progress обновляетсяНет
Worker зависin_progress>0, progress старыйДа после допустимого runtime
Растущий backlogoldest age растёт, completions естьДа по SLO задержки
Весь путь сломанsynthetic heartbeat не дошёлДа, даже если реальных задач нет
Метрики исчезлиup=0 или series absentОтдельная тревога на monitoring path

Queue length может оставаться нулевой, если worker забрал задачу и завис. Высокая длина очереди, наоборот, бывает нормальной во время планового burst. Возраст старейшей доступной и выполняемой задачи ближе к пользовательской задержке и лучше переносится между разными скоростями поступления.

Экспортируйте timestamp, а возраст вычисляйте в PromQL

(
  time() - worker_last_progress_timestamp_seconds > 900
)
and on (queue, worker_pool)
  worker_in_progress > 0

Prometheus рекомендует экспортировать timestamp последнего успешного события, а не метрику «сколько времени прошло»: так не требуется постоянно обновлять gauge, и правило прозрачно использует time(). Порог 900 секунд здесь только пример. Он должен быть больше допустимого времени задачи и учитывать хотя бы несколько обычных циклов.

Timestamp обновляйте после durable checkpoint, а не на каждой строке лога. Если задача состоит из этапов, полезны отдельные last_fetched, last_transformed и last_committed: разность показывает место остановки. Не добавляйте task_id как label — это быстро создаст высокую кардинальность; идентификатор положите в exemplar, log или trace.

Heartbeat должен пройти тот же путь, что и работа

Если реальные задачи приходят редко, условие in_progress>0 ничего не увидит. Отправляйте маленькое синтетическое задание через producer, broker, consumer и безопасный sink. Проверка, которая лишь вызывает /health самого worker, обходит очередь и не доказывает доступность end-to-end пути.

  • Пометить heartbeat как synthetic и исключить его из бизнес-аналитики.
  • Сделать побочный эффект обратимым или направить его в тестовый sink.
  • Хранить timestamp завершения, а не только отправки heartbeat.
  • Алертировать задержку полного пути и отдельно отсутствие самой метрики.
  • Проверять мониторинг остановкой каждого этапа по очереди.

Timeout, lease и cancellation превращают зависание в исход

Мониторинг обнаруживает проблему, но не освобождает работу. Каждая внешняя операция должна иметь deadline; длительная задача — lease с ограниченным продлением; обработчик — cancellation и checkpoint. После истечения lease новый worker может продолжить только если side effect идемпотентен или состояние операции сверено.

Не убивайте процесс немедленно по алерту: он мог завершить внешний POST, но не записать подтверждение. Переведите задачу в unknown, проверьте результат у провайдера и лишь затем повторяйте. Иначе автоматическое восстановление само создаёт дубли.

Алерт описывает влияние, а не реализацию

  1. Выбрать SLO: максимальный возраст задачи, важный пользователю.
  2. Поставить for не меньше нескольких scrape intervals и учесть нормальный runtime.
  3. Добавить в annotation queue, pool, oldest age и ссылку на runbook без task payload.
  4. Разделить warning для растущего backlog и page для полной остановки прогресса.
  5. Проверить alert pipeline и внешний blackbox-монитор отдельно от основного Prometheus.

Для настройки понадобятся распределение длительности задач, retry policy, lease/visibility timeout и два графика: completions rate и oldest age. Содержимое пользовательских задач не нужно. Хорошая приёмка проста: процесс остаётся живым, обработчик намеренно блокируется, а тревога возникает после согласованного порога и гаснет после подтверждённого прогресса.

Проверенные источники