Письмо из catch не заметит задачу, которая вообще не запустилась: cron-демон остановлен, файл расписания не прочитан или сервер выключен. Для такого сбоя нужен внешний наблюдатель. Задача публикует время последнего успешного завершения, а монитор поднимает alert, если новый успех не появился к рассчитанному дедлайну.

Сначала запишите ожидаемое расписание, обычную и максимальную длительность, допустимую задержку и владельца. Фраза «раз в сутки» недостаточна: запуск в 02:00 с нормой 20 минут и запасом 15 минут даёт проверяемый дедлайн 02:35, после которого отсутствие success уже является событием.

Три состояния требуют разных сообщений

СостояниеНаблюдаемый сигналТекст уведомления
Не запустиласьНет нового start после окна расписанияmissed schedule, проверить scheduler и host
Завершилась ошибкойЕсть start и failure с exit codefailed, приложить run ID и безопасный фрагмент лога
ЗавислаStart есть, finish отсутствует дольше max runtimestuck, проверить процесс и внешнюю зависимость
Успех устарелlast_success старше дедлайнаобщий dead-man alert
Монитор молчитНет контрольного тестового уведомлениясломана сама цепочка оповещения

Не отправляйте отдельное тревожное сообщение на каждый retry. Run ID связывает попытки одного планового окна, а Alertmanager умеет группировать, подавлять зависимые события и маршрутизировать уведомления. В сообщении оставьте job, environment, deadline, последний success и ссылку на runbook.

Задача публикует события только после факта

run_id = createScheduledRunId(job, scheduled_at)
record_start(job, run_id, now)
try:
    result = execute_job_with_timeout()
    validate_result(result)
    record_success(job, run_id, now)
except error:
    record_failure(job, run_id, safe_error_class)
    raise

Success ставится после проверки результата, а не сразу после запуска команды. Экспорт, который завершился с нулевым кодом, но записал пустой файл, не является успехом, если это нарушает контракт. Сам heartbeat хранится вне локального диска задачи — иначе отказ сервера уничтожит и работу, и доказательство её отсутствия.

Дедлайн учитывает расписание и длительность

Формула зависит от процесса: scheduled_at + max_runtime + grace. Grace покрывает обычный jitter планировщика и короткие задержки мониторинга, но не скрывает часы простоя. Для задач с календарным расписанием учитывайте timezone и переходы времени; храните события в UTC, а ожидаемое окно вычисляйте библиотекой расписаний.

Prometheus следит за возрастом последнего успеха

Экспортируйте timestamp последнего успешного выполнения как метрику и сравнивайте его с текущим временем в alerting rule. Клауза for полезна против коротких колебаний, а keep_firing_for может удерживать уведомление при кратком пропадании данных. Конкретные интервалы выбирают из SLA задачи, а не копируют из примера документации.

  • Метка job имеет ограниченный набор значений; run ID не помещают в label из-за высокой кардинальности.
  • Environment и владелец присутствуют в alert labels для маршрутизации.
  • Подробности конкретного запуска хранятся в журнале или trace по run ID.
  • Отсутствующая метрика отличима от свежего нулевого значения.
  • Alert содержит ссылку на безопасный runbook и последнее известное успешное время.

Маршрут уведомления тоже нуждается в проверке

Раз в согласованный период запускайте синтетический alert или контролируемый тест конкретного receiver и подтверждайте доставку. Учитывайте mute, grouping и дежурства. Если Telegram-бот или почта сломались, красный alert в интерфейсе мониторинга не разбудит ответственного.

Тест не требует ломать production cron

  1. Создать отдельную test job с коротким расписанием и тем же путём метрик.
  2. Подтвердить normal start и success без уведомления.
  3. Пропустить один запуск и получить missed alert после дедлайна.
  4. Вернуть job и убедиться в корректном resolved событии.
  5. Завершить тестовую команду ошибкой и получить другой alert с run ID.
  6. Сымитировать долгую работу с безопасным timeout и проверить stuck состояние.

Для внедрения подготовьте расписание, timezone, p95 и максимальную длительность, критерий успеха, текущий scheduler, доступный внешний монитор и список получателей. Эти данные превращают пожелание «сообщать о падении» в конкретные дедлайны, сигналы и проверяемую доставку.

Проверенные источники