Если Telegram работает днём, не начинайте с замены bot token. Чаще ночное событие попадает в другую ветку Alertmanager: active_time_intervals не совпал, mute_time_intervals сработал по UTC или более ранний sibling route остановил дальнейший поиск. Первый безопасный тест — определить receiver по тем же labels без отправки сообщения наружу.
Alertmanager проходит routing tree сверху вниз. По умолчанию после первого совпавшего child route обход соседних веток прекращается. Временное отключение уведомлений не отменяет сам факт совпадения route, поэтому ветка вне активного окна способна перехватить alert, если архитектура дерева и continue не соответствуют ожиданию.
Отделяем routing от доставки Telegram
| Сигнал | Что он доказывает | Где искать дальше |
|---|---|---|
| amtool показывает не тот receiver | Ошибка до Telegram | Matchers, порядок routes, continue |
| Receiver правильный, interval не совпал | Сработало расписание | location, weekdays, границы времени |
| Receiver правильный и активный | Routing пройден | Alertmanager notification log и Telegram response |
| Днём и ночью labels различаются | Меняется путь дерева | Генератор alert и relabeling |
| Тестовый receiver получает сообщение | Bot и сеть доступны | Grouping, inhibition, repeat interval |
Два вызова amtool находят перехватившую ветку
amtool check-config alertmanager.yml
amtool config routes --config.file=alertmanager.yml
amtool config routes test --config.file=alertmanager.yml --tree \
--verify.receivers=telegram-night \
alertname=CheckoutDown team=payments severity=critical environment=prodLabels и receiver в примере условны. Команда routes test проверяет сопоставление labels с receivers, но не симулирует календарь произвольной будущей даты и не доказывает доставку внешнему API. Зато она показывает порядок matched routes и быстро выявляет sibling, который остановил обход. Config с токеном не публикуйте в CI log; bot token храните через secret file или защищённый secret store.
Ночное окно задаём с явной зоной
route:
receiver: daytime-default
routes:
- receiver: telegram-night
matchers:
- severity="critical"
active_time_intervals: [night-shift]
time_intervals:
- name: night-shift
time_intervals:
- times:
- start_time: "22:00"
end_time: "24:00"
- start_time: "00:00"
end_time: "08:00"
location: "Europe/Moscow"Это схема, а не готовое дежурство. Интервал через полночь записан двумя диапазонами. Начальная граница включается, конечная исключается; без location Alertmanager интерпретирует время как UTC. Название IANA timezone должно существовать в окружении Alertmanager. Для распределённой команды лучше хранить расписание в одной согласованной зоне и подписывать её в review.
Корневой route не может иметь active или mute intervals. Не пытайтесь выключить весь Alertmanager календарём на root: создайте дочерние routes и оставьте понятный default receiver. Если одинаковый alert должен идти и в дневной, и в ночной канал по разным правилам, спроектируйте siblings и continue осознанно и проверьте список всех receivers.
Проверяем три момента вместо одной точки
- Выбрать время за минуту до начала окна, внутри окна и на конечной границе.
- Перевести эти моменты из рабочей зоны в UTC и записать обе формы.
- Проверить weekday для ночи после полуночи, а не только для начала смены.
- Сравнить labels реального alert в Alertmanager UI или API без секретов.
- Прогнать каждый label set по локальной revision конфигурации.
- Перезагрузить config и убедиться по status/log, что новая revision принята.
- Отправить ограниченный synthetic alert только в тестовый receiver.
Проверка именно границ ловит типичную ошибку: 22:00–08:00 записано одним диапазоном, но конец меньше начала, либо weekday относится не к той календарной дате после полуночи. Отдельно проверьте праздники и отрицательные дни месяца, если они участвуют в расписании.
Когда маршрут верный, смотрим очередь уведомлений
- Есть ли alert в firing и не подавлен ли он inhibition rule.
- Не вошёл ли он в уже отправленную group и repeat interval.
- Какой receiver и integration показаны в notification log.
- Вернул ли Telegram API ограничение, ошибку chat ID или сетевой timeout.
- Не истёк ли alert до group_wait.
- Не отличается ли HA peer по загруженной конфигурации.
Не отправляйте production flood ради проверки. Один synthetic alert с уникальным test label и отдельным receiver даёт достаточно сигнала. Приёмка пройдена, когда route test выбирает ожидаемый receiver, три временные точки ведут себя по расписанию, а тестовое сообщение появляется один раз. Для расследования сохраните config revision, labels, timestamp с timezone, Alertmanager version и обезличенный notification log.