Первый экран должен за минуту ответить: страдают ли пользователи, какая часть сайта затронута и когда началось изменение. Начните с доступности критических сценариев, доли ошибок, latency и объёма запросов. CPU и память полезны ниже — они помогают найти причину, но сами по себе не доказывают поломку для клиента.
Google SRE разделяет симптом «что сломано» и причину «почему». Для пользовательского сервиса базовой рамкой служат четыре сигнала: latency, traffic, errors и saturation. Добавьте специфичный бизнес-сигнал, например успешные оформления, но подпишите его задержку и источник.
Первые шесть виджетов ведут расследование
| Виджет | Вопрос | Полезная разбивка |
|---|---|---|
| Доступность критического пути | Пользователь может выполнить действие? | регион, web/API |
| Доля ошибок | Какая часть запросов неуспешна? | route family, status class |
| Latency | Насколько медленно для большинства и хвоста? | p50, p95, p99 |
| Traffic | Изменился ли спрос? | канал и сервис без user ID |
| Saturation | Какой ресурс близок к пределу? | CPU, connections, queue age |
| Deploy markers | Что изменилось рядом со сбоем? | release ID и время |
Не смешивайте успешные и ошибочные latency в одну среднюю: быстрый HTTP 500 может сделать график «лучше». Для процентов показывайте числитель и знаменатель, а для хвоста — перцентили или histogram. Ось, единица и временное окно должны быть видны без наведения мыши.
Свежесть — самостоятельная метрика
panel_value: checkout_success_rate = 99.2%
window: 5m
source: prometheus/main
last_sample_age_seconds: 18
query_status: ok
if last_sample_age_seconds > threshold: show STALE, not greenПустая серия не равна нулю, а старое зелёное значение не равно здоровью. Панель показывает last successful sample и явно переходит в состояние no data или stale. Prometheus советует заранее инициализировать известные серии нулём, но это применимо только там, где ноль действительно имеет смысл.
Метрики, логи и traces соединяются контекстом
OpenTelemetry описывает отдельные сигналы: metrics измеряют состояние во времени, logs фиксируют события, traces показывают путь запроса. Панель не обязана хранить их в одном продукте, но ссылка из всплеска ошибки должна переносить service, environment, release и time range в следующий инструмент.
- Metric сообщает масштаб и момент изменения.
- Trace показывает, какой участок конкретного запроса замедлился.
- Log подтверждает событие и безопасный код ошибки без токенов и персональных данных.
- Deploy event связывает отклонение с версией, но не объявляет её виновной автоматически.
- Runbook объясняет первое безопасное действие и условие эскалации.
Дашборд и pager решают разные задачи
Не отправляйте оповещение по каждому красному графику. Prometheus рекомендует paging для срочных, значимых, реальных и требующих действия симптомов; причинные сигналы могут идти в дашборд или очередь задач. У alert есть владелец, задержка for против единичного всплеска, ссылка на runbook и условие закрытия.
Избегайте меток с неограниченным количеством значений: user_id, request_id и полный URL создают взрыв cardinality. Для метрик используйте ограниченные категории, а конкретный request ищите в trace или log. Название метрики сохраняет один смысл во всех сервисах.
Приёмка начинается с искусственного сбоя
- Замедлить тестовый критический endpoint и увидеть рост правильного percentile.
- Вернуть часть ошибок и проверить числитель, знаменатель и alert delay.
- Остановить сборщик и убедиться, что панель стала stale, а не зелёной.
- Выполнить тестовый deploy и найти marker на том же временном окне.
- Перейти из виджета в trace, log и runbook с сохранённым контекстом.
Для проектирования подготовьте список критических сценариев, текущие метрики, один реальный incident timeline, владельцев сервисов и допустимые задержки данных. Итог оценивают не количеством графиков, а тем, смог ли новый дежурный по панели принять первое безопасное решение.