CPU, memory и средняя длительность запроса не показывают, где потеряно время. Для одного проблемного route нужны две связанные проекции: histogram серверной latency по статусу и нормализованному маршруту, а также distributed trace с отдельными spans для очереди, базы, кэша и внешнего API. Trace ID связывает их с логами конкретного запроса.

Начните с endpoint, для которого есть воспроизводимый медленный запрос. Запишите время входа и выхода на каждом процессе, propagation контекста и длительность каждого зависимого вызова. Не добавляйте user ID, полный URL и request ID как labels метрики: высокая cardinality быстро делает сам мониторинг дорогим и медленным.

График отвечает на вопрос только при правильных измерениях

СигналЧто он показываетЧего не доказывает
request duration histogramраспределение latency по route/statusконкретную медленную функцию
active requestsнакопление одновременной работыпричину ожидания
queue waitвремя до начала workerвремя выполнения job
trace waterfallпоследовательность и вложенность spansмасштаб проблемы без метрик
profileгде процесс тратит CPUвремя ожидания внешней сети само по себе

OpenTelemetry рекомендует HTTP metric `http.server.request.duration` как histogram в секундах. Атрибут `http.route` должен содержать шаблон вроде `/orders/{id}`, а не фактический ID заказа. Статус и `error.type` помогают отделить обычные ответы от timeout и ошибок без взрыва числа рядов.

Бюджет одного запроса раскладывается до суммы

trace=4bf92f... route=POST /reports/{id}/build total=2.480s
  ingress + auth                 0.040s
  queue.wait                     1.210s
  worker.compute                 0.290s
  db SELECT report_items         0.610s
  http storage.example           0.280s
  serialize + response           0.050s

Если spans перекрываются из-за параллельного выполнения, их длительности нельзя просто складывать. Waterfall показывает критический путь: участок, который действительно задерживает завершение. Для очереди полезны два spans или метрики — время ожидания до старта и время обработки — иначе общая job duration смешивает нехватку workers с медленным кодом.

  • HTTP client span охватывает DNS/connect/request/response настолько подробно, насколько позволяет instrumentation.
  • DB span содержит тип операции и безопасное имя системы, но не персональные параметры запроса.
  • Cache hit/miss записывается ограниченным атрибутом, а не полным ключом.
  • Background job продолжает полученный context либо создаёт link на исходный trace.

Context propagation удерживает цепочку между сервисами

Без propagation каждый сервис создаёт независимый trace, и задержка снова выглядит как несколько несвязанных графиков. OpenTelemetry использует context с trace ID и span ID и поддерживает стандартный W3C `traceparent`. На границе доверия входящие заголовки валидируют, а чувствительные данные не помещают в baggage.

Добавьте trace ID в структурированные логи, чтобы перейти от span к точной ошибке. Но не превращайте лог в копию всех headers и body. Для повторной диагностики достаточно timestamp, service, route, operation, duration, status/error class и trace/span IDs.

Среднее скрывает медленный хвост

Запросы в 20 мс и 5 с могут дать спокойное среднее, хотя пользователь регулярно попадает в длинный хвост. Histogram сохраняет распределение по bucket и позволяет считать долю запросов в целевом диапазоне. Границы bucket выбирают вокруг вашего SLO и реального диапазона, а не копируют механически из примера.

Exemplar связывает отдельное наблюдение histogram с trace. Это удобный путь от всплеска p95/p99 к конкретному waterfall, если backend поддерживает exemplars. Sampling трасс настраивают так, чтобы сохранять ошибки и необычно медленные запросы; иначе нужный trace исчезнет именно во время инцидента.

Нагрузочная проверка подтверждает найденный участок

  1. Зафиксировать baseline request rate, error rate и latency distribution для одного route.
  2. Запустить воспроизводимую нагрузку с известным количеством параллельных клиентов.
  3. Открыть exemplar или самый медленный trace и определить критический span.
  4. Сопоставить его с saturation ресурса: pool, queue depth, DB locks, CPU или внешняя зависимость.
  5. Изменить один фактор, повторить тот же профиль и сравнить распределение, а не единичный лучший запрос.

Диагностика завершена, когда команда может назвать участок, условие его замедления и изменение latency distribution после исправления. Для разбора подготовьте схему сервисов, версии instrumentation, названия метрик, обезличенный trace и параметры нагрузки; секреты, body запросов и пользовательские идентификаторы не нужны.

Проверенные источники