Если после миграции API медленнее, не начинайте с увеличения числа виртуальных машин. Возьмите один и тот же endpoint, регион клиента, размер ответа и профиль нагрузки; сравните p50, p95 и p99 до и после. Затем разложите один медленный запрос на DNS/TLS, edge, load balancer, приложение, базу и внешние вызовы.

Низкий средний CPU совместим с высокой задержкой: запрос может ждать сеть, новый TLS handshake, пул соединений, блокировку базы или сервис в другом регионе. Исправляется конкретный длинный span или hop, а не абстрактная «мощность облака».

Сначала выравниваем условия сравнения

Что зафиксироватьПочему влияетКак сравнивать
регион и сеть клиентаменяет RTT до edgeодни probe locations до/после
endpoint и payloadразная работа и размер ответаодинаковые method/path/body class
нагрузка и concurrencyочереди появляются нелинейноодинаковый профиль, не один curl
cache statewarm cache скрывает dependencyразделить HIT/MISS
релиз приложения и данныемиграция может совпасть с изменением кодаодна версия и сопоставимый dataset

Перцентили нужны потому, что среднее смешивает быстрые и редкие долгие запросы. CloudWatch определяет p95 как значение, ниже которого лежит 95 процентов наблюдений. Не сравнивайте p95 из минутного окна при малом трафике с суточным p95: период, dimensions и набор samples должны совпадать.

Trace показывает, где добавились миллисекунды

Distributed trace должен связать входящий SERVER span, исходящие CLIENT spans, базу и очередь одним context. OpenTelemetry отдельно описывает HTTP client/server spans и повторные отправки. Это позволяет увидеть, что один логический запрос после миграции делает два физических вызова из-за redirect, retry или повторной авторизации.

trace api-order-lookup
  edge                 18 ms
  load-balancer         7 ms
  app                  42 ms
    db.users            9 ms
    http.pricing      118 ms  region-b
    http.pricing.retry 121 ms  resend_count=1
  total               309 ms

Пример условный: числа получают из вашей телеметрии, а не используют как норматив. Для каждого span сохраняйте service name, route, zone/region, status/error type и attempt. URL query, токены и персональные параметры редактируйте до экспорта.

Миграция часто добавляет незаметный сетевой hop

  • Приложение и база оказались в разных zones или регионах.
  • NAT, service mesh или новый reverse proxy добавил соединение и очередь.
  • DNS стал возвращать публичный адрес внутренней зависимости.
  • Пул HTTP/DB соединений не переиспользуется после смены runtime.
  • TLS завершается дважды, а keep-alive короче интервала запросов.
  • Retry policy повторяет медленный вызов и удваивает хвост.

Проверяйте resolved address и selected endpoint из среды приложения, а не с ноутбука. Сопоставьте topology diagram с trace: каждый удалённый CLIENT span должен иметь ожидаемый server.address и регион. Не отключайте TLS ради теста; измерьте handshake отдельно и проверьте reuse безопасного соединения.

Серверные тайминги помогают связать браузер и backend

Для веб-клиента можно вернуть ограниченный Server-Timing без внутренних имён и секретов: например app, db и upstream. Спецификация W3C предназначена для передачи серверных метрик request-response cycle в user agent. Заголовок дополняет trace, но не заменяет его: браузер всё равно видит DNS, connection, TLS и download со своей стороны.

Показывайте тайминги только в допустимой детализации. Название приватного хоста, SQL-текст и customer ID не должны попадать в публичный header. Для мобильного приложения ту же связь обеспечивают request ID и телеметрия клиента, синхронизированная по времени.

Исправление доказывается повторным профилем

  1. Сформулировать latency budget по этапам и endpoint class.
  2. Исправить один подтверждённый hop: размещение, pool, DNS route или retry.
  3. Повторить тот же load profile и сравнить p50/p95/p99 и error rate.
  4. Проверить cold start, cache miss и пиковую concurrency отдельно.
  5. Сохранить dashboard и trace exemplar для будущих релизов.

Откат нужен, если изменение ухудшило error rate или хвостовую задержку, даже когда среднее стало лучше. Для эскалации соберите диаграмму маршрута до/после, регионы и zones, p50/p95/p99, один обезличенный trace, размеры пулов и retry policy. Дамп базы и production credentials для этого не требуются.

Проверенные источники