Если после миграции API медленнее, не начинайте с увеличения числа виртуальных машин. Возьмите один и тот же endpoint, регион клиента, размер ответа и профиль нагрузки; сравните p50, p95 и p99 до и после. Затем разложите один медленный запрос на DNS/TLS, edge, load balancer, приложение, базу и внешние вызовы.
Низкий средний CPU совместим с высокой задержкой: запрос может ждать сеть, новый TLS handshake, пул соединений, блокировку базы или сервис в другом регионе. Исправляется конкретный длинный span или hop, а не абстрактная «мощность облака».
Сначала выравниваем условия сравнения
| Что зафиксировать | Почему влияет | Как сравнивать |
|---|---|---|
| регион и сеть клиента | меняет RTT до edge | одни probe locations до/после |
| endpoint и payload | разная работа и размер ответа | одинаковые method/path/body class |
| нагрузка и concurrency | очереди появляются нелинейно | одинаковый профиль, не один curl |
| cache state | warm cache скрывает dependency | разделить HIT/MISS |
| релиз приложения и данные | миграция может совпасть с изменением кода | одна версия и сопоставимый dataset |
Перцентили нужны потому, что среднее смешивает быстрые и редкие долгие запросы. CloudWatch определяет p95 как значение, ниже которого лежит 95 процентов наблюдений. Не сравнивайте p95 из минутного окна при малом трафике с суточным p95: период, dimensions и набор samples должны совпадать.
Trace показывает, где добавились миллисекунды
Distributed trace должен связать входящий SERVER span, исходящие CLIENT spans, базу и очередь одним context. OpenTelemetry отдельно описывает HTTP client/server spans и повторные отправки. Это позволяет увидеть, что один логический запрос после миграции делает два физических вызова из-за redirect, retry или повторной авторизации.
trace api-order-lookup
edge 18 ms
load-balancer 7 ms
app 42 ms
db.users 9 ms
http.pricing 118 ms region-b
http.pricing.retry 121 ms resend_count=1
total 309 msПример условный: числа получают из вашей телеметрии, а не используют как норматив. Для каждого span сохраняйте service name, route, zone/region, status/error type и attempt. URL query, токены и персональные параметры редактируйте до экспорта.
Миграция часто добавляет незаметный сетевой hop
- Приложение и база оказались в разных zones или регионах.
- NAT, service mesh или новый reverse proxy добавил соединение и очередь.
- DNS стал возвращать публичный адрес внутренней зависимости.
- Пул HTTP/DB соединений не переиспользуется после смены runtime.
- TLS завершается дважды, а keep-alive короче интервала запросов.
- Retry policy повторяет медленный вызов и удваивает хвост.
Проверяйте resolved address и selected endpoint из среды приложения, а не с ноутбука. Сопоставьте topology diagram с trace: каждый удалённый CLIENT span должен иметь ожидаемый server.address и регион. Не отключайте TLS ради теста; измерьте handshake отдельно и проверьте reuse безопасного соединения.
Серверные тайминги помогают связать браузер и backend
Для веб-клиента можно вернуть ограниченный Server-Timing без внутренних имён и секретов: например app, db и upstream. Спецификация W3C предназначена для передачи серверных метрик request-response cycle в user agent. Заголовок дополняет trace, но не заменяет его: браузер всё равно видит DNS, connection, TLS и download со своей стороны.
Показывайте тайминги только в допустимой детализации. Название приватного хоста, SQL-текст и customer ID не должны попадать в публичный header. Для мобильного приложения ту же связь обеспечивают request ID и телеметрия клиента, синхронизированная по времени.
Исправление доказывается повторным профилем
- Сформулировать latency budget по этапам и endpoint class.
- Исправить один подтверждённый hop: размещение, pool, DNS route или retry.
- Повторить тот же load profile и сравнить p50/p95/p99 и error rate.
- Проверить cold start, cache miss и пиковую concurrency отдельно.
- Сохранить dashboard и trace exemplar для будущих релизов.
Откат нужен, если изменение ухудшило error rate или хвостовую задержку, даже когда среднее стало лучше. Для эскалации соберите диаграмму маршрута до/после, регионы и zones, p50/p95/p99, один обезличенный trace, размеры пулов и retry policy. Дамп базы и production credentials для этого не требуются.