Автомасштабирование не может спасти запросы, если новая реплика становится Ready позже, чем заканчивается пик. Измерьте задержку по шагам: появление работы, попадание метрики в API, решение HPA, создание Pod, scheduling, запуск контейнера и readiness. Самый длинный интервал определяет исправление.
Для короткого всплеска CPU — запаздывающий сигнал: он растёт, когда запросы уже выполняются. Очередь, concurrent requests или rate входящих задач могут предупредить раньше. Если трафик известен по расписанию, дешевле заранее поднять минимальную capacity, чем пытаться сжать каждый polling interval до нуля.
Разложите один пик на отметки времени
| Отметка | Событие | Источник |
|---|---|---|
| t0 | Начался рост запросов/queue | Load generator или broker |
| t1 | Метрика изменилась у источника | Application/queue metrics |
| t2 | Метрика доступна autoscaler | metrics.k8s.io/custom/external API |
| t3 | HPA изменил desired replicas | HPA status/events |
| t4 | Создан новый Pod | Deployment/ReplicaSet events |
| t5 | Pod назначен Node | scheduler events |
| t6 | Container started | kubelet/container status |
| t7 | Readiness стала true | Pod conditions/probe metrics |
Сравните t0→t2, t2→t4, t4→t5 и t5→t7. Если Pod долго Pending, изменение HPA behavior не создаст Node быстрее. Если image уже загружен, но readiness ждёт пять минут, проблема в startup приложения. Если t0→t2 длиннее всего, проверяйте scrape, adapter и выбранный сигнал.
Снимок состояния делается во время нагрузки
kubectl get hpa -n app -w
kubectl describe hpa api -n app
kubectl get pods -n app -w -o wide
kubectl get events -n app --sort-by=.lastTimestamp
kubectl top pods -n app
# Сохраните также application queue/concurrency, request rate,
# p95 latency, errors и timestamps load generator.HPA — периодический control loop, а не непрерывная реакция. В актуальной документации Kubernetes стандартный sync period равен 15 секундам, но его может изменить оператор кластера. Metrics API обычно предоставляет CPU и memory через Metrics Server; custom и external metrics требуют отдельного adapter. Проверяйте фактическую конфигурацию своего cluster version.
Метрика должна предсказывать исчерпание capacity
| Сигнал | Когда полезен | Почему может опоздать |
|---|---|---|
| CPU utilization | CPU-bound запросы стабильной длины | Работа уже выполняется |
| Memory | Рост памяти связан с числом workers | Часто не падает после завершения |
| Queue depth | Workers забирают независимые задачи | Не учитывает разную стоимость задач |
| Queue age | Важен срок ожидания | Требует корректных timestamps |
| Concurrency | Каждый Pod держит ограниченное число запросов | Нужно исключить зависшие connections |
| Request rate | Цена запроса предсказуема | Смешение лёгких и тяжёлых endpoints |
| Schedule | Пик известен заранее | Не покрывает внезапные всплески |
Resource requests влияют на вычисление CPU utilization и scheduling. Заниженный request может заставить HPA реагировать рано, но не создаёт настоящую capacity и повышает риск contention. Завышенный request усложняет размещение Pod. Настройку requests подтверждают профилем нагрузки и usage, а не используют как скрытый коэффициент HPA.
Pod и Node масштабируются последовательно
HPA увеличивает желаемое число replicas. Если на существующих Nodes нет подходящих ресурсов, новые Pods становятся unschedulable, и уже Node autoscaler пытается предоставить машины через cloud API. Kubernetes описывает node provisioning как реакцию на Pods, которые нельзя разместить. Время VM, bootstrap, CNI и image pull входит в задержку пользователя, хотя HPA сработал правильно.
- Держите небольшой headroom или минимальное число Nodes для мгновенного scheduling.
- Уменьшайте image size и заранее прогревайте действительно нужные layers.
- Проверяйте affinity, taints, topology spread и quota у Pending Pods.
- Не ставьте maxReplicas выше capacity зависимой базы и внешних API.
- Readiness должна означать готовность обслуживать запросы, а startupProbe — переживать реальный прогрев.
Настройка scale-up не заменяет ранний сигнал
В autoscaling/v2 поле behavior задаёт скорость и stabilization для scale-up/scale-down. Документация Kubernetes показывает нулевое default stabilization для scale-up и отдельные policies, но итог ограничивают missing metrics, not-yet-ready Pods и maxReplicas. Агрессивная policy бесполезна, если metric появляется после пика или новые Pods пять минут запускаются.
Для event-driven workload KEDA следит за источником событий и передаёт метрики HPA. В KEDA 2.21 pollingInterval по умолчанию 30 секунд влияет на активацию из 0; между 1 и N решения также принимает HPA со своим sync period. Это меняющиеся defaults — сверяйте страницу вашей установленной версии, особенно если scale-to-zero является источником холодного старта.
Выбор исправления зависит от формы пика
- Повторяемый пик по расписанию: поднять minReplicas заранее и вернуть после окна с наблюдением.
- Очередь растёт раньше CPU: масштабировать по queue depth/age с ограничением downstream.
- Pod готов быстро, но ждёт Node: добавить headroom или улучшить node provisioning constraints.
- Container долго греется: сократить startup, image pull и внешние зависимости; настроить probes.
- Метрики приходят поздно: уменьшить полный scrape-to-adapter lag после оценки нагрузки на monitoring.
- Короткий burst короче запуска: применить admission/rate limiting и очередь, а не обещать мгновенный scale.
Тест проходит только если пользователи пережили пик
Повторите одинаковый профиль несколько раз с прогретым и холодным cluster state. Критерии задайте до теста: p95/p99 latency, error rate, максимальный queue age, время t0→t7, число Pending Pods и нагрузка зависимости. Масштабирование, которое увеличило replicas, но превысило error budget, не считается успешным.
Для разбора подготовьте HPA YAML/status, cluster version, фактические sync/polling intervals, график исходной метрики, Pod events, requests/limits, startup/readiness probes, node autoscaler events и профиль нагрузки. Секреты из manifests удалите. По временной шкале можно выбрать одну точечную правку вместо одновременного изменения всех порогов.