Автооткат безопасен только тогда, когда мониторинг отличает новую версию от стабильной и получает достаточно запросов для решения. Поэтому первый шаг — не подключать кнопку rollback к общему алерту, а выпустить canary на небольшой доле трафика и проверить отдельный ряд ошибок, задержки и объёма.
Один плохой замер не должен сразу менять production. Несколько подтверждённых провалов останавливают rollout и возвращают трафик на stable; пустой ответ Prometheus, недоступность хранилища метрик или слишком малая выборка переводят проверку в inconclusive и требуют паузы.
У каждого результата своё действие
| Результат измерения | Как трактовать | Действие |
|---|---|---|
| Canary хуже, stable в норме | Регрессия новой версии вероятна | Остановить продвижение и вернуть трафик |
| Canary и stable ухудшились вместе | Общая зависимость или входящий трафик | Не маскировать аварию откатом |
| Серия пустая | Нет данных или неверные labels | Пауза, проверка запроса |
| Запросов слишком мало | Доля ошибок статистически шумная | Продлить окно либо поднять трафик |
| Порог нарушен один раз | Возможен краткий всплеск | Ждать следующий замер в пределах политики |
Эта таблица должна быть частью политики, а не устной договорённостью дежурного. Особенно опасен общий error rate без метки revision: откат может совпасть по времени с отказом базы и создать иллюзию, что старая версия что-то исправила.
Запрос сравнивает именно новую ревизию
В метриках нужен стабильный признак ревизии: pod-template-hash, version, deployment color или другой label, который реально формирует ваш слой телеметрии. Сначала выполните PromQL в интерфейсе Prometheus и убедитесь, что числитель и знаменатель возвращают один и тот же canary-набор.
apiVersion: argoproj.io/v1alpha1
kind: AnalysisTemplate
metadata:
name: canary-success-rate
spec:
metrics:
- name: success-rate
interval: 1m
failureLimit: 3
successCondition: result[0] >= 0.99
provider:
prometheus:
address: https://prometheus.example
query: |
sum(rate(http_requests_total{track="canary",status!~"5.."}[5m]))
/
sum(rate(http_requests_total{track="canary"}[5m]))Фрагмент показывает механику Argo Rollouts, а не готовый универсальный порог. В официальном примере Prometheus возвращает vector, поэтому условие читает result[0]; перед применением проверьте поведение именно для пустого результата, нулевого знаменателя и нескольких series в вашей версии контроллера.
Окно и объём защищают от случайного запроса
Порог 1% не имеет смысла без количества событий: одна ошибка из двадцати даст 5%, хотя причины могут быть случайными. Добавьте отдельную проверку минимального traffic count. Сравнивайте canary со stable на одинаковом временном окне, но не забывайте абсолютную границу — две одинаково плохие версии не должны считаться успехом.
- Уберите healthcheck, synthetic и предсказуемые client errors из бизнес-метрики.
- Выберите окно длиннее обычной задержки поступления telemetry.
- Зафиксируйте максимальную длительность анализа, чтобы rollout не завис навсегда.
- Разведите предупреждающий порог и порог немедленного abort.
- Сохраните resolved query и измерения AnalysisRun для разбора.
Возврат трафика не восстанавливает данные
Rollback приложения не отменяет миграцию схемы, отправленные сообщения и внешние платежи. До автоматизации проверьте обратную совместимость базы и очередей. Если новая версия успела записать данные в новом формате, автоматике разрешают остановить трафик, но восстановление выполняют отдельной проверенной процедурой.
Также не стоит автоматически откатываться на образ, который уже признан уязвимым или несовместимым с текущей схемой. Допустимые stable revisions лучше хранить явно, а решение и причину отката — записывать в журнал релиза.
Репетиция проходит на контролируемой ошибке
- Развернуть canary с известным безопасным тестовым признаком ошибки.
- Убедиться, что stable-ряд не меняется, а canary-ряд превышает порог.
- Дождаться ровно заданного числа неуспешных измерений.
- Проверить статус AnalysisRun и прекращение продвижения трафика.
- Подтвердить возврат пользовательских запросов на stable revision.
- Отключить источник метрик и увидеть паузу, а не ложный успех.
Что подготовить для настройки
Для разбора нужны manifest rollout и AnalysisTemplate, версии Argo Rollouts и Prometheus, две обезличенные серии stable/canary, реальные задержки поступления метрик и список необратимых действий релиза. По ним можно выбрать окно, пороги и точку ручного подтверждения без эксперимента на полном production-трафике.