`ImagePullBackOff` — это пауза между повторными попытками, а причина обычно находится строкой выше в Events: Secret не найден, registry вернул unauthorized, repository не существует, manifest не подходит платформе или DNS/TLS не дошли до аутентификации. Начните с конкретного Pod и времени первой ошибки; пересоздание без диагноза лишь сбрасывает имя объекта.
Работающий старый Pod ничего не доказывает о текущих credentials. Его image уже может лежать на node, а запущенному контейнеру Secret для pull больше не нужен. Хороший контроль — новый неизменяемый digest на node, где этого слоя нет, но проводить его стоит только после чтения Events и без изменения production workload.
Сообщение kubelet сужает поиск
| Фрагмент события | Вероятный слой | Следующая проверка |
|---|---|---|
| secret ... not found | Namespace или имя | Pod spec и Secret в том же namespace |
| no basic auth credentials | Secret не выбран или host не совпал | imagePullSecrets/ServiceAccount и registry key |
| unauthorized: authentication required | Credential истёк или нет pull-права | Аккаунт и доступ к точному repository |
| manifest unknown | Tag/digest отсутствует | Существование image и неизменяемый digest |
| x509 / timeout / no such host | TLS, DNS или сеть | Node-to-registry path до проверки auth |
Не подменяйте один симптом другим. Например, пересоздание Secret не устранит `manifest unknown`, а отключение TLS-проверки ради `x509` создаст более серьёзную проблему. Сначала выпишите registry hostname и repository из `.spec.containers[].image`, затем сопоставьте их с ошибкой kubelet.
Безопасный срез не показывает пароль
NS=example
POD=app-7d9f
SECRET=registry-pull
kubectl -n "$NS" describe pod "$POD"
kubectl -n "$NS" get pod "$POD" -o jsonpath="{.spec.serviceAccountName}{'\n'}{.spec.imagePullSecrets[*].name}{'\n'}"
kubectl -n "$NS" get secret "$SECRET" -o jsonpath="{.type}{'\n'}"
kubectl -n "$NS" get serviceaccount -o yamlПодставьте тестовые имена и сначала проверьте текущий kube-context. Эти команды читают metadata и type, но последняя может показать список всех ServiceAccounts namespace; сузьте имя, если оно известно. Не выполняйте `kubectl get secret -o yaml` в общий лог: поле data закодировано Base64 и остаётся чувствительным.
Secret живёт рядом с Pod, а не рядом с Deployment-файлом
Kubernetes требует, чтобы каждый `imagePullSecret` существовал в том же namespace, что и Pod, и имел тип `kubernetes.io/dockercfg` либо `kubernetes.io/dockerconfigjson`. Ссылка может находиться непосредственно в Pod template или приходить через ServiceAccount. Проверьте уже созданный Pod: изменение ServiceAccount не переписывает его spec задним числом.
- Сравните имя Secret посимвольно и namespace фактического Pod.
- Убедитесь, что Deployment использует ожидаемый ServiceAccount, а не `default`.
- Проверьте, что ключ registry совпадает с host в image reference, включая порт.
- Отделите право войти в registry от права pull конкретного project/repository.
- При короткоживущем токене зафиксируйте issuer, expiry и механизм обновления.
Кеш образа может скрыть истёкший доступ
`imagePullPolicy: IfNotPresent` разрешает использовать локальный image, поэтому часть Pods продолжит стартовать на старых nodes. `Always` заставляет kubelet разрешать имя image и проверять registry согласно поведению runtime, но слои всё равно могут быть кешированы. Не меняйте policy вслепую: сначала подтвердите digest и требования своей версии кластера.
Тестируйте новой canary-репликой с тем же Pod template и точным digest. Планировщик может выбрать другой node, поэтому запишите node name и событие pull. Не удаляйте все работающие Pods одновременно: если credential действительно сломан, вы потеряете оставшуюся доступность.
Ротация завершается отзывом старого credential
Создайте новую credential с минимальным pull-доступом, обновите Secret через защищённый pipeline и дождитесь успешного запуска canary. Затем постепенно замените реплики и только после проверки новых pull-событий отзовите старый токен. Успех — новый Pod стартует на node без нужного image, digest совпадает, а старый credential больше не авторизуется.
Для разбора нужны Events, namespace, Pod spec без значений Secret, ServiceAccount, полный image reference с digest, версия Kubernetes/runtime и время ротации. `.dockerconfigjson`, registry password, bearer token и содержимое CI variables исключите.