Когда chart работает в test и не работает в production, сравнивать только два values.yaml недостаточно. Helm получает значения из chart, родительского chart, файлов и параметров командной строки с определённым приоритетом, а затем учитывает namespace и возможности конкретного кластера. Нужен итоговый manifest, который Kubernetes действительно получил.
Перед повторным upgrade сохраните release name, namespace, chart name и version, revision, команду CI и список файлов values в исходном порядке. Не добавляйте случайно --reuse-values: Helm объединит прежние значения релиза с новыми, и результат уже не будет соответствовать чистому production файлу.
Сначала докажите, что Helm получил одинаковые входы
| Различие | Где проявится | Как подтвердить |
|---|---|---|
| Другая версия chart или dependency | Иные template и CRD | Chart.lock, digest пакета, helm history |
| Другой порядок values | Перезаписанные image, ports, resources | Команда CI и helm get values --all |
| Другой namespace или release name | Имена, labels, service account | Metadata отрендерованных объектов |
| Иная версия Kubernetes/API | Условные шаблоны и неподдерживаемый kind | Capabilities и server dry-run |
| Старые values после upgrade | Поля, которых нет в новом файле | Флаг --reuse-values и computed values |
Если передано несколько -f, правый файл имеет больший приоритет. То же относится к повторяющимся --set. Это часто объясняет, почему локальный test с одним файлом отличается от production job, где pipeline добавляет общий файл, environment overlay и secrets values.
Сравнивайте живой и желаемый manifest
helm get values RELEASE -n NAMESPACE --all
helm get manifest RELEASE -n NAMESPACE
helm template RELEASE ./chart \
--namespace NAMESPACE \
-f values-common.yaml -f values-production.yaml \
--debugВывод перенаправляйте только в защищённое временное место: manifest и computed values могут содержать Secret. Перед отправкой коллеге удалите data, stringData, токены, пароли и приватные URL. Helm также предупреждает, что dry-run способен вывести Secrets; для такой проверки предусмотрен --hide-secret.
Сравнение делайте по объектам и значимым полям, а не по порядку YAML: apiVersion/kind/name, selector, serviceAccountName, image digest, env, volumes, probes, resources и securityContext. Поля, которые добавил API server, отделяйте от результата template.
Локальный render не видит весь production cluster
helm template работает локально и не выполняет серверную проверку. Template с lookup также ведёт себя иначе без обращения к API. Для проверки возможностей реального кластера используйте helm upgrade --dry-run=server --debug с production namespace и тем же service account или запускайте безопасный preflight в отдельном namespace.
- Проверить наличие CRD и порядок их установки до Custom Resource.
- Сопоставить RBAC service account, admission policies и Pod Security.
- Проверить ResourceQuota, LimitRange, node selectors, taints и topology.
- Убедиться, что StorageClass и access mode существуют в production.
- Посмотреть Events конкретного объекта, а не только финальный статус helm.
Ошибка установки и ошибка workload требуют разных следов
Если Helm завершился ошибкой, сохраните его сообщение и server-side validation result. Если релиз deployed, но Pod не Ready, переходите к kubectl describe и Events: ImagePullBackOff, FailedScheduling, denied admission и unbound PVC не исправляются шаблонизатором. Для падения приложения нужны logs текущего и предыдущего container, probe и ConfigMap/Secret references.
Не удаляйте release ради «чистой» попытки: вместе с ним можно потерять историю и создать новые имена ресурсов. Сначала проверьте helm history и известную рабочую revision. Rollback безопасен только после оценки миграций базы, Job hooks и совместимости CRD, которые обычный откат не возвращает автоматически.
Минимальный production preflight воспроизводим
- Проверить helm lint и локальный render ровно зафиксированной версии chart.
- Сделать server dry-run с production values, namespace и разрешениями исполнителя CI.
- Сравнить желаемый manifest с текущим helm get manifest после очистки секретов.
- Применить в canary namespace или к малой доле workload и проверить Events и readiness.
- Хранить digest chart, values checksum и итоговый manifest рядом с revision релиза.
Для разбора подготовьте версию Helm и Kubernetes, chart reference с digest, обезличенные computed values, итоговый manifest и Events первого проблемного объекта. Kubeconfig и Secret не нужны. Эти данные показывают, сломался ли render, admission, scheduling или уже запущенное приложение.