Первый вопрос — regression job упал или вообще не существовал в этом pipeline. Откройте граф конкретного commit и pipeline source: push, merge request, schedule, parent или manual. Статус зелёный не подтверждает тест, если rules исключили job до запуска.
Обязательный тест должен быть частью разрешающего условия deploy. Название stage test недостаточно: GitLab jobs с needs могут начинаться до завершения целой стадии, а optional dependency разрешает продолжение, когда job отсутствует. Связь нужно выразить явно и проверить на каждом production-пути.
Пять зелёных состояний имеют разный смысл
| Состояние regression | Почему deploy мог пройти | Правильная реакция |
|---|---|---|
| Job отсутствует | rules не совпали для pipeline source | Согласовать rules regression и deploy |
| skipped | when/manual/only-change не потребовали запуск | Не считать skipped успешной проверкой |
| passed без тестов | Нулевая выборка или неверный path | Падать при 0 collected tests |
| failed, allow_failure | Ошибка не влияет на pipeline | Убрать allow_failure у gate |
| Child pipeline зелёный отдельно | Родитель не зеркалит status | Связать downstream status с deploy |
Один gate читается прямо из конфигурации
regression:
stage: test
rules:
- if: $CI_COMMIT_BRANCH == $CI_DEFAULT_BRANCH
script: ./ci/run-regression.sh
allow_failure: false
deploy-production:
stage: deploy
needs:
- job: regression
rules:
- if: $CI_COMMIT_BRANCH == $CI_DEFAULT_BRANCH
script: ./ci/deploy.shПример относится к production deploy из default branch; перенесите те же принципы на ваш pipeline source. В обязательном needs нет optional: true. Одинаковое условие rules не гарантирует корректность само по себе, но предотвращает ситуацию, когда deploy создаётся, а regression — нет.
Если правила сложнее, вынесите общий шаблон через extends или YAML anchor и проверяйте expanded configuration. Помните: при совпадении rules:needs GitLab полностью заменяет needs для job. Добавленное для одного условия needs: [] способно незаметно убрать test gate.
Отчёт о тестах не равен исполнению тестов
JUnit artifact помогает показать результат, но не делает job обязательным и не гарантирует, что тесты были собраны. Скрипт должен завершаться ненулевым кодом при падении и при неожиданной нулевой выборке. После команды проверяйте число test cases и существование свежего report, а не старый artifact из кеша.
- Вывести commit SHA, pipeline source и версию test image в log без секретов.
- Запретить shell-конструкции, которые проглатывают exit code тестового runner.
- Не использовать allow_failure для обязательного regression job.
- Проверить cache key, чтобы результаты предыдущего commit не выглядели свежими.
- Сделать deployment approval дополнительным барьером, а не заменой тестового gate.
Отрицательная приёмка важнее успешного прогона
- Создать безопасную тестовую ветку с намеренно падающим regression case.
- Запустить каждый source, который способен привести к production deploy.
- Убедиться, что deploy job не стартует и не становится доступным manual action.
- Повторить со skipped/absent job и ожидать отказ создания разрешающего пути.
- Вернуть тест и подтвердить единственный deploy для того же commit SHA.
CI Lint проверяет синтаксис и помогает увидеть сформированную конфигурацию, но реальную матрицу rules нужно тестировать значениями branch, tag, source и variables. Секретные variables в отчёт не копируйте; достаточно их имён и признака наличия.
Защита production закрывает ручные обходы
Даже правильный graph не защитит внешний скрипт, который может деплоить напрямую. Ограничьте credentials deployment job, используйте protected environment и аудит approval. GitLab отдельно описывает deployment approvals: защищённый environment продолжает deploy только после требуемых одобрений. Это второй слой, а regression остаётся машинным gate.
Для ревью подготовьте expanded YAML, pipeline graph, source/branch/commit и последние строки обязательного job. Токены runner и значения variables не требуются. По ним видно, потерялся ли job в rules, был обойдён через needs или формально прошёл без тестов.