Не начинайте с десяти повторных запусков: retry может спрятать гонку и не объяснит отличие. Возьмите первый failed job, скачайте test report, trace, screenshot и log, зафиксируйте commit SHA и имя runner image. Затем запустите локально ровно команду CI на чистой установке зависимостей; обычный `npm test` в давно живущем node_modules — другой эксперимент.

Цель диагностики — получить минимальную пару окружений, где одна переменная меняет результат. «На моём компьютере работает» не содержит данных. Нужны версии runtime, package manager, lockfile hash, OS, architecture, browser, timezone, locale, число workers и список доступных сервисов.

Fingerprint печатается до тестов, но без секретов

commit_sha=4c2f...
runner_os=Linux
node_version=22.x
npm_version=10.x
lockfile_sha256=91af...
playwright_version=1.x
browser_revision=chromium-...
timezone=UTC
locale=C.UTF-8
workers=1
database_fixture=fixture-v18

Do not print: tokens, connection passwords, full environment dump

GitHub Actions задаёт контексты и переменные на уровнях workflow, job и step; более специфичное env перекрывает общее. Не выводите весь github context или environment: в них могут быть токены и другие чувствительные значения. Печатайте только белый список безопасных параметров, нужных для сравнения.

Характер падения сужает поиск

СимптомВероятное отличиеЭксперимент
Не найден браузерНет binary или OS dependenciesУстановить Playwright --with-deps
Screenshot отличаетсяШрифты, OS, device scaleОдин container и одинаковые fonts
Падает только весь suiteShared state или порядокОдин worker, random order с seed
Сдвиг даты на деньUTC против local timezoneЯвно задать TZ и frozen clock
Element ещё не готовМедленнее CPU/networkЖдать observable state, не sleep
Только CI databaseFixture или миграцииСверить schema version и seed hash
Зависит от branchCache key или stale artifactОтключить cache один раз и сравнить lockfile

Playwright требует совместимые browser binaries для своей версии и позволяет установить системные зависимости командой `npx playwright install --with-deps`. Официальная инструкция CI также рекомендует `npm ci` и для стабильности показывает один worker в CI. Это baseline, а не вечное требование: после устранения shared state параллельность можно вернуть и измерить.

Воспроизводим runner, а не имитируем его частично

  1. Checkout exact commit из failed run вместе с submodules и generated files по правилам проекта.
  2. Установить зависимости из lockfile чистой командой, не обновляя версии.
  3. Использовать тот же container image или runner OS и architecture.
  4. Поднять те же service containers, schema migrations и seed dataset.
  5. Задать CI=true, timezone, locale и число workers как в job.
  6. Запустить один failing test, затем весь shard и весь suite.

Docker помогает зафиксировать userspace, но не гарантирует одинаковое железо, ядро и нагрузку. Если ошибка исчезает в контейнере локально, сравните ограничения CPU/memory и сеть runner. Для теста времени используйте контролируемые часы; для внешнего сервиса — контрактный test double или изолированный sandbox, а не production endpoint.

Artifacts должны позволять ответить без доступа к runner

  • JUnit или другой машинно-читаемый отчёт с полным именем теста.
  • Playwright trace, screenshot и video только для упавшего сценария.
  • Логи приложения и браузера с correlation ID, но без персональных данных.
  • Schema/fixture version, random seed и shard/workers.
  • Fingerprint окружения и точная команда запуска.
  • Retention, достаточный для разбора, но согласованный с политикой данных.

GitHub определяет artifacts как файлы, сохраняемые после job: отчёты, логи, core dumps и screenshots. Они не равны dependency cache. Cache ускоряет повторную сборку и способен принести устаревшее состояние; artifact доказывает, что произошло в конкретном run.

После причины добавляем защиту от возврата дефекта

Если виновата версия Node или браузера, закрепите её в workflow и добавьте контролируемое обновление. Если timezone — запускайте важные тесты хотя бы в UTC и целевой зоне. Если гонка — оставьте stress-run с повторяемым seed. GitHub Actions matrix позволяет запускать комбинации OS и runtime, но начинайте с минимальной пары, доказавшей причину, иначе стоимость растёт быстрее сигнала. Готовый разбор воспроизводится на чистом окружении и содержит один конкретный diff, который меняет красный тест на зелёный.

Проверенные источники