После неудачной миграции остановите автоматический повтор pipeline и новые выкладки. Зафиксируйте release приложения, последнюю успешную migration version, статус неуспешного шага и первую ошибку SQL из приложения. Не запускайте тот же файл повторно, пока не ясно, транзакционна ли операция и какие изменения уже остались в базе.

Быстрое восстановление — это возвращение совместимости кода и схемы, а не обязательно мгновенный rollback базы. Если новая колонка добавлена, но старый код её игнорирует, безопаснее вернуть приложение. Если миграция уже преобразовала или удалила данные, обратная команда может окончательно потерять информацию; тогда нужен forward fix или восстановление из проверенной копии.

Сначала составьте снимок фактического состояния

ФактГде взятьЗачем
release/image SHAdeployment/registryпонять ожидаемую схему кода
migration historyтаблица инструментаувидеть applied/failed/checksum
реальная структураsystem catalog/SHOW CREATEнайти частично созданные объекты
первая ошибкаapplication + DB log по временине путать причину с каскадом 500
locks и long transactionsDB activity viewsпонять, завершилась ли DDL
backup/PITR pointbackup catalogоценить доступный путь восстановления

Снимайте metadata read-only запросами и сохраните время с часовым поясом. Не публикуйте DSN и данные строк в общий чат. Отдельно проверьте replicas: приложение могло читать старую схему или отстающие данные после успешного изменения primary.

Транзакционность зависит от СУБД и конкретной команды

В PostgreSQL `BEGIN` объединяет команды до `COMMIT` или `ROLLBACK`, но отдельные операции имеют ограничения, а `ALTER TABLE` часто требует сильную блокировку: документация указывает `ACCESS EXCLUSIVE`, если для подкоманды не сказано иное. В MySQL 8.4 atomic DDL защищает целостность одной поддерживаемой DDL-операции при сбое, но это не transactional DDL: DDL не объединяется с соседними командами вашей транзакции и вызывает implicit commit.

-- Только пример предварительной оценки PostgreSQL, не команда для слепого запуска
BEGIN;
SET LOCAL lock_timeout = '2s';
SET LOCAL statement_timeout = '30s';
ALTER TABLE orders ADD COLUMN IF NOT EXISTS source text;
-- Проверить структуру и план совместимости
ROLLBACK;

-- Реальную миграцию выполняют отдельным проверенным файлом
-- с наблюдением locks и заранее выбранным способом отката.

Тестовый `ROLLBACK` полезен лишь там, где команда допускается и ведёт себя транзакционно. Он не доказывает длительность на production-объёме. Копия production с близкой статистикой и нагрузочным профилем показывает rewrite, scan, lock wait и свободное место лучше пустой dev-базы.

Выбор между roll forward и rollback

СостояниеПредпочтительный путьСтоп-условие
добавлен совместимый объект, код новый падаетrollback приложениястарый код не должен писать несовместимые данные
migration failed без измененийисправленная новая migrationдоказать чистое состояние
частичная schema/data changeforward fix по инвентаризациине отмечать history успешной вручную
удалены/испорчены данныеrestore/PITR + reconciliationне перезаписывать единственную копию
DDL держит lockрешение incident commanderне kill без понимания rollback/WAL/replication

Flyway `repair` исправляет schema history — удаляет failed записи или выравнивает checksums — но официальная документация отдельно говорит, что оставшиеся user objects надо очистить вручную. `repair` не чинит таблицы и данные. Сначала привести фактическую схему к известному состоянию, затем согласовать history.

Следующий релиз делит изменение на expand и contract

  1. Expand: добавить nullable колонку/новую таблицу так, чтобы старый код продолжал работать.
  2. Развернуть код, который умеет читать старое и новое, а пишет в новое с идемпотентной стратегией.
  3. Выполнить backfill небольшими повторяемыми пакетами с checkpoint и метриками.
  4. Переключить чтение после сверки количества, null rate и бизнес-инвариантов.
  5. Остановить записи в старое поле и выдержать окно отката приложения.
  6. Contract: отдельной миграцией удалить старый объект после подтверждения всех consumers.
-- Вместо одномоментного NOT NULL на заполненной таблице
ALTER TABLE orders ADD COLUMN external_ref text;

-- backfill выполняет отдельная повторяемая задача пакетами
UPDATE orders
SET external_ref = legacy_ref
WHERE id > :after_id AND id <= :to_id
  AND external_ref IS NULL;

-- constraint и удаление legacy_ref — отдельные поздние этапы

Пакет backfill должен быть идемпотентным и ограниченным по времени, чтобы не занять все locks/IO. Сохраняйте checkpoint вне обрабатываемого диапазона, сверяйте результат и допускайте pause. Деструктивный contract не совмещайте с первым релизом нового кода.

Проверка восстановления идёт по бизнес-пути

  • Migration history совпадает с файлами в репозитории; применённые versioned migrations не отредактированы.
  • Health check включает критичный read/write, а не только открытие соединения.
  • Ошибки missing column/table и lock timeout вернулись к базовой линии.
  • Replica lag и очередь фоновых задач сокращаются, нет смешанных старых/new payload.
  • Backup/restore регулярно проверяется; наличие файла backup без теста восстановления не считается готовностью.

В отчёт инцидента включите timeline, release/migration id, фактический diff схемы, решение forward/rollback и проверки данных. PostgreSQL рекомендует регулярные backup и предлагает dump, файловое копирование и continuous archiving/PITR; выбранный способ должен соответствовать вашему RPO/RTO и быть отрепетирован до следующего сбоя.

Проверенные источники