После неудачной миграции остановите автоматический повтор pipeline и новые выкладки. Зафиксируйте release приложения, последнюю успешную migration version, статус неуспешного шага и первую ошибку SQL из приложения. Не запускайте тот же файл повторно, пока не ясно, транзакционна ли операция и какие изменения уже остались в базе.
Быстрое восстановление — это возвращение совместимости кода и схемы, а не обязательно мгновенный rollback базы. Если новая колонка добавлена, но старый код её игнорирует, безопаснее вернуть приложение. Если миграция уже преобразовала или удалила данные, обратная команда может окончательно потерять информацию; тогда нужен forward fix или восстановление из проверенной копии.
Сначала составьте снимок фактического состояния
| Факт | Где взять | Зачем |
|---|---|---|
| release/image SHA | deployment/registry | понять ожидаемую схему кода |
| migration history | таблица инструмента | увидеть applied/failed/checksum |
| реальная структура | system catalog/SHOW CREATE | найти частично созданные объекты |
| первая ошибка | application + DB log по времени | не путать причину с каскадом 500 |
| locks и long transactions | DB activity views | понять, завершилась ли DDL |
| backup/PITR point | backup catalog | оценить доступный путь восстановления |
Снимайте metadata read-only запросами и сохраните время с часовым поясом. Не публикуйте DSN и данные строк в общий чат. Отдельно проверьте replicas: приложение могло читать старую схему или отстающие данные после успешного изменения primary.
Транзакционность зависит от СУБД и конкретной команды
В PostgreSQL `BEGIN` объединяет команды до `COMMIT` или `ROLLBACK`, но отдельные операции имеют ограничения, а `ALTER TABLE` часто требует сильную блокировку: документация указывает `ACCESS EXCLUSIVE`, если для подкоманды не сказано иное. В MySQL 8.4 atomic DDL защищает целостность одной поддерживаемой DDL-операции при сбое, но это не transactional DDL: DDL не объединяется с соседними командами вашей транзакции и вызывает implicit commit.
-- Только пример предварительной оценки PostgreSQL, не команда для слепого запуска
BEGIN;
SET LOCAL lock_timeout = '2s';
SET LOCAL statement_timeout = '30s';
ALTER TABLE orders ADD COLUMN IF NOT EXISTS source text;
-- Проверить структуру и план совместимости
ROLLBACK;
-- Реальную миграцию выполняют отдельным проверенным файлом
-- с наблюдением locks и заранее выбранным способом отката.Тестовый `ROLLBACK` полезен лишь там, где команда допускается и ведёт себя транзакционно. Он не доказывает длительность на production-объёме. Копия production с близкой статистикой и нагрузочным профилем показывает rewrite, scan, lock wait и свободное место лучше пустой dev-базы.
Выбор между roll forward и rollback
| Состояние | Предпочтительный путь | Стоп-условие |
|---|---|---|
| добавлен совместимый объект, код новый падает | rollback приложения | старый код не должен писать несовместимые данные |
| migration failed без изменений | исправленная новая migration | доказать чистое состояние |
| частичная schema/data change | forward fix по инвентаризации | не отмечать history успешной вручную |
| удалены/испорчены данные | restore/PITR + reconciliation | не перезаписывать единственную копию |
| DDL держит lock | решение incident commander | не kill без понимания rollback/WAL/replication |
Flyway `repair` исправляет schema history — удаляет failed записи или выравнивает checksums — но официальная документация отдельно говорит, что оставшиеся user objects надо очистить вручную. `repair` не чинит таблицы и данные. Сначала привести фактическую схему к известному состоянию, затем согласовать history.
Следующий релиз делит изменение на expand и contract
- Expand: добавить nullable колонку/новую таблицу так, чтобы старый код продолжал работать.
- Развернуть код, который умеет читать старое и новое, а пишет в новое с идемпотентной стратегией.
- Выполнить backfill небольшими повторяемыми пакетами с checkpoint и метриками.
- Переключить чтение после сверки количества, null rate и бизнес-инвариантов.
- Остановить записи в старое поле и выдержать окно отката приложения.
- Contract: отдельной миграцией удалить старый объект после подтверждения всех consumers.
-- Вместо одномоментного NOT NULL на заполненной таблице
ALTER TABLE orders ADD COLUMN external_ref text;
-- backfill выполняет отдельная повторяемая задача пакетами
UPDATE orders
SET external_ref = legacy_ref
WHERE id > :after_id AND id <= :to_id
AND external_ref IS NULL;
-- constraint и удаление legacy_ref — отдельные поздние этапы
Пакет backfill должен быть идемпотентным и ограниченным по времени, чтобы не занять все locks/IO. Сохраняйте checkpoint вне обрабатываемого диапазона, сверяйте результат и допускайте pause. Деструктивный contract не совмещайте с первым релизом нового кода.
Проверка восстановления идёт по бизнес-пути
- Migration history совпадает с файлами в репозитории; применённые versioned migrations не отредактированы.
- Health check включает критичный read/write, а не только открытие соединения.
- Ошибки missing column/table и lock timeout вернулись к базовой линии.
- Replica lag и очередь фоновых задач сокращаются, нет смешанных старых/new payload.
- Backup/restore регулярно проверяется; наличие файла backup без теста восстановления не считается готовностью.
В отчёт инцидента включите timeline, release/migration id, фактический diff схемы, решение forward/rollback и проверки данных. PostgreSQL рекомендует регулярные backup и предлагает dump, файловое копирование и continuous archiving/PITR; выбранный способ должен соответствовать вашему RPO/RTO и быть отрепетирован до следующего сбоя.