Одинаковый COUNT(*) не доказывает равенство: одна строка могла пропасть, а другая продублироваться; значения могли обрезаться или сместиться по timezone. Начните с общей точки времени. Для full load это snapshot boundary, для online migration — LSN/CDC checkpoint и измеренный lag. Сверка живого source с target на другой позиции журнала создаёт ложные расхождения.

Автоматическая проверка идёт от дешёвого к дорогому. Сначала schema и диапазоны ключей, затем counts и бизнес-агрегаты по partitions, после — канонический hash каждой строки или только проблемных диапазонов. Итогом служит не зелёный процент, а воспроизводимый manifest: table, primary key, тип расхождения и версия mapping.

Пирамида быстро локализует ошибку

СлойЧто ловитЧего не доказывает
SchemaПропавшие колонки, типы, nullability, constraintsРавенство данных
Counts по partitionПропуски и дубли крупными группамиРавенство значений
Business aggregatesСуммы, min/max, статусы, orphan countsВсе индивидуальные строки
Row hash по PKКонкретные отличающиеся записиПравильность самой канонизации
Application invariantsСмысловые ошибки после трансформацииПолное байтовое равенство

Если миграция намеренно меняет схему, побайтовое равенство не является целью. Сначала зафиксируйте mapping contract: какие поля объединяются, какая precision допустима, что происходит с пустой строкой и null, как пересчитываются enum и timezone. Validator использует тот же контракт, но реализуется независимо от migration code, иначе одна ошибка повторится в обоих.

Канонизация делает hash переносимым

canonical row for id=42:
  id          -> decimal string without padding
  amount      -> fixed scale 2: 120.00
  happened_at -> UTC ISO-8601 with agreed precision
  name        -> exact Unicode policy, no silent trim
  note null   -> explicit <NULL>, not empty string
  fields      -> stable documented order
row_hash = SHA-256(canonical_bytes)

Не складывайте значения через разделитель без escaping: строки a|bc и ab|c способны создать одинаковую последовательность. Лучше использовать length-prefix или канонический JSON/CBOR с фиксированным порядком и типами. Hash algorithm и canonicalization version входят в отчёт, иначе два запуска с разными правилами нельзя сравнить.

Диапазоны позволяют повторять проверку частями

  1. Разбить таблицу по стабильному primary key или business partition.
  2. Для каждого диапазона посчитать source_count, target_count и агрегаты.
  3. Если агрегаты отличаются, сравнить row hashes внутри диапазона.
  4. Сохранить missing_source, missing_target и value_mismatch с ключом.
  5. После ремонта повторить только затронутые диапазоны, затем финальный общий проход.

Offset pagination не подходит: concurrent changes и разные query plans сдвигают страницы. Используйте keyset ranges и одинаковый ordering. Большие LOB можно проверять отдельным content hash, учитывая документированные ограничения инструмента; частичный hash первых килобайт не доказывает равенство всего объекта.

Живая база требует latency-aware validation

AWS DMS сравнивает соответствующие строки source и target и отмечает mismatches, но предупреждает о дополнительной нагрузке на обе стороны. Постоянно изменяемую строку инструмент может не успеть сравнить; для CDC validation нужна задержка относительно replication lag и повторная проверка прежде, чем mismatch станет окончательным.

Выделите validation traffic отдельным user и resource limits, следите за replica lag, locks, CPU и network. Не запускайте full row comparison в момент пикового cutover без capacity budget. Если source допускает read replica, подтвердите её consistency point: отстающая replica тоже даёт красивый, но неверный отчёт.

Mismatch manifest управляет ремонтом

run_id, snapshot_id, mapping_version
table, key_json, range_id
status: missing_in_target | extra_in_target | value_mismatch
source_hash, target_hash
first_seen_at, last_checked_at
repair_state, repair_attempts
# payload values хранятся отдельно и с ограниченным доступом

Manifest не должен становиться новой утечкой: ключи и hashes часто достаточны для маршрутизации, а чувствительные values читаются точечно из исходных систем. Repair job идемпотентна и проверяет текущую source version перед записью, чтобы поздняя починка не затёрла более новое изменение.

Стоп-лист перед переключением

  • Schema diff объяснён для каждой намеренной разницы.
  • Counts и business aggregates совпадают на согласованной boundary.
  • ValidationPending и suspended rows сведены к нулю либо формально приняты владельцем.
  • Каждый mismatch имеет ключ, причину, решение и повторную проверку.
  • CDC lag достиг согласованного порога перед финальным freeze.
  • Есть отчёт после cutover, а не только до него.

Для настройки понадобятся DDL обеих сторон, mapping rules, primary keys, snapshot/CDC coordinates, допустимые преобразования, объём по таблицам и бюджет нагрузки. Сверка завершена, когда отчёт можно повторить с той же boundary и canonicalization, каждый остаточный diff объяснён, а repaired rows успешно прошли независимую revalidation.

Проверенные источники