Возобновление с номера обработанной строки небезопасно: порядок SELECT без устойчивого ключа не гарантирован, а source меняется во время переноса. Сохраните checkpoint как значение монотонного ключа или координату журнала изменений и двигайте его только после успешного commit целевой batch. После сбоя повторяется последняя граница; поэтому запись в target обязана быть идемпотентной.

Resume и restart — разные операции. В официальной документации AWS DMS resume продолжает обработку, а restart очищает target и запускает загрузку заново. Даже если используется собственный ETL, это полезная граница контракта: оператор должен явно видеть, сохраняется ли progress и данные, или запускается полная перезагрузка.

Checkpoint описывает подтверждённую работу, а не прочитанную

Момент сбояЧто есть в targetДействие после запуска
До target commitBatch не зафиксированаПовторить тот же диапазон
После target commit, до checkpointBatch уже есть, checkpoint старыйПовторить через idempotent upsert
После checkpoint commitBatch и progress согласованыНачать со следующего диапазона
Во время source mutationSnapshot мог изменитьсяИспользовать snapshot/CDC boundary или повторную сверку

Самый опасный дизайн сначала сохраняет checkpoint, а потом пишет target: авария между шагами навсегда пропускает данные. Обратный порядок создаёт повтор, но повтор можно сделать безопасным unique constraint и upsert. Если checkpoint и target находятся в одной базе, их иногда фиксируют одной транзакцией; при разных системах сохраняют at-least-once delivery и идемпотентность.

Составной high-water mark убирает неоднозначность

SELECT id, updated_at, payload
FROM source_items
WHERE (updated_at, id) > (:last_time, :last_id)
  AND (updated_at, id) <= (:snapshot_time, :snapshot_max_id)
ORDER BY updated_at, id
LIMIT :batch_size;

Один updated_at недостаточен, если много строк имеют одинаковое время. Добавьте уникальный tie-breaker id и храните оба значения. Верхняя snapshot boundary не даёт бесконечно догонять новые записи во время full load. Изменения после boundary переносит CDC или отдельный incremental pass; иначе обновление уже пройденной строки потеряется.

Upsert защищает повтор, но требует правила свежести

INSERT INTO target_items (source_id, source_version, payload, migrated_at)
VALUES (:id, :version, :payload, now())
ON CONFLICT (source_id) DO UPDATE
SET source_version = EXCLUDED.source_version,
    payload = EXCLUDED.payload,
    migrated_at = EXCLUDED.migrated_at
WHERE target_items.source_version < EXCLUDED.source_version;

PostgreSQL гарантирует для ON CONFLICT DO UPDATE атомарный результат insert или update при отсутствии независимой ошибки. Условие по version не позволяет позднему повтору затереть более свежую запись. Версию нужно брать из source change sequence или надёжного business revision; timestamp приложения с несогласованными часами не всегда подходит.

Side effects не должны жить внутри row loop без собственной идемпотентности. Отправка письма, webhook или индексация после каждого upsert создаст дубли при повторе batch. Сначала перенесите данные, затем запишите событие в outbox с уникальным migration event ID либо выполните отдельную контролируемую фазу после reconciliation.

Состояние job хранит причину и границу

  • run_id, версия mapping и immutable параметры source/target.
  • snapshot boundary и последний committed composite key.
  • batch number, число прочитанных, вставленных, обновлённых и rejected rows.
  • checksum или агрегаты chunk до и после преобразования.
  • error class, обезличенный key, retry count и ссылка на quarantine record.
  • статусы running, paused, failed, validating и completed с временем перехода.

Не перескакивайте автоматически через неизвестную ошибку и не помечайте batch успешной из-за частичной записи. Допустимые rejects — отдельная политика: известная некорректная строка попадает в quarantine, счётчик входит в отчёт, а владелец решает исправить source, преобразовать значение или формально принять потерю. Скрытый skip делает последующую сверку необъяснимой.

Crash test важнее счастливого прогона

  1. Остановить worker после чтения batch: target и checkpoint не меняются.
  2. Остановить после половины target writes до commit: транзакция откатывается либо partial writes безопасно повторяются.
  3. Остановить после target commit до checkpoint: повтор не создаёт дублей и не откатывает свежие versions.
  4. Запустить два worker с одним run_id: lease или compare-and-set не даёт им одновременно владеть partition.
  5. Изменить source во время full load: snapshot boundary и CDC сохраняют изменение.
  6. Повторить completed run: job ничего не меняет либо требует новый явный run_id.

Каждый тест проверяет counts, ключи и checksum, а не только статус процесса. Для больших таблиц полную побайтовую сверку заменяют контролируемыми агрегатами по partition плюс выборкой записей, но критичные денежные и учётные инварианты считают точно.

Перед cutover нужен отдельный reconciliation gate

Сравните число записей по business partitions, min/max keys, суммы значимых числовых полей, количество null и orphan references, quarantine count и lag CDC. Затем заморозьте writes или сократите lag до согласованной границы, выполните финальную сверку и только после этого переключите readers. План отката должен говорить, куда пойдут новые writes после cutover; простой возврат DNS не возвращает данные, появившиеся уже в target.

Для проектирования подготовьте source ordering и update semantics, объём и скорость изменений, unique keys target, допустимые rejects, требования к downtime и пример одного failed batch. Успех — любой разрешённый crash заканчивается повторяемым resume, checkpoint не опережает данные, target не получает дубли, а итог подтверждён reconciliation, а не только зелёным статусом job.

Проверенные источники