Если в исходной выгрузке одна строка на клиента, повторный импорт не вернёт прежние адреса и статусы: их в файле уже нет. Остановите загрузку history-таблиц и возьмите одну сущность с известными изменениями. Сравните current table, audit log, CDC stream и резервные снимки; только после этого выбирайте, какие версии реально можно восстановить.
Не подменяйте время события временем запуска миграции. У истории есть как минимум две оси: valid time — когда значение действовало для бизнеса, и system time — когда система узнала или записала его. Поле imported_at полезно для расследования ETL, но оно не доказывает, что статус клиента изменился в этот момент.
Сначала выясняем, где вообще остались версии
| Источник | Что можно восстановить | Главное ограничение |
|---|---|---|
| Текущая таблица | Последнее состояние | Прошлых значений нет |
| Audit-таблица | Actor, old/new value, время | Возможны пропуски до включения аудита |
| CDC или transaction log | Порядок insert/update/delete | Retention и позиция начала ограничены |
| Периодические snapshots | Состояние на редких срезах | Точная дата перехода неизвестна |
| Бизнес-события | Подтверждённые переходы статусов | Не каждое техническое поле представлено событием |
Debezium change event может содержать before, after, тип операции, source timestamp и transaction metadata. Это не означает, что коннектор знает события до своего запуска: документация отдельно ограничивает доступность старой transaction metadata. dbt snapshots тоже строят SCD Type 2 с момента наблюдения за источником, а не создают прошлое задним числом.
Историческая строка хранит происхождение и границы
customer_status_history
customer_id
status
valid_from
valid_to -- NULL для открытого интервала
source_event_id -- стабильный ключ события
source_system
source_position -- LSN, offset или snapshot id
recorded_at
imported_at
UNIQUE (source_system, source_event_id)Стабильный source_event_id делает повтор загрузки безопасным. Если такого ID нет, сформируйте детерминированный ключ из source primary key, версии и типа операции, но сохраните исходные поля отдельно. Hash всей строки помогает сравнивать payload, однако не заменяет identity события: две одинаковые смены статуса в разное время остаются двумя событиями.
Из событий строим интервалы, не теряя неоднозначность
- Нормализовать timezone и точность времени, не округляя исходное значение без записи правила.
- Отсортировать события по business key, source position и детерминированному tie-breaker.
- Сохранить raw events в staging без перезаписи предыдущей версии.
- Построить valid_to как начало следующей подтверждённой версии.
- Отдельно пометить gap, overlap и события с одинаковым временем.
- Загрузить history через upsert по source_event_id и повторить тот же batch для проверки идемпотентности.
Не угадывайте valid_from по дате файла, если snapshot лишь сообщает состояние на конец дня. В таком случае граница известна как интервал: значение существовало не позднее snapshot time, но точный переход неизвестен. Лучше хранить confidence или provenance, чем показывать выдуманную минуту в аудиторском отчёте.
Контроль ищет разрывы внутри одной сущности
entity version valid_from valid_to check
42 1 2025-01-10 09:00 2025-03-02 14:20 ok
42 2 2025-03-02 14:20 2025-03-02 14:20 zero interval
42 3 2025-03-01 18:00 NULL overlap
assert: duplicate source_event_id = 0
assert: open intervals per entity <= 1
assert: rerun changes row count = 0Проверяйте не только общий COUNT. Для выборки сущностей сравните последовательность статусов, первую и последнюю дату, число удалений, открытые интервалы и checksum raw event payload. Затем воспроизведите состояние на несколько контрольных дат и сопоставьте его с отчётом или snapshot той же даты.
Что подготовить перед полной загрузкой
Нужны схема current и audit таблиц, retention журналов, timezone источника, пример одной сущности с ручной историей, правила удаления и граница snapshot. Работа завершена, когда происхождение каждой версии объяснимо, повтор batch ничего не меняет, интервалы не перекрываются без явной причины, а текущая строка получается из истории тем же правилом, которое применяет приложение.