Сообщение `violates foreign key constraint` уже содержит полезную развилку: parent отсутствует в target либо появится позже в том же импорте. Возьмите один key из DETAIL и проверьте source, staging и target. Если родителя нет нигде, смена порядка не поможет — это orphan, которому нужно бизнес-решение.
Не начинайте с `DISABLE TRIGGER ALL` под привилегированной ролью. Так быстро загружается не только правильный граф, но и ошибки mapping, а приложение может увидеть повреждённые связи до финальной проверки. Безопасный план сохраняет constraint как критерий публикации данных.
Ошибка говорит о разных причинах
| Наблюдение | Вероятная причина | Следующая проверка |
|---|---|---|
| Parent есть в source, но не в target | Неверный порядок batch | Сравнить load phase и commit boundary |
| Parent отсутствует в source | Сирота в исходных данных | Найти owner правила: reject, map или placeholder |
| Значения визуально одинаковы | Тип, trim, collation или mapping | Сравнить байты и canonical key |
| Цикл A → B → A | Граф нельзя загрузить простым порядком | Проверить nullable phase или DEFERRABLE |
| Ошибка только на delete/update | ON DELETE/UPDATE policy | Посмотреть действие FK и referencing index |
PostgreSQL требует, чтобы referenced columns были primary key, unique constraint или подходящим unique index. Индекс на дочернем foreign-key столбце автоматически не создаётся; без него проверка delete или update родителя может сканировать дочернюю таблицу. Это отдельная проблема производительности, а не повод убирать связь.
Staging отделяет приём файла от публикации
COPY staging_order (source_id, source_customer_id, total)
FROM STDIN WITH (FORMAT csv, HEADER MATCH);
SELECT s.source_id, s.source_customer_id
FROM staging_order s
LEFT JOIN customer_key_map m ON m.source_id = s.source_customer_id
WHERE m.target_id IS NULL;
-- только прошедшие строки
INSERT INTO orders (id, customer_id, total)
SELECT om.target_id, cm.target_id, s.total
FROM staging_order s
JOIN order_key_map om ON om.source_id = s.source_id
JOIN customer_key_map cm ON cm.source_id = s.source_customer_id;COPY загружает строки в указанную таблицу и запускает triggers и check constraints назначения. Поэтому staging делают с явными типами и техническими проверками, но без ссылок на production IDs. Ошибочные строки попадают в quarantine с source row number и причиной; опция пропуска conversion errors не должна превращать потерю записей в нормальный результат.
Выбор стратегии зависит от формы графа
- Ациклический граф: вычислить зависимости и загружать parent tables до children.
- Большое преобразование ключей: staging плюс отдельная key-map table и anti-join.
- Цикл с допустимым временным состоянием: загрузить nullable reference, затем заполнить и проверить.
- Цикл, который должен быть целым к commit: объявить конкретные constraints DEFERRABLE и отложить их в одной транзакции.
- Реальные orphan rows: отклонить, сопоставить вручную или создать согласованный бизнесом placeholder; не придумывать parent молча.
`SET CONSTRAINTS ... DEFERRED` действует только на constraints, объявленные DEFERRABLE, и только внутри текущей транзакции. Переключение обратно в IMMEDIATE проверяет накопленные изменения ретроспективно. Это удобная контрольная точка перед commit, но огромная транзакция увеличивает locks, WAL и цену rollback.
Приёмка проходит до открытия данных приложению
- Сосчитать строки source, staging, loaded и quarantine по каждой таблице.
- Выполнить anti-join для каждого foreign key и получить ноль необъяснённых сирот.
- Сверить mapping одного source key ровно с одним target key, где это ожидается.
- Перевести deferred constraints в IMMEDIATE до финального commit.
- Проверить планы delete/update на родителе и добавить обоснованные child indexes.
- Открыть новую версию данных canary-пользователю и сохранить rollback boundary.
Материалы для разбора импорта
Подготовьте точный текст первой ошибки, DDL обеих таблиц, список constraints, несколько source keys, порядок job steps, размер batch и границу транзакции. Исправление принято, если повторная загрузка идемпотентна, quarantine объясним, anti-join пуст, constraints реально включены после commit, а production не видел промежуточный граф.