Сообщение `violates foreign key constraint` уже содержит полезную развилку: parent отсутствует в target либо появится позже в том же импорте. Возьмите один key из DETAIL и проверьте source, staging и target. Если родителя нет нигде, смена порядка не поможет — это orphan, которому нужно бизнес-решение.

Не начинайте с `DISABLE TRIGGER ALL` под привилегированной ролью. Так быстро загружается не только правильный граф, но и ошибки mapping, а приложение может увидеть повреждённые связи до финальной проверки. Безопасный план сохраняет constraint как критерий публикации данных.

Ошибка говорит о разных причинах

НаблюдениеВероятная причинаСледующая проверка
Parent есть в source, но не в targetНеверный порядок batchСравнить load phase и commit boundary
Parent отсутствует в sourceСирота в исходных данныхНайти owner правила: reject, map или placeholder
Значения визуально одинаковыТип, trim, collation или mappingСравнить байты и canonical key
Цикл A → B → AГраф нельзя загрузить простым порядкомПроверить nullable phase или DEFERRABLE
Ошибка только на delete/updateON DELETE/UPDATE policyПосмотреть действие FK и referencing index

PostgreSQL требует, чтобы referenced columns были primary key, unique constraint или подходящим unique index. Индекс на дочернем foreign-key столбце автоматически не создаётся; без него проверка delete или update родителя может сканировать дочернюю таблицу. Это отдельная проблема производительности, а не повод убирать связь.

Staging отделяет приём файла от публикации

COPY staging_order (source_id, source_customer_id, total)
FROM STDIN WITH (FORMAT csv, HEADER MATCH);

SELECT s.source_id, s.source_customer_id
FROM staging_order s
LEFT JOIN customer_key_map m ON m.source_id = s.source_customer_id
WHERE m.target_id IS NULL;

-- только прошедшие строки
INSERT INTO orders (id, customer_id, total)
SELECT om.target_id, cm.target_id, s.total
FROM staging_order s
JOIN order_key_map om ON om.source_id = s.source_id
JOIN customer_key_map cm ON cm.source_id = s.source_customer_id;

COPY загружает строки в указанную таблицу и запускает triggers и check constraints назначения. Поэтому staging делают с явными типами и техническими проверками, но без ссылок на production IDs. Ошибочные строки попадают в quarantine с source row number и причиной; опция пропуска conversion errors не должна превращать потерю записей в нормальный результат.

Выбор стратегии зависит от формы графа

  • Ациклический граф: вычислить зависимости и загружать parent tables до children.
  • Большое преобразование ключей: staging плюс отдельная key-map table и anti-join.
  • Цикл с допустимым временным состоянием: загрузить nullable reference, затем заполнить и проверить.
  • Цикл, который должен быть целым к commit: объявить конкретные constraints DEFERRABLE и отложить их в одной транзакции.
  • Реальные orphan rows: отклонить, сопоставить вручную или создать согласованный бизнесом placeholder; не придумывать parent молча.

`SET CONSTRAINTS ... DEFERRED` действует только на constraints, объявленные DEFERRABLE, и только внутри текущей транзакции. Переключение обратно в IMMEDIATE проверяет накопленные изменения ретроспективно. Это удобная контрольная точка перед commit, но огромная транзакция увеличивает locks, WAL и цену rollback.

Приёмка проходит до открытия данных приложению

  1. Сосчитать строки source, staging, loaded и quarantine по каждой таблице.
  2. Выполнить anti-join для каждого foreign key и получить ноль необъяснённых сирот.
  3. Сверить mapping одного source key ровно с одним target key, где это ожидается.
  4. Перевести deferred constraints в IMMEDIATE до финального commit.
  5. Проверить планы delete/update на родителе и добавить обоснованные child indexes.
  6. Открыть новую версию данных canary-пользователю и сохранить rollback boundary.

Материалы для разбора импорта

Подготовьте точный текст первой ошибки, DDL обеих таблиц, список constraints, несколько source keys, порядок job steps, размер batch и границу транзакции. Исправление принято, если повторная загрузка идемпотентна, quarantine объясним, anti-join пуст, constraints реально включены после commit, а production не видел промежуточный граф.

Проверенные источники