Быстрый SELECT не опровергает проблему блокировок. В PostgreSQL обычное чтение использует MVCC и часто продолжает работать, пока UPDATE, DELETE или SELECT FOR UPDATE ждут строки либо таблицу. Снимайте состояние в момент зависания: после завершения долгой транзакции цепочка исчезнет.
Не начинайте с увеличения statement_timeout. Сначала найдите waiter и blocker, возраст их транзакций, запросы и тип ожидания. Самый длинный SQL не всегда виноват: короткий запрос может ждать сессию, которая открыла транзакцию раньше и сейчас простаивает.
Один снимок строит цепочку ожидания
SELECT pid, application_name, state,
now() - xact_start AS xact_age,
wait_event_type, wait_event,
pg_blocking_pids(pid) AS blockers
FROM pg_stat_activity
WHERE datname = current_database()
ORDER BY xact_start NULLS LAST;Запрос диагностический; доступ к полному тексту чужих сессий зависит от прав. Не публикуйте параметры с персональными данными. Зафиксируйте PID, application_name, длительность транзакции и blockers, затем отдельно сопоставьте их с job ID импорта.
Тип блокировки подсказывает исправление
| Признак | Вероятная причина | Следующий эксперимент |
|---|---|---|
| Много row-level wait | Параллельные workers обновляют одни ключи | Разделить диапазоны и единый порядок |
| Wait на relation | DDL или явный table lock | Вынести миграцию из импорта |
| Idle in transaction | Код открыл транзакцию до сети/вычислений | Сузить границы BEGIN/COMMIT |
| Deadlock detected | Разный порядок захвата объектов | Сортировать ключи одинаково и retry victim |
| Нет lock wait, но растёт I/O | WAL, checkpoints, индексы | Измерить bytes и write latency |
Документация PostgreSQL описывает режимы table и row locks и предупреждает, что явные блокировки повышают риск deadlock. База обнаружит deadlock и оборвёт одну транзакцию, но приложение обязано безопасно повторить только прерванную порцию по стабильному batch ID.
Загрузка и применение данных — два этапа
Для большого входного набора сначала загрузите строки в staging. COPY предназначен для перемещения данных между таблицей и файлом или STDIN/STDOUT и обычно удобнее многотысячных одиночных INSERT. Затем валидируйте типы, уникальность и ссылки, после чего применяйте изменения контролируемыми порциями.
- Staging хранит import_id и исходный row number для отчёта об ошибках.
- Порция выбирается по ключу, а не OFFSET, который меняется и замедляется.
- Ключи сортируются одинаково во всех workers, снижая шанс deadlock.
- После COMMIT сохраняются last_key и счётчики, поэтому retry не начинает всё заново.
- Удаление или архивирование staging идёт после сверки итогов.
Размер batch определяется временем владения lock
Нет универсальных 500 или 5000 строк. На копии production-объёма измерьте rows per second, p95 lock wait, WAL, replication lag и время COMMIT. Уменьшайте порцию, пока рабочие транзакции укладываются в свой SLO; затем подберите паузу или concurrency.
Не делайте commit после каждой строки без измерения: это снижает время lock, но резко увеличивает накладные расходы и усложняет частичные ошибки. С другой стороны, одна транзакция на весь импорт держит версии и locks слишком долго. Нужна воспроизводимая середина с batch ID.
Контрольный запуск имитирует конкуренцию
- Запустить обычное изменение одной записи параллельно с импортом.
- Снять pg_stat_activity, blockers и возраст транзакций.
- Оборвать worker посередине порции и повторить тот же batch ID.
- Поменять порядок ключей второго worker и убедиться, что тест ловит deadlock.
- Сверить количество входных, применённых, отклонённых и повторных строк.
Для разбора нужны версия PostgreSQL, схемы таблиц и индексов, EXPLAIN без чувствительных значений, снимок locks и метрики одной порции. Это отделяет конкуренцию строк от I/O, DDL и слишком широкой транзакции.