Если строки после извлечения PDF перемешались, сначала выясните, есть ли в странице текстовый слой. Попробуйте выделить и скопировать небольшой фрагмент, затем сравните его с результатом библиотеки. Видимое расположение колонок не гарантирует такой же порядок символов в файле. Не начинайте с регулярного выражения для всех документов сразу.
Извлечение текста и поиск полей — разные этапы. Первый возвращает материал страницы, второй решает, что является номером документа, датой или адресом. Сохраните границу страницы и исходный фрагмент для каждого найденного значения: без этого трудно объяснить ошибку и безопасно исправить уже импортированные данные.
Три вида страниц дают разные результаты
| Страница | Первый шаг |
|---|---|
| Цифровой текст | сравнить порядок извлечения с видом страницы |
| Только изображение | отдельный OCR-процесс |
| Скан с текстовым слоем | сравнить слой с изображением |
| Смешанный документ | выбрать метод отдельно для каждой страницы |
pypdf не распознаёт текст внутри изображений. Он может читать существующий текстовый слой, включая ранее созданный OCR, но это не доказывает правильность распознанных символов. Руководство также объясняет: PDF располагает текст визуально и не предоставляет универсальную семантику абзацев и таблиц. Поэтому для двухколоночного документа нужен отдельный тест порядка чтения.
Сначала извлечём страницы без догадок о полях
# условный диагностический пример для pypdf 6.20
from pypdf import PdfReader
reader = PdfReader('sample.pdf')
for number, page in enumerate(reader.pages, start=1):
text = page.extract_text() or ''
print(f'--- page {number} ---')
print(text)Используйте обезличенный sample.pdf: вывод может содержать весь документ. Пример не является готовым парсером реквизитов. Он позволяет увидеть, теряется ли текст до правил поиска. Если номер уже отсутствует в извлечённом фрагменте, расширение регулярного выражения не восстановит его. Для скана потребуется другой этап обработки.
Кандидат на значение хранит своё происхождение
Для поля сохраняйте страницу, фрагмент, способ извлечения и правило, которое его выбрало. Если поле встречается несколько раз, не берите первое совпадение автоматически. Например, дата договора и дата приложения могут иметь одинаковый формат. Выбор должен опираться на подпись поля и область документа, а неоднозначность должна стать видимым статусом проверки.
- Собрать цифровой PDF и скан одного типа документа.
- Добавить документ с двумя колонками.
- Добавить повторяющийся заголовок и перенос строки внутри реквизита.
- Проверить отсутствующее поле и несколько кандидатов.
- Сравнить выбранное значение с размеченным эталоном.
Не превращайте отсутствие в пустую строку без отметки причины. «Поле не найдено», «текст не извлечён» и «найдено несколько вариантов» требуют разных действий. Такой разбор помогает оператору проверять только проблемную область, а разработчику — улучшать нужный этап вместо общего увеличения сложности парсера.
Исправление правил не переписывает всю базу
После изменения извлечения прогоните эталонную подборку и посмотрите diff выбранных значений. Для уже импортированных записей сформируйте отдельную выборку по версии парсера и источнику. Не перезаписывайте ручные исправления оператора новым автоматическим результатом: у них должен быть явный приоритет и журнал изменения.
Повторная обработка одного входа получает понятную версию результата и не создаёт второй объект случайно. Для больших PDF ограничьте время и ресурсы задачи; частично обработанный документ не маркируют как полностью проверенный. Если файл не удалось прочитать, сохраните причину и возможность повторного запуска, не выдумывая значения.
Для настройки парсера подготовьте несколько обезличенных страниц, ожидаемые поля и сырой результат extract_text. Результаты ручной разметки важнее большого количества случайных PDF: они позволяют проверить точность на конкретных границах и сохранить прежнюю версию правил для отката.