Когда после импорта у всех отзывов стоит «Администратор» и сегодняшняя дата, данные не просто выглядят странно — меняется их смысл. Пользователь, который запустил перенос, не становится автором отзыва, а imported_at не заменяет момент публикации на исходной площадке.
Остановите повторный импорт и сохраните неизменённый пример входной записи. Затем разделите три сущности: что пришло из источника, как это нормализовано и когда работал импортёр. Пустые исходные поля не заполняйте удобными догадками.
Каждому времени и имени — своя роль
| Поле назначения | Источник | Если значения нет |
|---|---|---|
| source_review_id | Стабильный ID площадки | Hash только по документированным полям |
| author_display | Имя или псевдоним автора | Явное unknown/null |
| author_source_id | ID профиля источника | null, не ID импортёра |
| published_at | Дата публикации с offset | null или специальный quality flag |
| imported_at | Часы вашей системы | Заполняется всегда |
| source_url | Ссылка/референс источника | Служебный source key |
Schema.org для Review отдельно описывает author и datePublished. Это полезная модель даже без разметки страницы: автор отвечает за отзыв, дата публикации — за его выпуск, а техническая дата создания вашей строки относится к процессу импорта.
Нормализованная запись не стирает происхождение
{
"source": "partner_catalog",
"source_review_id": "review_ref_731",
"author_display": "Покупатель",
"author_source_id": null,
"published_at": "2026-09-28T18:42:00+03:00",
"imported_at": "2026-10-03T07:44:12Z",
"date_quality": "source_offset_present",
"raw_record_hash": "sha256:…",
"import_run_id": "run_ref_104"
}raw_record_hash позволяет подтвердить, что нормализация относилась к конкретной версии входа, не сохраняя персональные данные в журнале. Полный raw документ размещают только в разрешённом хранилище с ограниченным сроком, если это действительно нужно для аудита.
Дата без часового пояса не превращается в UTC по догадке
RFC 3339 задаёт профиль даты и времени для интернет-протоколов с offset или Z. Если источник прислал только 2026-09-28 18:42, зона неизвестна. Можно применить документированную зону источника, но нужно записать date_quality и правило; нельзя молча считать строку московским временем или UTC.
- Сохраняйте исходный offset при разборе и дополнительно нормализуйте instant в UTC для поиска.
- Не используйте локальную зону сервера как скрытый default.
- Отличайте дату без времени от полуночи конкретной зоны.
- Невалидную дату помещайте в отчёт качества, не заменяйте imported_at.
- При смене parser повторная нормализация создаёт новую версию правила.
Автор может быть неизвестен, скрыт или удалён
Пустое имя не всегда означает одно и то же. Источник мог скрыть профиль, удалить пользователя, разрешить гостевой отзыв или не включить поле в тариф API. Сохраняйте author_state, если источник различает эти случаи. Текст «Аноним» добавляет интерфейс, а не импортёр в поле реального имени.
Не связывайте одинаковые display name между площадками без отдельного подтверждённого идентификатора. Два человека могут выбрать один псевдоним, а один человек — разные. author_source_id имеет смысл только вместе с source.
Повторный запуск делает upsert, а не копию
Естественный ключ — source + source_review_id. Если стабильного ID нет, договоритесь о воспроизводимом fingerprint из разрешённых неизменяемых полей и учитывайте риск коллизий. imported_at можно обновлять как last_seen_at, но published_at не должен становиться сегодняшним при каждом запуске.
- Загрузить страницу источника и зафиксировать cursor или snapshot reference.
- Проверить обязательные поля до преобразования.
- Нормализовать автора и timestamp с quality flags.
- Выполнить upsert по source и external ID.
- Сравнить raw hash и обновить только действительно изменившиеся поля.
- Собрать отдельный отчёт rejected/unknown без остановки всей партии.
Provenance отвечает на вопрос «откуда это взялось»
Модель W3C PROV различает сущности, действия и ответственных агентов. Для практической миграции достаточно связать исходную запись, запуск импорта, версию mapper и полученную запись. Тогда исправление parser можно применить адресно и объяснить, почему поле изменилось.
Приёмка смотрит на смысл, а не только количество
Возьмите выборку из старого, свежего, анонимного, удалённого и пограничного по часовому поясу отзывов. Сверьте автора, исходную дату, offset, порядок сортировки и повторный import. Количество строк может совпасть на сто процентов даже при полной подмене дат, поэтому одного count недостаточно.