Когда после импорта у всех отзывов стоит «Администратор» и сегодняшняя дата, данные не просто выглядят странно — меняется их смысл. Пользователь, который запустил перенос, не становится автором отзыва, а imported_at не заменяет момент публикации на исходной площадке.

Остановите повторный импорт и сохраните неизменённый пример входной записи. Затем разделите три сущности: что пришло из источника, как это нормализовано и когда работал импортёр. Пустые исходные поля не заполняйте удобными догадками.

Каждому времени и имени — своя роль

Поле назначенияИсточникЕсли значения нет
source_review_idСтабильный ID площадкиHash только по документированным полям
author_displayИмя или псевдоним автораЯвное unknown/null
author_source_idID профиля источникаnull, не ID импортёра
published_atДата публикации с offsetnull или специальный quality flag
imported_atЧасы вашей системыЗаполняется всегда
source_urlСсылка/референс источникаСлужебный source key

Schema.org для Review отдельно описывает author и datePublished. Это полезная модель даже без разметки страницы: автор отвечает за отзыв, дата публикации — за его выпуск, а техническая дата создания вашей строки относится к процессу импорта.

Нормализованная запись не стирает происхождение

{
  "source": "partner_catalog",
  "source_review_id": "review_ref_731",
  "author_display": "Покупатель",
  "author_source_id": null,
  "published_at": "2026-09-28T18:42:00+03:00",
  "imported_at": "2026-10-03T07:44:12Z",
  "date_quality": "source_offset_present",
  "raw_record_hash": "sha256:…",
  "import_run_id": "run_ref_104"
}

raw_record_hash позволяет подтвердить, что нормализация относилась к конкретной версии входа, не сохраняя персональные данные в журнале. Полный raw документ размещают только в разрешённом хранилище с ограниченным сроком, если это действительно нужно для аудита.

Дата без часового пояса не превращается в UTC по догадке

RFC 3339 задаёт профиль даты и времени для интернет-протоколов с offset или Z. Если источник прислал только 2026-09-28 18:42, зона неизвестна. Можно применить документированную зону источника, но нужно записать date_quality и правило; нельзя молча считать строку московским временем или UTC.

  • Сохраняйте исходный offset при разборе и дополнительно нормализуйте instant в UTC для поиска.
  • Не используйте локальную зону сервера как скрытый default.
  • Отличайте дату без времени от полуночи конкретной зоны.
  • Невалидную дату помещайте в отчёт качества, не заменяйте imported_at.
  • При смене parser повторная нормализация создаёт новую версию правила.

Автор может быть неизвестен, скрыт или удалён

Пустое имя не всегда означает одно и то же. Источник мог скрыть профиль, удалить пользователя, разрешить гостевой отзыв или не включить поле в тариф API. Сохраняйте author_state, если источник различает эти случаи. Текст «Аноним» добавляет интерфейс, а не импортёр в поле реального имени.

Не связывайте одинаковые display name между площадками без отдельного подтверждённого идентификатора. Два человека могут выбрать один псевдоним, а один человек — разные. author_source_id имеет смысл только вместе с source.

Повторный запуск делает upsert, а не копию

Естественный ключ — source + source_review_id. Если стабильного ID нет, договоритесь о воспроизводимом fingerprint из разрешённых неизменяемых полей и учитывайте риск коллизий. imported_at можно обновлять как last_seen_at, но published_at не должен становиться сегодняшним при каждом запуске.

  1. Загрузить страницу источника и зафиксировать cursor или snapshot reference.
  2. Проверить обязательные поля до преобразования.
  3. Нормализовать автора и timestamp с quality flags.
  4. Выполнить upsert по source и external ID.
  5. Сравнить raw hash и обновить только действительно изменившиеся поля.
  6. Собрать отдельный отчёт rejected/unknown без остановки всей партии.

Provenance отвечает на вопрос «откуда это взялось»

Модель W3C PROV различает сущности, действия и ответственных агентов. Для практической миграции достаточно связать исходную запись, запуск импорта, версию mapper и полученную запись. Тогда исправление parser можно применить адресно и объяснить, почему поле изменилось.

Приёмка смотрит на смысл, а не только количество

Возьмите выборку из старого, свежего, анонимного, удалённого и пограничного по часовому поясу отзывов. Сверьте автора, исходную дату, offset, порядок сортировки и повторный import. Количество строк может совпасть на сто процентов даже при полной подмене дат, поэтому одного count недостаточно.

Проверенные источники