Дубли могут существовать в базе или появляться только в запросе из-за связей с изображениями, голосами и товарами. Эти случаи исправляются по-разному.

Разбирать такую проблему лучше от фактов: воспроизводимого примера, времени события, входных данных и журналов работы. Это позволяет исправить причину, а не временно скрыть симптом.

Как проявляется проблема

Одинаковый текст и автор видны два или больше раз, иногда только на следующей странице или после синхронизации.

Что проверить сразу

  • Зафиксируйте точное время, идентификатор пользователя, заказа, события или фоновой задачи.
  • Сравните один успешный и один проблемный сценарий при одинаковых исходных условиях.
  • Проверьте последние изменения в коде, конфигурации, правах, данных и внешних интеграциях.
  • Сохраните логи до повторного запуска, очистки кеша или ручного изменения рабочих записей.

Основные причины

  • JOIN с таблицей фото или голосов размножает строку отзыва.
  • Импорт не имеет уникальности по source и external_id.
  • Offset-пагинация меняется при добавлении новых отзывов.
  • Кеш дописывает обновленную страницу к старому списку.

Пошаговая диагностика

  • Проверьте уникальность id в исходном SQL-результате.
  • Сравните записи в базе по external_id и source.
  • Выполните запрос без дочерних JOIN и агрегируйте связанные данные отдельно.
  • Посмотрите сетевые ответы страниц и ключ кеша.

Как исправить

Перед изменением рабочих данных подготовьте резервную копию и способ отката. Правку вносите небольшими шагами, проверяя результат после каждого из них.

  • Используйте уникальный индекс source/external_id.
  • Исправьте JOIN через агрегацию или отдельную загрузку дочерних данных.
  • Перейдите на cursor pagination со стабильной сортировкой.
  • Перед удалением существующих дублей выберите каноническую запись и перенесите связи.

Как проверить результат

  • Каждый review id встречается один раз на всех страницах.
  • Повторный импорт и обновление кеша не создают копий.
  • Повторите исходный сценарий и минимум два пограничных случая.
  • Проверьте соседние функции и права других ролей, которых могла коснуться правка.
  • Посмотрите новые записи в логах после исправления, даже если интерфейс уже работает.

Чего не стоит делать

  • Не отключайте авторизацию, валидацию и ограничения доступа только ради исчезновения ошибки.
  • Не запускайте повторно финансовые, почтовые и массовые операции без проверки идемпотентности.
  • Не меняйте рабочую базу массовым запросом без выборки, бэкапа и понятного отката.
  • Не оставляйте токены, пароли, персональные данные и полные тела запросов в открытых логах.

Как не допустить повторения

  • Логируйте результат upsert по внешнему идентификатору.
  • Добавьте автоматический отчет о новых дублях.

Что подготовить для технического разбора

  • Ссылку на страницу, название интеграции, метод API или идентификатор фоновой задачи.
  • Описание ожидаемого и фактического результата без передачи паролей и действующих токенов.
  • Фрагмент лога за нужный период и пример данных, на которых ошибка воспроизводится.
  • Список последних обновлений и сведения о рабочем окружении.

Частые вопросы

Можно ли обойтись без полной переделки?

Обычно да. Когда точка расхождения найдена, проблема решается локальной правкой обработчика, запроса, настройки, индекса или проверки доступа.

Почему ошибка возникает только иногда?

Чаще всего отличаются данные, роль пользователя, состояние кеша, порядок событий, устройство или ответ внешнего сервиса. Поэтому нужен конкретный воспроизводимый пример.

Итог

Сначала нужно определить, дублируются данные или только строки выборки, и лишь затем выполнять очистку.

Если самостоятельно найти причину не получилось, я могу изучить код и логи, воспроизвести проблему, внести безопасную правку и проверить рабочий сценарий.