Удалять фото по одинаковому имени или размеру нельзя. `IMG_0001.jpg` встречается на разных камерах, а одна фотография после пересылки получает другое имя, размер и метаданные. Надёжная очистка начинается с разделения двух задач: точные копии байт-в-байт и визуально похожие изображения.

Первый запуск должен быть только отчётом. Инструмент группирует кандидатов, выбирает предполагаемый оригинал и объясняет выбор, но ничего не удаляет. После ручной проверки файлы перемещаются в карантин с журналом восстановления.

Точные копии: простая и надёжная часть

Для каждого файла вычислите криптографический хеш содержимого, например SHA-256. Одинаковый хеш означает одинаковые байты. Чтобы не читать всю коллекцию без необходимости, сначала можно сгруппировать по размеру, но окончательное решение принимает хеш.

group_key = sha256(file_bytes)
keep = choose_best_path_and_metadata(group)
action = report_only

Даже точную копию не стоит мгновенно удалять: один экземпляр может находиться в папке, которую синхронизирует другое приложение, а второй — быть частью проекта. Политика должна учитывать путь и владельца каталога.

Похожие фото требуют другого порога доверия

Изменённый размер, JPEG-сжатие или лёгкая цветокоррекция меняют обычный хеш. Для поиска используют perceptual hash или признаки изображения, которые позволяют оценить расстояние между кадрами. Но близкий результат означает «показать рядом», а не «удалить автоматически».

ПараАвтоматическое действие
Одинаковый SHA-256Можно предложить точный дубль
Одинаковая сцена, другой размерСравнить качество и метаданные
Серийная съёмкаНе считать дублем без решения человека
Обрезанная версия для публикацииСохранить как производный файл или связать с оригиналом

Как выбрать файл, который останется

  • Большее реальное разрешение без искусственного upscale.
  • Меньше следов повторного JPEG-сжатия и отсутствие повреждений.
  • Сохранённые EXIF и корректная ориентация, если метаданные важны.
  • Понятное место в основной библиотеке, а не временная папка мессенджера.
  • RAW или исходный формат не заменяется экспортированным JPEG.

Не используйте дату файла как единственный критерий. Копирование меняет filesystem timestamps, а дата съёмки в EXIF может отсутствовать или быть неверной. Решение должно быть объяснимым по нескольким признакам.

Карантин вместо необратимого удаления

  1. Сохранить manifest: исходный путь, хеш, размер, группа и выбранный оригинал.
  2. Переместить кандидаты в отдельный каталог на том же томе, если это возможно.
  3. Проверить, что фотокаталог и резервное копирование работают без них.
  4. Дать пользователю срок на восстановление.
  5. Удалять окончательно только после отдельного подтверждения и свежей резервной копии.

Контроль перед большой библиотекой

Соберите тестовый набор: точная копия, уменьшенная версия, crop, серия похожих кадров, RAW+JPEG и два разных фото с одинаковым именем. Ожидаемый результат задайте заранее. После этого запустите read-only scan на небольшой реальной папке и вручную просмотрите пограничные группы.

Если библиотека большая, для оценки нужны число файлов, форматы, расположение резервной копии и правило выбора оригинала. Сами личные фотографии передавать необязательно: алгоритм можно настроить на синтетическом наборе и выполнять локально.