Повторный импорт создаёт дубли, когда поиск существующего контакта и запись нового используют разные правила. Один путь сравнивает исходную строку, другой приводит email к нижнему регистру, третий ищет без audience ID. Снимите небольшой отчёт по подозрительным парам: исходный email, вычисленный ключ, аудитория, статус подписки и источник. Сразу станет видно, что именно система считает одинаковым.
Исправление должно работать и при двух одновременных заданиях. Проверка `SELECT`, за которой отдельно идёт `INSERT`, оставляет окно гонки: оба worker не находят контакт и оба пытаются создать его. Канонический ключ защищают уникальным ограничением базы, а импорт выполняют через атомарный upsert.
Дубль определяется в границах аудитории
| Пара строк | Считать одним контактом? | Причина |
|---|---|---|
| User@Example.com / user@example.com | по утверждённому правилу продукта | регистр нормализуют одинаково во всех путях |
| user@example.com в двух audiences | не всегда | у провайдера это могут быть два независимых контакта |
| user+shop@example.com / user@example.com | нет автоматически | удаление plus-tag меняет адрес без общего стандарта |
| старый и новый email одного человека | только по подтверждённой связи | совпадение имени ничего не доказывает |
| один email, разные unsubscribe status | один identity, осторожный merge | отписку нельзя заменить подпиской из файла |
Mailchimp, например, адресует contact внутри конкретной audience через `subscriber_hash` — MD5 от email в нижнем регистре. Это правило конкретного API, а не универсальная лицензия удалять точки или `+tag` у всех доменов. Запишите собственную функцию нормализации, её версию и область уникальности: обычно `(audience_id, normalized_email)`.
CSV сначала попадает в staging
Staging-таблица сохраняет номер строки, batch ID, raw email, normalized key, поля профиля и результат проверки. Ошибочная строка не прерывает весь файл и не исчезает из отчёта. До основной таблицы доходят только валидные записи, а повтор того же batch не создаёт новую попытку для каждой строки.
contacts:
audience_id
normalized_email
email_display
status
consent_at
UNIQUE (audience_id, normalized_email)
import_rows:
batch_id | row_no | raw_email | normalized_email | result
b_42 | 17 | ... | ... | updated- Обрезать внешние пробелы и проверить синтаксис до вычисления ключа.
- Хранить raw значение для отчёта, но не использовать его как identity.
- Не менять алгоритм нормализации без миграции существующих ключей.
- Не писать адреса и CSV целиком в общедоступный application log.
Upsert закрывает гонку между worker
В PostgreSQL уникальность обеспечивается unique index, а `INSERT ... ON CONFLICT DO UPDATE` выполняет выбор insert/update атомарно при конкуренции. Conflict target должен совпадать с выбранным contact key. Обновлять все столбцы входящей строкой нельзя: имя можно освежить, а status, consent и suppression требуют отдельной политики.
Если внешний сервис поддерживает create-or-update endpoint, используйте его стабильный идентификатор. Mailchimp советует upsert member, когда неизвестно, существует ли contact. Идемпотентность должна сохраняться на обеих сторонах: одинаковая строка повторного batch приводит к тому же subscriber, а не к новому POST в другую audience.
Отписка выигрывает у файла с подпиской
Самая опасная ошибка дедупликации — технически устранить две строки и одновременно вернуть отписанного человека в рассылку. Состояния `unsubscribed`, `cleaned`, complaint или suppression не повышают до `subscribed` только потому, что CSV содержит активный статус. Для новой подписки нужен предусмотренный продуктом источник согласия и, где применяется, повторное подтверждение.
- Выбрать survivor record с полной историей доставки и согласий.
- Перенести непустые профильные поля по явным правилам приоритета.
- Сохранить наиболее ограничивающий действующий delivery status.
- Перепривязать события и сегменты через таблицу соответствий IDs.
- Записать audit event и не удалять исходные строки до проверки.
Старые дубли объединяются обратимой миграцией
Перед merge посчитайте группы по новому ключу и разделите однозначные и конфликтные. Автоматически обрабатываются пары в одной audience с совместимыми статусами; разные consent source, bounce state или владельцы уходят на ручную проверку. Mapping `old_contact_id -> survivor_id` сохраняют отдельно, чтобы отменить перепривязку.
Критерий готовности: повтор одного файла и два параллельных batch не увеличивают число contacts, отчёт объясняет insert/update/reject для каждой строки, а отписанные адреса остаются недоступны кампании. Для разбора подготовьте batch ID, счётчики по результатам и несколько обезличенных normalized keys; исходная база подписчиков в тикет не нужна.