Чтобы найти задержку, нужен не общий график заявок, а лента одного test lead. Сохраните время отправки формы, время прихода HTTP POST, постановки в очередь, успешного ответа CRM и первого появления в интерфейсе. Первый большой интервал и есть участок расследования; часовой пояс отображения держите отдельно от UTC timestamp.
Webhook не должен ждать медленный CRM API, отправку письма и сообщение в мессенджер. Он проверяет источник и обязательные поля, записывает неизменный payload или нормализованное событие в durable storage, после чего быстро отвечает. Всё остальное выполняет idempotent worker.
Пять часов показывают разные задержки
| Метка | Кто её ставит | Что измеряет |
|---|---|---|
| lead_submit_time | рекламная платформа | момент отправки формы |
| received_at | webhook ingress | доставку platform → endpoint |
| enqueued_at | ваш сервис | validation и durable приём |
| crm_accepted_at | worker/CRM API | очередь и внешнюю запись |
| first_visible_at | CRM/read model | индексацию, sync и UI |
Google Lead Form webhook передаёт lead_submit_time в ISO-8601 и уникальный lead_id. Используйте platform timestamp как входную метку, но latency считайте после нормализации в UTC и сохраняйте исходную строку для аудита. Не заменяйте её временем, когда worker наконец прочитал очередь.
Ingress подтверждает приём, а не весь бизнес-процесс
Endpoint должен иметь короткий предсказуемый путь: аутентификация или verification key, ограничение размера, schema validation, сохранение и ACK. В Google Ads ответ 200 означает успех, 4xx не считается retryable, а 5xx обозначает временную ошибку. Неверная классификация превращает постоянную ошибку в бесконечные повторы или, наоборот, теряет временно недоступный lead.
POST /webhooks/google-leads
verify source/key
parse known fields; keep unknown fields
begin transaction
INSERT inbox(source, lead_id, payload, received_at)
ON CONFLICT (source, lead_id) DO NOTHING
enqueue inbox_id
commit
return 200 {}
worker:
upsert CRM by external_lead_id
store crm_accepted_at and response idНе отдавайте 200 до устойчивой записи: авария между ACK и enqueue создаёт невидимую потерю. Но и не держите HTTP соединение до завершения всех downstream-вызовов. Transactional inbox/outbox или очередь с подтверждением закрывает эту границу.
Повторная доставка не создаёт второго клиента
Webhook-платформы и ваши retry jobs могут прислать событие повторно. Google рекомендует дедупликацию по lead_id, который уникален для lead forms. Уникальное ограничение (source, lead_id) должно стоять в базе; предварительный SELECT не защищает от двух параллельных delivery.
- Повтор идентичного payload возвращает успешный ACK без нового CRM lead.
- Изменённый payload с тем же ID сохраняется как конфликт для разбора.
- CRM upsert использует тот же external_lead_id.
- Уведомление имеет отдельный idempotency key и не дублирует сообщение.
Персональные поля не нужны в обычных метриках. Для трассировки достаточно hash или внутреннего lead key, source, form/campaign ID, этапа, результата и времени. Полный payload хранится по сроку и доступу, соответствующим политике продукта.
Очередь объясняет задержку лучше среднего времени
Смотрите возраст старейшего доступного сообщения, время ожидания до первого attempt, число retry и причины. Средняя latency скрывает небольшой хвост на несколько часов. Разделите retryable ответы CRM — timeout, 429, 5xx — и постоянные 4xx из-за схемы или прав; последние уходят в quarantine, а не занимают очередь.
Добавьте reconciliation job: он сравнивает принятые inbox events с CRM receipts и поднимает только отсутствующие. Это страховка от редких сбоев, а не основной транспорт. Ручная выгрузка из рекламного кабинета должна сохранять исходный lead ID, иначе импорт создаст дубликаты.
Контрольный lead проходит путь под секундомером
- Создать тестовую форму штатным средством платформы.
- Найти delivery по lead ID и received_at в ingress log.
- Подтвердить одну запись inbox и одно сообщение queue.
- Сверить CRM external ID и время принятия API.
- Проверить появление в нужной воронке и одно уведомление.
После исправления dashboard показывает p50/p95/p99 отдельно для platform delivery, queue wait, CRM call и UI visibility, а alert срабатывает по возрасту хвоста и отсутствию delivery. Для разбора подготовьте один test lead ID, пять timestamps, коды ответов и номера attempts; имя, телефон и текст ответа пользователя в технический отчёт не включайте.