Timeout не означает, что операция не состоялась. Ответ мог потеряться после commit, и клиент повторит тот же Create. gRPC также поддерживает transparent retry для низкоуровневых сбоев, поэтому безопасность нельзя строить на предположении «наш код retry не включал». Для команды с side effect нужен стабильный request_id, который сохраняется при всех попытках одного намерения пользователя.
Ключ дедупликации должен принадлежать caller и методу. Одинаковый UUID от другого tenant не может получить чужой результат. Вместе с key храните hash канонического business payload: повтор с тем же ID, но другой суммой или получателем завершается конфликтом, а не тихим возвратом результата первой команды.
Три timeout-сценария выглядят одинаково для клиента
| Сбой | Состояние сервера | Повтор без защиты |
|---|---|---|
| До получения request | Ничего не сделано | Обычно безопасен |
| Во время обработки до commit | Транзакция откатилась или неизвестна | Зависит от side effects |
| После commit до response | Операция завершена | Создаёт дубль |
| После response у proxy | Операция завершена, клиент не знает | Создаёт дубль |
Именно последние два случая требуют серверной памяти об операции. Retrying только UNAVAILABLE с backoff уменьшает нагрузку, но не решает неоднозначный исход. DEADLINE_EXCEEDED тоже может вернуться после того, как изменение фактически завершилось; клиент проверяет результат по request_id либо повторяет безопасно.
Record хранит больше одного флага done
idempotency_record {
caller_id
rpc_method
request_id
request_hash
state: IN_PROGRESS | SUCCEEDED | FAILED_FINAL
resource_id
response_snapshot
created_at
expires_at
}
UNIQUE (caller_id, rpc_method, request_id)Google AIP-155 связывает request ID с гарантией idempotency. Практическая запись дополнительно фиксирует результат: resource ID или минимальный response snapshot. Хранить вечный полный protobuf необязательно, но TTL record должен покрывать максимальное окно client retry и разбор инцидента. Удаление слишком рано превращает поздний повтор в новую операцию.
Business write и dedup обязаны завершиться согласованно
- Начать транзакцию и попытаться вставить idempotency record с unique key.
- При конфликте проверить caller, method и request_hash.
- Если запись SUCCEEDED, вернуть сохранённый результат без side effect.
- Если IN_PROGRESS, ждать ограниченно или вернуть retryable status с понятным контрактом.
- Создать business object и outbox event в той же транзакции.
- Записать SUCCEEDED и result reference, затем commit.
Если внешняя платёжная система не участвует в вашей транзакции, передавайте ей производный idempotency key и храните её operation ID. Не отмечайте локальную запись успешной до подтверждения внешнего результата; состояние UNKNOWN обрабатывается reconciliation, а не новым charge. Email и webhook отправляет outbox worker с собственным уникальным event ID.
Повтор с другим payload — ошибка клиента
first: request_id=R7 amount=100 recipient=A -> success operation=O9
retry: request_id=R7 amount=100 recipient=A -> same operation O9
bug: request_id=R7 amount=200 recipient=A -> ALREADY_EXISTS / conflict
new: request_id=R8 amount=200 recipient=A -> new operationНе вычисляйте idempotency key только из payload: две намеренно одинаковые покупки тогда склеятся. Key создаёт клиент для одного пользовательского намерения; payload hash лишь подтверждает его неизменность. Логи содержат hash или сокращённый request ID, но не платёжные данные и не полный токен.
Retry policy включается после проверки метода
- Read-only RPC можно повторять по документированным transient codes.
- Create без request_id не получает aggressive retry policy.
- Create с end-to-end idempotency выдерживает параллельные попытки одного key.
- Backoff и maxAttempts ограничивают retry storm, но не заменяют dedup.
- Метрики считают logical operations отдельно от transport attempts.
Официальная документация gRPC показывает retry policy на уровне метода и отдельно transparent retries. Проверьте фактическую service config на клиенте, proxy и SDK version: попытки могут появиться раньше application-level логики. Один trace должен связывать logical request_id и разные attempt spans.
Испытание обрывает соединение после commit
Запустите две параллельные попытки, оборвите первую сразу после business commit, повторите запрос и сравните operation ID. Затем повторите с изменённым payload и дождитесь expiration record. Для разбора подготовьте proto, retry config, transaction boundary, схему idempotency table и trace нескольких attempts. Успех — на один request_id существует один side effect, повтор получает тот же результат, а конфликт payload виден клиенту и в audit.