По умолчанию клиент gRPC может ждать очень долго. Поставьте deadline на вызывающей стороне и обрабатывайте `DEADLINE_EXCEEDED` как отдельный результат. Таймаут TCP, keepalive и health check не заменяют deadline конкретного RPC: соединение может быть живо, пока обработчик ждёт зависимость.
Начните с одного метода и реального бюджета продукта. Если HTTP-запрос должен завершиться за 1,5 секунды, нельзя выдать каждому из трёх downstream-вызовов по 1,5 секунды. Оставьте время на сериализацию и ответ пользователю, а дочерним вызовам передавайте уменьшающийся остаток.
Похожий симптом создают четыре разных механизма
| Механизм | Что ограничивает | Что не гарантирует |
|---|---|---|
| RPC deadline | Общее время конкретного вызова | Что сервер мгновенно остановит стороннюю работу |
| Cancellation | Сигнал прекратить ненужную обработку | Автоматическую отмену запроса к каждой библиотеке |
| Keepalive | Проверку жизнеспособности transport | Срок бизнес-операции |
| Health check | Готовность сервиса принимать вызовы | Успех конкретного метода и зависимости |
| Retry policy | Новые попытки после выбранных ошибок | Идемпотентность операции и бесконечный бюджет |
Официальное руководство gRPC указывает: когда deadline истёк, клиент прекращает ожидание и получает `DEADLINE_EXCEEDED`. Сервер должен следить за cancellation/deadline сам, иначе он продолжит дорогой SQL-запрос или внешнюю операцию уже после ухода клиента.
Бюджет уменьшается на каждом переходе
# Псевдокод: значения измеряются монотонными часами
request_deadline = monotonic_now() + 1500ms
reserve_for_response = 150ms
remaining = request_deadline - monotonic_now() - reserve_for_response
catalog.Get(deadline = min(remaining, 500ms))
remaining = request_deadline - monotonic_now() - reserve_for_response
pricing.Get(deadline = min(remaining, 400ms))
if remaining <= 0: return DEADLINE_EXCEEDEDЭто модель, а не готовый API конкретного языка. gRPC умеет распространять deadline между сервисами, а реализация переводит абсолютное время в timeout с учётом уже прошедшего времени. В приложении используйте библиотечный deadline/context вашего языка и monotonic clock, не собирайте заголовок вручную.
Retry расходует тот же запас времени
Повтор — новый RPC, а не продолжение прежнего. Разрешайте его только для выбранных временных статусов, с ограничением попыток и backoff. После получения response headers вызов считается committed и библиотека больше не выполняет retry в обычной схеме. Для изменения данных дополнительно нужен идемпотентный ключ или контракт метода, допускающий повтор.
- Не повторяйте `INVALID_ARGUMENT`, ошибки авторизации и заведомо просроченный запрос.
- Оставьте каждой попытке полезное окно, иначе последний retry стартует почти с нулевым deadline.
- Запишите attempt number и remaining budget, но не payload с персональными данными.
- Разделяйте client-side deadline exceeded и server-side статус с тем же кодом в trace.
- Проверяйте retry storm при одновременном восстановлении зависимости.
Отмена освобождает ресурсы только при сотрудничестве кода
Обработчик проверяет context/cancellation перед дорогими этапами и передаёт отмену в драйвер базы или HTTP-клиент. Если сторонняя библиотека не умеет отменять запрос, ограничьте её собственным timeout и пулом. Не закрывайте общий channel при таймауте одного RPC: это затронет параллельные вызовы.
Метрики разделяйте по method, status и deadline bucket. Высокая доля `DEADLINE_EXCEEDED` может означать слишком короткий бюджет, деградацию зависимости или очередь до начала обработки; одна средняя latency этого не различает.
Проверка создаёт управляемую задержку
В тестовой среде добавьте 200, 600 и 2000 мс задержки в одну зависимость. Убедитесь, что короткий вызов успешен, длинный завершается около заданного deadline, downstream видит cancellation, а число активных обработчиков возвращается к исходному. Затем включите одну допустимую retry-попытку и проверьте, что суммарное время не превысило внешний бюджет.
Для диагностики нужен trace, а не тело запроса
Соберите method, client/server timestamps, установленный deadline, remaining budget на каждом hop, status code, attempt number и dependency duration. Payload, токены и metadata авторизации удалите. По этой шкале видно, где время было потрачено до вызова и где отмена не дошла.