Большой gRPC stream не «обрывается вообще»: одна сторона завершает RPC со status, другая видит EOF, cancellation или transport error. Первое полезное действие — сохранить canonical code, details, направление передачи и размер сериализованного protobuf сообщения. HTTP-код балансировщика без gRPC trailers часто скрывает настоящий источник.
Не увеличивайте max receive/send message size наугад. Ограничение может стоять у клиента, сервера, sidecar, ingress или внешнего load balancer. Несогласованная правка сдвинет отказ на следующий hop и увеличит память на каждое параллельное сообщение.
Код завершения задаёт ветку проверки
| Наблюдение | Что вероятно | Что проверить первым |
|---|---|---|
| RESOURCE_EXHAUSTED и размер в details | Message/resource limit | Receive/send limit на обеих сторонах и proxy |
| DEADLINE_EXCEEDED | Общий deadline закончился | Время RPC, очередь, bandwidth, slow consumer |
| UNAVAILABLE или reset | Transport/proxy/endpoint | Idle timeout, connection logs, GOAWAY |
| CANCELLED | Клиент или parent context отменил RPC | Кто вызвал cancel и какой deadline у parent |
| Зависание без ошибки | Flow control или взаимная блокировка | Читает ли каждая сторона, пока пишет |
Canonical code не всегда однозначен: документация gRPC отмечает, что некоторые codes могут вернуть как библиотека, так и приложение. Поэтому связывайте client log, server log и proxy trace по request ID и времени. Details не должны включать payload, токены и персональные данные.
Проверьте ступеньку размера и медленного получателя
Соберите минимальный тест на payload чуть ниже порога, ровно возле него и выше. Повторите без compression и с ней, но считайте сериализованный логический размер отдельно от wire bytes. Затем замедлите чтение на получателе: если ошибка зависит от скорости, исследуйте backpressure и deadline, а не только размер.
- Зафиксировать тип RPC: server, client или bidirectional streaming.
- Записать sequence number последнего подтверждённого сообщения.
- Сопоставить gRPC deadline с timeout ingress и load balancer.
- Проверить memory/CPU и число одновременных streams на каждом hop.
- Повторить напрямую внутри кластера и через полный production path.
Flow control требует продолжать чтение
gRPC применяет flow control к streaming RPC, чтобы быстрый sender не переполнил receiver. Write может ждать доступного окна. В bidirectional stream обе стороны способны одновременно блокироваться на write, если перестали читать; руководство gRPC отдельно предупреждает о такой возможности для ручного или синхронного flow control.
Архитектура обработчика должна принимать входящие frames независимо от тяжёлой бизнес-обработки, но с ограниченной очередью. Давайте сигнал готовности только когда есть ёмкость, ограничивайте concurrency и измеряйте время ожидания write/read. Бесконечный buffer в приложении отменяет защиту транспорта и переносит отказ в OOM.
Крупный объект лучше передавать возобновляемыми частями
message Chunk {
string transfer_id = 1;
uint64 offset = 2;
bytes data = 3;
bytes checksum = 4;
bool final = 5;
}Это не готовый универсальный API, а минимальная модель. Receiver проверяет offset и checksum, сохраняет durable checkpoint и подтверждает последний принятый диапазон. После разрыва клиент продолжает с подтверждённого offset, а не отправляет весь объект заново. Ограничьте размер chunk и общий размер transfer до выделения памяти.
Сжатие уменьшает wire traffic, но не отменяет лимит, вычисляемый конкретной реализацией на распакованном или сериализованном сообщении, и создаёт CPU/memory risk. Проверяйте документацию используемых языковых библиотек и proxy; не переносите числовой default из другого стека.
Приёмка включает разрыв посередине
- Передать маленький, граничный и большой объект через полный маршрут.
- Замедлить receiver и подтвердить ограниченное потребление памяти и отсутствие deadlock.
- Оборвать соединение после нескольких chunks и продолжить с подтверждённого offset.
- Повторить последний chunk и убедиться, что checksum/offset не создают дубль.
- Проверить понятный status для превышения лимита и метрики по code, bytes и latency.
Для анализа подготовьте версии gRPC library, тип RPC, endpoint path, настройки proxy, один обезличенный code/details и размеры трёх тестов. Сам payload, certificates и metadata авторизации не требуются. По этим данным можно решить, согласовать ли разумный limit, исправить чтение или перейти на chunked resumable protocol.