`SERVING`, полученный потому, что gRPC-порт принимает соединение, показывает только живой процесс. Если каждый бизнес-RPC немедленно падает без базы, такая проверка не отражает готовность. Но включать базу в liveness тоже опасно: общий outage БД перезапустит все pods и добавит шторм подключений.
Разведите три понятия: процесс способен исполняться — live; экземпляр может принимать новый трафик по контракту — ready; часть функций потеряна, но основной контракт работает — degraded. Стандартный gRPC Health API переносит SERVING/NOT_SERVING, а подробности degraded живут в метриках и диагностике.
Зависимость классифицируется по влиянию на контракт
| Событие | Liveness | Readiness | Дополнительный сигнал |
|---|---|---|---|
| event loop deadlock | fail | fail | restart и алерт |
| критичная БД недоступна | pass | fail | dependency_down |
| необязательная аналитика недоступна | pass | pass | degraded + очередь |
| кеш недоступен, есть DB fallback | pass | pass/по SLO | latency и saturation |
| конфигурация ещё не загружена | pass | fail | startup progress |
Критичность задаётся поведением endpoint, а не названием технологии. Одна и та же Redis может быть необязательным кешем для чтения и строгой зависимостью для distributed lock. Если в одном процессе разные сервисы, публикуйте статус каждого service name отдельно.
Стандартный Health service уже поддерживает поток изменений
service Health {
rpc Check(HealthCheckRequest) returns (HealthCheckResponse);
rpc Watch(HealthCheckRequest) returns (stream HealthCheckResponse);
}
serviceName = "orders.v1.Orders" -> SERVING | NOT_SERVING
serviceName = "" -> агрегированный статус сервераUnary `Check` удобен для probe и мониторинга, `Watch` — для клиентского health checking. Официальное руководство gRPC отмечает: клиенты с Watch не отправляют запросы endpoint, пока тот не сообщил SERVING, и возобновляют их после восстановления. Само приложение обязано обновлять статусы библиотеки health service.
Агрегатор не делает сетевой fan-out на каждый probe
Если каждый kubelet probe синхронно обращается к БД, очереди и пяти API, health endpoint сам создаёт нагрузку и наследует их задержки. Запускайте фоновые проверки с deadline, храните последнее наблюдаемое состояние и возраст, а probe читает локальный snapshot. Просроченный snapshot считается неизвестным по заранее заданной политике.
- У каждой зависимости есть deadline короче периода probe.
- Переходы имеют небольшой debounce/hysteresis, но не скрывают долгий outage.
- Состояние содержит `checked_at` и возраст, а не только boolean.
- Метрики показывают причину NOT_SERVING, Health API не раскрывает секреты.
- В shutdown сначала публикуется NOT_SERVING, затем завершаются активные RPC.
Kubernetes использует разные service names для разных целей
livenessProbe:
grpc: { port: 50051, service: liveness }
readinessProbe:
grpc: { port: 50051, service: readiness }
startupProbe:
grpc: { port: 50051, service: startup }
failureThreshold: 30
periodSeconds: 10Встроенная gRPC probe считает успехом статус SERVING. Liveness failure после порога ведёт к restart контейнера; readiness failure убирает pod из Service endpoints, но не убивает его. Startup probe защищает медленный запуск и до своего успеха откладывает обычные проверки. Подберите timeout/period под реальные задержки, а не копируйте пример.
Не каждая ошибка зависимости снимает весь трафик
Если сервис умеет возвращать сохранённые данные или ставить запись в надёжную очередь, полное NOT_SERVING может ухудшить доступность. Зафиксируйте контракт: какие RPC продолжают работать и какое качество ответа считается приемлемым. Для gRPC-клиентов status можно публиковать на уровне service; более тонкое состояние отдельных методов обычно выражают бизнес-ошибками, routing или разбиением сервиса.
Обратная крайность — всегда SERVING и 100% `UNAVAILABLE` на бизнес-RPC. Readiness должна проверять именно минимальный путь, без которого экземпляр не выполняет основной контракт, и учитывать истёкший connection pool или невозможность выполнить короткий read/write canary, если это безопасно.
Chaos-проверка подтверждает смысл сигналов
- Зафиксировать baseline ответов Check/Watch и список ready endpoints.
- Отключить критичную БД: readiness → NOT_SERVING, pod не рестартует, новые запросы уходят другим replicas.
- Вернуть БД: после успешной проверки readiness → SERVING без ручного restart.
- Отключить необязательную аналитику: сервис остаётся ready, растёт degraded metric/очередь.
- Заблокировать event loop или health updater: liveness должна обнаружить внутреннюю неисправность.
- Замедлить старт: startup probe защищает процесс от преждевременного restart.
- Провести rolling shutdown и убедиться, что Watch сообщает NOT_SERVING до закрытия соединений.
В отчёте сохраните ответы для service names, возраст snapshot, состояние каждой зависимости, события Kubernetes и долю бизнес-ошибок. Connection strings и токены не прикладывайте. Исправление считается рабочим, если отказ критичной зависимости снимает трафик без каскада restart, а отказ необязательной остаётся видимым без лишнего outage.