Метрика появляется только после четырёх успешных этапов: приложение отдаёт /metrics, service discovery создаёт target, relabeling его сохраняет, а Prometheus может выполнить HTTP scrape. Начинать с PromQL-запроса неудобно: пустой результат не говорит, на каком этапе исчез сервис.
Не добавляйте сразу ручной static target в production. Сначала найдите сервис в Targets или /api/v1/targets. Если он в droppedTargets, чините labels и relabeling; если active со state=down — endpoint, сеть или TLS; если target отсутствует совсем — discovery и селектор.
Состояние target уже сужает поиск
| Что видно | Значение | Куда смотреть |
|---|---|---|
| Target отсутствует | Discovery не создал адрес | Service, selectors, namespace, RBAC |
| Target в dropped | Relabel rule отбросило labels | keep/drop и исходные meta labels |
| Target active, health down | Scrape завершился ошибкой | lastError, URL, TLS, auth, timeout |
| Target up, series нет | Фильтрация или запрос не совпали | metric_relabel, имя метрики, labels |
| up=1, dashboard пуст | Проблема запроса или datasource | job, instance, время и переменные |
Метрика up создаётся Prometheus для каждого scrape target: 1 означает успешный scrape, 0 — неуспешный. Она проверяет доступность сбора, но не подтверждает наличие конкретной бизнес-метрики. Поэтому после up отдельно запросите известную build_info или другой стабильный series.
Endpoint проверяем из той же сети
# Run from a diagnostic pod or host with the same network path
curl -fsS --max-time 5 http://service.namespace.svc:9090/metrics | head
# Inspect discovered and dropped targets
curl -fsS "http://prometheus:9090/api/v1/targets?state=any"
# Validate a file-based configuration before reload
promtool check config /etc/prometheus/prometheus.ymlЗапрос с ноутбука не доказывает доступность из Prometheus. Проверяйте DNS, порт и путь из той же сети и с теми же TLS-настройками. Endpoint должен вернуть 2xx и корректный exposition format; HTML-страница, redirect на login или JSON приложения не являются метриками.
Discovery требует совпадения labels
При static_configs адрес должен присутствовать в реально загруженном prometheus.yml. При динамическом discovery проверьте исходные meta labels и селекторы. В Kubernetes часто расходятся namespace, labels Service и selector ServiceMonitor либо имя порта: строка port в объекте мониторинга может ссылаться на именованный порт Service, а не на номер контейнера.
- Сравните labels нового Service с соседним рабочим объектом без слепого копирования.
- Проверьте namespaceSelector и ограничения самого Prometheus instance.
- Убедитесь, что endpoints или EndpointSlice содержат готовый адрес и порт.
- Посмотрите service discovery до relabeling, а не только итоговый target.
- Не добавляйте label job вручную, пока не понятен источник текущего значения.
Relabeling может удалить исправный адрес
relabel_configs работают до scrape и могут оставить либо отбросить target. Одна несовпавшая regex в keep превращает ожидаемый сервис в dropped target. metric_relabel_configs применяются после scrape и способны удалить отдельные series, хотя up остаётся равной 1. Эти два слоя диагностируют раздельно.
Сохраните исходный набор discovery labels и результат каждого правила. В актуальном HTTP API есть endpoint relabel_steps, но он помечен экспериментальным; для стабильной автоматизации не завязывайте на него обязательный production-процесс. UI и конфигурационный diff остаются основными инструментами.
Загруженная конфигурация важнее файла на диске
Исправленный prometheus.yml не начинает действовать сам по себе, если процесс не получил reload или не был перезапущен. Сначала выполните promtool check config, затем примените принятый в вашей среде безопасный reload и проверьте /api/v1/status/config. Не включайте lifecycle endpoint наружу только ради удобства.
В операторской установке источником может быть сгенерированный config, а не файл, который редактировал инженер. Проверьте статус custom resource, события оператора и фактическую конфигурацию Prometheus. Ручная правка generated Secret обычно будет перезаписана контроллером.
Down читается по lastError
- connection refused — адрес найден, но порт не слушает или выбран неверно.
- context deadline exceeded — сеть, медленный endpoint или слишком короткий timeout.
- server returned HTTP status 404 — неверный metrics_path.
- x509 error — CA, имя сервера или срок сертификата.
- 401/403 — Prometheus не получил требуемую авторизацию.
- body size или parse error — exporter отдаёт некорректный формат.
Не увеличивайте scrape_timeout первым действием. /metrics не должен выполнять тяжёлые запросы к зависимостям при каждом scrape. Если endpoint медленный, снимите profile, кешируйте дорогие вычисления или публикуйте заранее поддерживаемые counters и gauges.
Приёмка завершается запросом по labels
После появления up=1 запросите стабильную метрику с ожидаемыми job и instance, дождитесь минимум двух scrape-интервалов и проверьте диапазон времени dashboard. Затем симулируйте остановку тестового target и убедитесь, что алерт реагирует по вашей задержке, а после восстановления закрывается.
Диагностический пакет остаётся коротким
Для помощи подготовьте версию Prometheus, тип discovery, обезличенный target URL, fragment scrape_config, active или dropped запись и lastError. Удалите bearer token, пароли, полный список внутренних адресов и значения бизнес-метрик. Этого достаточно, чтобы восстановить путь labels без доступа к production.