Число «lag = 3 000 000» без разбивки почти бесполезно. Снимите CURRENT-OFFSET, LOG-END-OFFSET, LAG и владельца для каждой topic-partition дважды с известным интервалом. Если общий lag падает, группа догоняет; если растёт, входящий поток быстрее полезной обработки.
Не используйте reset-offsets как способ сделать график зелёным. Перенос позиции вперёд означает сознательно пропустить данные, а назад — обработать их повторно. Сначала сохраните offsets и выясните, переживёт ли downstream повтор.
Describe сразу отделяет три аварии
bin/kafka-consumer-groups.sh \
--bootstrap-server kafka-1.example:9092 \
--describe \
--group billing-workers
# Повторите команду через фиксированный интервал
# и сравните LAG по каждой partition.В Apache Kafka 4.3 этот инструмент показывает позицию группы и отставание от конца лога. Адрес, имя группы и доступы в примере условные. Вывод сохраняют без SASL credentials; для consumer protocol административному клиенту могут потребоваться права DESCRIBE на используемые topics.
| Картина | Вероятное ограничение | Следующая проверка |
|---|---|---|
| Одна partition даёт почти весь lag | Hot key или медленная запись | Key distribution и latency одного handler |
| Все partitions растут одинаково | Недостаточно общей мощности | Input rate против processed rate |
| CONSUMER-ID часто меняются | Rebalance loop | Session, poll duration, deploy events |
| Offsets стоят, процесс жив | Блокировка downstream или poison record | Thread dump, retry и error log |
| Lag падает, но возраст растёт | Метрика количества скрывает старый хвост | Timestamp старейшей ожидающей записи |
Время догоняния зависит от net drain
Пусть producers добавляют 8 000 записей в секунду, а группа устойчиво обрабатывает 10 000. Очередь сокращается лишь на 2 000 в секунду, поэтому три миллиона записей потребуют примерно 25 минут при неизменной нагрузке. Если разница близка к нулю, добавление разового batch не решает причину.
Считайте отдельно по горячим partitions и используйте фактическую скорость commit, а не количество вызовов handler. Время события тоже важно: миллион telemetry-сообщений за пять минут и миллион заказов за сутки имеют разный пользовательский ущерб.
Больше consumers помогает только до числа partitions
В группе одна partition назначается одному consumer одновременно. Когда активных consumers уже не меньше числа partitions, новые экземпляры не увеличат параллельную обработку этой группы. А горячая partition останется горячей даже рядом с простаивающими workers.
- Проверить равномерность ключей и входящих bytes по partition.
- Измерить время бизнес-обработки без ожидания poll.
- Сравнить число активных members и назначенных partitions.
- Исключить частые рестарты и длинные stop-the-world паузы.
- Проверить limits CPU, memory, network и connection pool downstream.
Poll и commit могут скрывать узкое место
Consumer получает batch быстро, но затем может ждать базу, внешний API или retry одного сообщения. Следите за records-lag-max, records-consumed-rate, poll idle и latency собственного handler. Kafka публикует records-lag-max на стороне consumer, а не broker, поэтому отсутствие метрики у умершего процесса не означает нулевой lag.
Увеличение max.poll.interval.ms прекращает некоторые rebalances, но может лишь дольше скрывать зависший handler. Сначала измерьте максимальное время обработки batch и настройте размер fetch/poll так, чтобы consumer успевал вызвать poll в своей модели работы.
Восстановление не должно перегрузить следующую систему
- Ограничить необязательные producers или выделить приоритетный topic, если это допускает продукт.
- Устранить poison record либо поместить его в согласованный quarantine flow.
- Поднять throughput малым шагом и наблюдать ошибки downstream.
- Подтвердить отрицательный slope lag на нескольких интервалах.
- Проверить дубли при restart и commit после обработки.
- Оставить alert по возрасту и ETA, а не только по абсолютному lag.
Минимальный пакет диагностики
Соберите версию Kafka и клиента, topic/group, два вывода describe, число partitions и members, input/processed rate, частоту rebalance, commit mode и p95/p99 времени handler. Payload сообщений, пароли и полные customer identifiers для поиска узкого места не нужны.