Когда Docker-логи быстро заполняют диск, не начинайте с `rm` или `truncate` внутри `/var/lib/docker`. Docker предупреждает, что внутренние log files принадлежат daemon; внешнее редактирование может нарушить работу logging system. Сначала найдите контейнер, driver и скорость роста, сохраните короткий фрагмент для причины, затем ограничьте новые записи конфигурацией.
По умолчанию Docker Engine использует `json-file`, и rotation для него может быть не настроена. Официальная документация рекомендует driver `local` для обычных случаев: он ротирует и сжимает данные по умолчанию. Изменение daemon default действует только на вновь созданные контейнеры — существующие надо пересоздать.
Аварийная минута: кто съедает диск
docker system df
docker info --format '{{.LoggingDriver}}'
# Для конкретного контейнера
docker inspect -f '{{.Name}} {{.HostConfig.LogConfig.Type}} {{json .HostConfig.LogConfig.Config}}' CONTAINER
docker logs --since 10m --tail 200 CONTAINERКоманды показывают общий расход, driver/options и последние сообщения. Если раздел уже почти заполнен, остановите генератор шума управляемым способом: уменьшите трафик, отключите проблемную задачу или остановите один подтверждённый контейнер согласно процедуре сервиса. Не удаляйте все логи до сохранения ошибки и не запускайте общую очистку образов/volumes как замену диагнозу.
| Признак в потоке | Причина приложения | Исправление источника |
|---|---|---|
| одна ошибка тысячи раз | retry без backoff | ограничить попытки, jitter и агрегировать |
| полный request/response | debug/body logging | уровень production и redaction |
| health check каждую секунду | access log без фильтра | убрать успешный health endpoint |
| stack trace на ожидаемый 4xx | неверный уровень | структурный warn/error только для аномалии |
| одна строка огромного размера | payload/exception dump | лимит поля и безопасная summary |
Rotation ограничивает объём, но не лечит шум
Для daemon default укажите `log-driver` и строковые `log-opts` в `daemon.json`, проверьте валидность конфигурации и перезапустите daemon по регламенту. `local` хранит несколько ротируемых файлов и использует сжатие. Свои числа выбирайте из периода расследования: слишком малое окно уничтожит контекст до реакции дежурного.
{
"log-driver": "local",
"log-opts": {
"max-size": "20m",
"max-file": "5",
"compress": "true"
}
}Верхняя оценка для примера — около 100 MB на контейнер до накладных расходов и временной распаковки. Умножьте её на максимальное число контейнеров и оставьте запас раздела. Документация Docker отмечает: чтение сжатых rotated logs временно увеличивает использование диска и CPU.
Compose закрепляет политику рядом с сервисом
services:
api:
image: registry.example/api:2026-10-07
logging:
driver: local
options:
max-size: "20m"
max-file: "5"
compress: "true"Service-level настройка полезна, когда аудит или объём отличаются от daemon default. После изменения выполните `docker compose config`, затем пересоздайте сервис в допустимое окно и снова посмотрите `HostConfig.LogConfig`. Обычный restart старого контейнера не меняет выбранный при создании logging driver.
- Рассчитайте retention из bytes per minute и времени реакции, а не копируйте 10m/3 из примера.
- Для централизованного driver проверьте поведение при недоступности collector и локальный buffer.
- Не включайте пароли, токены, cookie, персональные данные и полные тела в stdout/stderr.
- Добавьте correlation/request id, но контролируйте cardinality labels.
- Сигнализируйте по свободному месту и скорости роста до аварийного порога.
Blocking и non-blocking — осознанный обмен
По умолчанию Docker доставляет сообщения logging driver в blocking mode. При медленном driver это может затормозить приложение. Non-blocking использует per-container buffer и защищает процесс от backpressure, но при заполнении новые сообщения отбрасываются. Для аудита потеря может быть неприемлема; для отладочного потока она часто лучше остановки API.
| Требование | Режим | Контроль |
|---|---|---|
| нельзя терять audit events | не полагаться только на stdout | durable audit pipeline и alarm |
| API не должен блокироваться логгером | non-blocking | dropped/collector health metrics |
| локальная диагностика | local driver | размер × число файлов |
| центральный поиск | remote driver/agent | буфер, retry, TLS, outage test |
Проверка после пересоздания
- Сравнить container id: сервис действительно пересоздан, а не только перезапущен.
- Через docker inspect подтвердить driver и все options у каждого replica.
- Создать контролируемый тестовый поток в staging и увидеть rotation без заполнения раздела.
- Проверить `docker logs --since` до и после rotation и доступность нужного окна.
- Смоделировать недоступность remote collector, если он используется, и проверить поведение приложения.
- Убедиться, что причина исходного log storm исправлена, а rate вернулся к базовой линии.
Для плановой правки принесите вывод `docker info`, `docker inspect` без environment/secrets, график свободного места и несколько обезличенных повторяющихся строк. Итоговая защита состоит из двух частей: приложение перестаёт печатать шум, а driver физически не может бесконечно занять диск.