При почти полном диске сначала уменьшите поток: отключите debug для шумного сервиса или остановите необязательный exporter по runbook. Слепой rm большого log-файла опасен — процесс может продолжать держать удалённый inode, а место не вернётся до закрытия descriptor.
Диагностика начинается с filesystem. df показывает заполнение раздела, du — видимые каталоги, journalctl --disk-usage — journal, а deleted-open files объясняют расхождение между df и du. Любую очистку выполняют только после определения владельца данных и требуемого срока хранения.
Четыре симптома ведут к разным действиям
| Наблюдение | Вероятная причина | Безопасный следующий шаг |
|---|---|---|
| df и du согласны, растёт /var/log | Обычный log без rotation | Найти writer и настройку rotate |
| df заполнен, du заметно меньше | Удалённый, но открытый файл | Найти descriptor и штатно reopen/restart |
| Большой journal | journald хранит слишком много | Проверить usage, max use и keep free |
| Растёт containers/*-json.log | Docker json-file без лимитов | Настроить max-size/max-file и пересоздать container |
| Резкий поток одинаковых строк | Ошибка или retry loop | Устранить событие, а не только следствие |
Сначала только читающие команды
df -hT /var /var/log
du -xhd1 /var/log | sort -h
journalctl --disk-usage
lsof +L1
# Для Docker: узнать logging driver и log path
docker inspect --format '{{.HostConfig.LogConfig.Type}} {{.LogPath}}' CONTAINERКоманды выполняются с правами, принятыми в вашей системе; CONTAINER заменяют на конкретный ID. Вывод lsof может содержать рабочие пути и имена процессов, поэтому перед передачей его очищают от чувствительных деталей.
Journald ограничиваем двумя границами
SystemMaxUse задаёт верхний объём persistent journal, а SystemKeepFree — сколько места оставить другим данным. systemd применяет более строгий из двух лимитов. Значения выбирают по размеру раздела и сроку расследования, а не копируют из примера соседнего сервера.
journalctl умеет показать usage и vacuum архивных journal files. Сначала rotate, затем vacuum по size или time в соответствии с runbook. Активный файл и уже занятое место другими приложениями могут оставить фактический объём выше ожидаемого; после операции снова сверяют df и journalctl --disk-usage.
Docker меняет лимиты только для новых containers
Для json-file driver Docker документирует max-size и max-file. Параметры в daemon.json задаются строками, но новая конфигурация не применяется автоматически к существующим containers — их нужно безопасно пересоздать. Вручную редактировать файлы json-file внешними инструментами Docker не рекомендует.
- Проверить logging driver каждого критичного container.
- Согласовать max-size × max-file с числом replicas.
- Оценить место для временного удвоения при rotation.
- Пересоздавать по одному экземпляру с проверкой readiness.
- Не терять audit logs, для которых задан отдельный retention.
Лимит без алерта лишь откладывает аварию
Следите за свободными bytes и прогнозом времени до заполнения, а не только за процентом. Маленький системный раздел может исчерпать резерв при невысоком проценте. Отдельно измеряйте log rate по service и число подавленных сообщений: rate limit способен скрыть новый дефект.
- Создать контролируемый поток тестовых записей.
- Увидеть rotation до достижения аварийного порога.
- Проверить удаление только устаревшего архива.
- Перезапустить service/container и убедиться в сохранении лимита.
- Смоделировать рост и получить ранний alert.
- Подтвердить доступность нужного окна логов для расследования.
Материалы для точной настройки
Подготовьте layout дисков, df и du одного момента, journal usage, список logging drivers, скорость роста за час, действующий retention и требования к audit. По ним можно выбрать лимиты и порядок очистки без удаления единственной копии нужных журналов.