При почти полном диске сначала уменьшите поток: отключите debug для шумного сервиса или остановите необязательный exporter по runbook. Слепой rm большого log-файла опасен — процесс может продолжать держать удалённый inode, а место не вернётся до закрытия descriptor.

Диагностика начинается с filesystem. df показывает заполнение раздела, du — видимые каталоги, journalctl --disk-usage — journal, а deleted-open files объясняют расхождение между df и du. Любую очистку выполняют только после определения владельца данных и требуемого срока хранения.

Четыре симптома ведут к разным действиям

НаблюдениеВероятная причинаБезопасный следующий шаг
df и du согласны, растёт /var/logОбычный log без rotationНайти writer и настройку rotate
df заполнен, du заметно меньшеУдалённый, но открытый файлНайти descriptor и штатно reopen/restart
Большой journaljournald хранит слишком многоПроверить usage, max use и keep free
Растёт containers/*-json.logDocker json-file без лимитовНастроить max-size/max-file и пересоздать container
Резкий поток одинаковых строкОшибка или retry loopУстранить событие, а не только следствие

Сначала только читающие команды

df -hT /var /var/log
du -xhd1 /var/log | sort -h
journalctl --disk-usage
lsof +L1

# Для Docker: узнать logging driver и log path
docker inspect --format '{{.HostConfig.LogConfig.Type}} {{.LogPath}}' CONTAINER

Команды выполняются с правами, принятыми в вашей системе; CONTAINER заменяют на конкретный ID. Вывод lsof может содержать рабочие пути и имена процессов, поэтому перед передачей его очищают от чувствительных деталей.

Journald ограничиваем двумя границами

SystemMaxUse задаёт верхний объём persistent journal, а SystemKeepFree — сколько места оставить другим данным. systemd применяет более строгий из двух лимитов. Значения выбирают по размеру раздела и сроку расследования, а не копируют из примера соседнего сервера.

journalctl умеет показать usage и vacuum архивных journal files. Сначала rotate, затем vacuum по size или time в соответствии с runbook. Активный файл и уже занятое место другими приложениями могут оставить фактический объём выше ожидаемого; после операции снова сверяют df и journalctl --disk-usage.

Docker меняет лимиты только для новых containers

Для json-file driver Docker документирует max-size и max-file. Параметры в daemon.json задаются строками, но новая конфигурация не применяется автоматически к существующим containers — их нужно безопасно пересоздать. Вручную редактировать файлы json-file внешними инструментами Docker не рекомендует.

  • Проверить logging driver каждого критичного container.
  • Согласовать max-size × max-file с числом replicas.
  • Оценить место для временного удвоения при rotation.
  • Пересоздавать по одному экземпляру с проверкой readiness.
  • Не терять audit logs, для которых задан отдельный retention.

Лимит без алерта лишь откладывает аварию

Следите за свободными bytes и прогнозом времени до заполнения, а не только за процентом. Маленький системный раздел может исчерпать резерв при невысоком проценте. Отдельно измеряйте log rate по service и число подавленных сообщений: rate limit способен скрыть новый дефект.

  1. Создать контролируемый поток тестовых записей.
  2. Увидеть rotation до достижения аварийного порога.
  3. Проверить удаление только устаревшего архива.
  4. Перезапустить service/container и убедиться в сохранении лимита.
  5. Смоделировать рост и получить ранний alert.
  6. Подтвердить доступность нужного окна логов для расследования.

Материалы для точной настройки

Подготовьте layout дисков, df и du одного момента, journal usage, список logging drivers, скорость роста за час, действующий retention и требования к audit. По ним можно выбрать лимиты и порядок очистки без удаления единственной копии нужных журналов.

Проверенные источники