Если раздел с логами почти заполнен, сначала выясните, что именно занимает место и какой процесс продолжает запись. Снимите использование файловой системы, размеры каталогов и открытые удалённые файлы. Не запускайте массовое rm по /var/log: сервис может держать удалённый inode открытым, место не освободится, а единственный фрагмент с причиной всплеска исчезнет.

Перед очисткой сохраните небольшой диагностический срез: время начала роста, частую строку ошибки, имя сервиса, версию релиза и скорость прироста. Персональные данные и токены маскируются. Затем уменьшайте давление поддерживаемым способом — rotation, vacuum для архивного journal или настройка logging driver — и одновременно останавливайте источник повторяющейся ошибки.

Пять команд отвечают на разные вопросы

df -hT
df -i
du -xhd1 /var/log | sort -h
find /var/log -xdev -type f -size +500M -printf '%s %p\n' | sort -n
lsof +L1

# сначала диагностика; пути и пороги адаптируйте к своему серверу

df показывает занятость раздела и inode, du — видимые файлы, а lsof +L1 помогает найти удалённые файлы, которые всё ещё открыты процессом. find в примере ограничен /var/log и одной файловой системой, но перед запуском проверьте путь. Если df занят, а du не находит объём, частая причина — открытый удалённый файл или данные за mount point.

Способ очистки зависит от владельца журнала

ИсточникПравильный механизмРиск неверного действия
обычный файл приложенияlogrotate и сигнал reopenпроцесс пишет в старый inode
systemd journalretention и journalctl vacuumручное удаление активных journal
Docker json-filelogging options или local driverогромный JSON без rotation
Nginxrotation плюс поддерживаемый reopentruncate во время интенсивной записи
удалённый открытый файлкорректный restart/reopen процессаrm не возвращает место
audit/security logсогласованный retentionпотеря данных расследования

Logrotate умеет вращать, сжимать и удалять старые файлы по времени или размеру. После rename приложению обычно нужен сигнал или команда, чтобы открыть новый файл. Опция copytruncate существует для программ без reopen, но документация предупреждает о коротком окне потери данных между копированием и усечением. Используйте её только осознанно.

Retention ограничивает объём, но не лечит поток ошибок

  • задайте частоту rotation, количество копий, maxage и compression исходя из расследований;
  • проверьте, что logrotate.timer или cron действительно запускается и state-файл обновляется;
  • для journald настройте постоянный предел, а vacuum применяйте к архивным файлам;
  • для Docker учитывайте, что изменение default driver обычно не меняет уже созданные контейнеры;
  • алерт ставьте и на заполнение диска, и на скорость роста конкретного источника;
  • агрегация за пределами хоста не отменяет локальный предел буфера.

Docker прямо предупреждает, что json-file без rotation способен заполнить диск; для многих сценариев рекомендует local driver с ротацией по умолчанию. При смене daemon.json проверьте документацию версии и создайте контейнер заново в контролируемом окне. Не перезапускайте весь runtime посреди инцидента, пока не понимаете влияние на сервисы.

Повторяющуюся строку превращают в гипотезу

Посчитайте сообщения по шаблону и времени. Один stack trace на запрос может означать ошибочный retry, недоступную зависимость, слишком подробный debug level или логирование полного payload. Исправление зависит от источника: backoff и circuit breaker для временного отказа, снижение уровня только после подтверждения, sampling для повторов и структурированное поле error_code вместо гигантского текста.

Нельзя просто выключить error log. Оставьте событие, по которому видно число сбоев, первую и последнюю отметку, correlation ID и агрегированный счётчик повторов. Тела запросов, cookie, токены и персональные поля не должны попадать в общий журнал; это одновременно снижает объём и риск утечки.

После освобождения места проверьте, что проблема остановлена

  1. Сравнить свободное место до и после rotation/reopen и убедиться, что удалённый inode исчез.
  2. Измерить прирост проблемного лога за 10–15 минут при обычной нагрузке.
  3. Запустить logrotate в debug-режиме и отдельно проверить реальный план на тестовом файле.
  4. Подтвердить retention для journald/контейнеров и поведение после их пересоздания.
  5. Создать алерт с запасом на время реакции и ссылкой на короткий runbook.

Для разбора подготовьте df/du без домашних каталогов, имена крупных логов, несколько обезличенных повторяющихся строк, конфигурацию rotation и тип runtime. Полные архивы журналов и секреты не нужны. Если диск уже на критическом уровне, изменения выполняйте по одному, фиксируя возвращённый объём и возможность отката конфигурации.

Проверенные источники