После неожиданной перезагрузки самые важные данные находятся не в текущем uptime, а в конце предыдущей загрузки. Не начинайте с обновления ядра или отключения watchdog: сначала сохраните доказательства. Укажите время в UTC и локальном часовом поясе, границу между boot и последние сообщения kernel и systemd до неё.
Картина часто определяется по тому, как закончился журнал. Последовательные сообщения о shutdown, остановке служб и reboot указывают на штатно запрошенную перезагрузку. Резкий обрыв без завершения больше похож на питание, сбой гипервизора, жёсткий reset или crash, который не успел записать данные на диск. Отсутствие строки «ошибка» само по себе ничего не доказывает.
Первые команды только читают состояние
date --iso-8601=seconds
uptime -s
journalctl --list-boots
journalctl -b -1 -e
journalctl -k -b -1
last -x | head -30
ls -la /sys/fs/pstore 2>/dev/nulljournalctl умеет выбирать загрузку через -b, а -1 означает предыдущую. Сохраните полный вывод в защищённое место, потому что ротация может удалить его. last -x даёт дополнительную хронологию shutdown и reboot, но не является единственным источником истины. Команды чтения безопаснее изменений конфигурации во время первичного осмотра.
Финал предыдущего boot делит расследование на ветки
| Последний устойчивый признак | Рабочая гипотеза | Следующая проверка |
|---|---|---|
| systemd-shutdown и остановка служб | кто-то запросил reboot | audit, sudo, cron, orchestration, updates |
| kernel panic или call trace | авария ядра или драйвера | pstore, crash dump, версия kernel |
| watchdog timeout | зависание или потеря heartbeat | журнал watchdog и нагрузка до события |
| Out of memory и killed process | нехватка памяти | memory pressure и политика panic_on_oom |
| резкий обрыв журнала | питание, host reset, crash без flush | BMC, UPS, cloud events |
| событие провайдера | обслуживание или recovery | панель, API и health log платформы |
OOM killer обычно завершает процессы, а не обязательно перезагружает машину. Полный reboot после OOM возможен при дополнительной политике, panic или watchdog, поэтому ищите связку событий и параметры kernel. Не делайте вывод по одному сообщению killed process: оно могло затронуть приложение, но не объяснять границу boot.
Штатный reboot оставляет автора или механизм
- проверить audit log и sudo около нужной минуты;
- просмотреть systemd timers, cron и задачи панели управления;
- сопоставить время с unattended upgrades и оркестратором;
- проверить команду провайдера, автоматическое recovery и health events;
- выяснить, не отправляет ли UPS или BMC сигнал питания;
- сверить часовой пояс всех журналов перед построением хронологии.
В облаке reboot может инициировать не пользователь, а платформа. Например, AWS документирует scheduled events типов instance-reboot и system-reboot для обслуживания инфраструктуры. События видны через консоль или API и имеют временное окно. Аналогичный журнал нужно искать у своего провайдера, не предполагая, что причина обязательно внутри гостевой ОС.
После panic данные нужно пережить вместе с перезагрузкой
Обычный журнал может не успеть записать последние строки при kernel panic. Linux pstore и ramoops предназначены для сохранения сообщений oops и panic в области, доступной после рестарта. Поддержка зависит от платформы и должна быть настроена заранее. На виртуальной машине альтернативой может быть serial console или crash dump провайдера.
Не включайте panic_on_oom, автоматический reboot или агрессивный watchdog как «исправление», пока не понимаете нынешнюю политику. Такие параметры меняют поведение отказа и способны превратить локальное завершение процесса в перезагрузку всего узла. Изменение сначала проверяют на стенде и документируют вместе со способом отката.
Наблюдение готовят до следующего события
- Настроить постоянное хранение journal с ограничением размера и прав доступа.
- Отправлять kernel, systemd, audit и метрики на внешний узел.
- Записывать температуру, ECC, питание и BMC-события для физического сервера.
- Включить подходящий pstore или crash dump по инструкции платформы.
- Создать alert на смену boot ID и приложить последние доступные метрики.
- Провести контролируемый reboot и убедиться, что он отличается в журналах от аварии.
Хронология должна объединять CPU, memory pressure, disk I/O, температуру, сетевую доступность и платформенные события хотя бы за несколько минут до границы. Мониторинг только внутри сервера замолчит вместе с ним, поэтому внешний heartbeat помогает отличить зависание ОС от потери сети и питания.
Для разбора подготовьте список boot, конец journal предыдущей загрузки, kernel log, конфигурацию watchdog и panic, метрики перед событием и журнал провайдера. Удалите IP, имена пользователей и токены. Даже если причина пока не найдена, правильно сохранённые артефакты превращают следующую перезагрузку из загадки в проверяемый инцидент.