Linux操作系统故障应急场景及对应排查方法

001：系统CPU负载高并触发监控报警

005	查看系统CPU使用情况,，确认CPU数量，确认系统负载，确认CPU高对系统的影响
006	定位占用CPU资源最多的进程，根据进程判断是应用进程还是系统进程还是第三方工具进程。
014	查看系统主要日志：在messages日志中是否有关于软、硬件的报错信息。
005	通过监控或者系统查看CPU使用高的时间
011	确认其他资源信息情况，IO/内存/内核

002：系统内存使用率高并触发监控报警

通过堡垒机使用root用户登录主机，执行sosreport命令保存现场信息

查看系统内存使用情况

定位占用内存资源较多的进程

判断是否有僵尸进程

查看系统主要日志

003：使用率高并长时间持续

通过堡垒机使用root用户登录主机，执行sosreport命令保存现场信息

查看系统I/O使用情况

定位占用I/O资源较多的进程

查看系统主要日志

应急处置结束。

004：Agent心跳超时

通过堡垒机使用root用户登录主机，执行sosreport命令保存现场信息

判断主机通讯状况

主机网卡是否存在丢包现象

主机路由设置是否正确

网卡配置参数是否正确

系统日志是否有明显报错

005：主机路由表丢失

判断主机通讯状况

主机网卡是否存在丢包现象

主机路由设置是否正确

系统日志是否有明显报错

​​​​​​​006：通讯异常并报网卡故障

场景描述：主机通讯中断或有延迟、丢包现象，系统日志中有关于网卡的报错信息。

启动条件：系统日志中有网卡报错信息

现场保护：ifconfig、messages、dmesg日志

通过堡垒机使用root用户登录主机，执行sosreport命令保存现场信息

判断主机通讯状况

主机网卡是否存在丢包现象

系统日志是否有明显报错

网卡驱动是否正常加载

网卡配置信息是否正确

bond主备网卡切换

搜集系统信息

​​​​​​​007：与相关连业务系统通讯异常

现场保护：ifconfig、route、messages、dmesg

015	判断主机通讯状况
016	主机网卡是否存在丢包现象
014	系统日志是否有明显报错
019	网卡驱动是否正常加载
020	网卡配置信息是否正确

​​​​​​​008：群集系统服务异常

现场保护：使用sosreport命令收集系统信息。

022	查看双机状态及共享资源
014	系统日志是否有明显报错 result of stop operation for VIP on
024	尝试将集群服务切换到备机
025	如果群集切换失败，则考虑手工先行恢复系统服务，并首先关闭群集各节点Cluster服务。
026	如果群集切换失败，且短时间内无法解决，则先行手工恢复系统集群服务
027	收集系统信息

​​​​​​​009：群集双机发生切换

启动条件： 当群集双机发生切换期间，会造成服务中断，以及Server IP无响应，通常会触发集中监控报警。

现场保护：执行sosreport命令收集系统信息。

022	查看双机状态及共享资源
014	查看系统日志信息
024	如果群集切换后系统服务异常，则尝试将集群服务切换到指定节点

​​​​​​​009：群集双机切换失败

022	查看双机状态及共享资源
014	系统日志是否有明显报错
024	尝试将集群服务切换到指定节点
025	如果群集切换失败，则考虑手工先行恢复系统服务，并首先关闭群集各节点Cluster服务。
026	如果群集切换失败，且短时间内无法解决，则先行手工恢复系统集群服务

​​​​​​​010：主机挂起

现场保护：这种情况下，通常日志系统（syslog）已经不再记录信息，只能对主机执行重启操作；对于配置了kdump的主机，可以手工触发vmcore(echo c > /proc/sysrq-trigger)。

grep crashkernel /proc/cmdline

systemctl status kdump

/var/crash/127.0.0.1-yyyy-mm-dd-hh:mm:ss/vmcore

014	查看系统日志信息
002	手工重启主机
004	若手工重启主机失败，可强制重启主机。
014	主机启动后，检查系统日志是否有报错信息。
027	搜集系统信息

​​​​​​​011：主机自动重启

现场保护：收集sosreport信息；如果主机配置了kdump，则保留vmcore文件。

使用root用户登录主机，执行sosreport -a命令保存现场信息收集系统日志，查看/var/crash/是否有vmcore日志

014	查看系统日志信息
012	检查文件系统信息
013	查看PV、VG、LV信息
015	查看网络通讯状况
017	查看主机路由设置
	检查应用系统是否恢复

​​​​​​​012：主机宕机

使用root用户登录主机，执行sosreport -a命令保存现场信息收集系统日志，查看/var/crash/是否有vmcore日志

014	查看系统日志信息
012	检查文件系统信息
013	查看PV、VG、LV信息
015	查看网络通讯状况
017	查看主机路由设置
	检查应用系统是否恢复

​​​​​​​013：主机宕机并自动重启失败

现场保护：查看主机硬件是否有报错信息；得到授权后之后启动主机，并在控制台观察启动过程中是否有报错信息；如果主机无法正常启动，则根据主机启动报错信息进行修复。待主机启动完毕后，使用root用户收集sosreport信息；如果主机配置了kdump，则保留vmcore文件。

028	根据主机控制台信息，得到行员授权后尝试进入单用户模式进行修复
029	如果系统在单用户模式下无法修复，则需使用操作系统安装光盘引导进入救援模式进行修复。完成后重启主机
014	查看系统日志信息
012	检查文件系统信息
013	查看PV、VG、LV信息
015	查看网络通讯状况
017	查看主机路由设置

​​​​​​​014: swap交换分区使用率

现场保护：使用sosreport命令收集系统信息

使用top命令调整查看(使用热键f,根据方向键移动到SWAP行，选中按d, ESC退出编辑，即可查看)

定位占用swap资源较多的进程

判断是否有僵尸进程

查看系统主要日志

​​​​​​​015：NTP服务状态异常

检查NTP同步状态：ntpq -p 或者 chronyc sources -v

检查NTP服务状态:service ntpd status 或者systemctl status chronyd 检查是否设置开机自启动systemctl list-unit-files

检查NTP配置文件：cat /etc/ntp.conf 或者 cat /etc/chrony.conf

查看NTP的offset详细信息：ntptime或者chronyc tracking -v

查看系统主要日志

重启NTP服务：service ntpd restart 或者 systemctl restart chronyd

016：文件系统监控告警

现场保护：使用sosreport命令收集系统信息

012	检查文件系统状态： #df -h #df -ih #mount #cat /etc/fstab
014	查看系统主要日志