磁盘满造成业务异常问题排查

最近遇到一个因为磁盘满导致的问题，分享一下，希望能够帮助到以后遇到同样问题的朋友。

早上突然收到业务老师反馈说：上传文件不能正常上传了。

想想之前都好好的，最近又没有更新，为什么突然不能使用了呢？

赶紧去看了看日志，没有找到业务相关的错误日志，倒是看到了类似于下面的问题：

ERROR Unable to write to stream ./logs/xxx.log for appender RollingFile org.apache.logging.log4j.core.appender.AppenderLoggingException: Error writing to stream ./logs/xxx.logat org.apache.logging.log4j.core.appender.OutputStreamManager.writeToDestination(OutputStreamManager.java:252)at org.apache.logging.log4j.core.appender.FileManager.writeToDestination(FileManager.java:278)at org.apache.logging.log4j.core.appender.rolling.RollingFileManager.writeToDestination(RollingFileManager.java:275)at org.apache.logging.log4j.core.appender.OutputStreamManager.flushBuffer(OutputStreamManager.java:283)at org.apache.logging.log4j.core.appender.OutputStreamManager.flush(OutputStreamManager.java:294)at org.apache.logging.log4j.core.appender.AbstractOutputStreamAppender.directEncodeEvent(AbstractOutputStreamAppender.java:217)at org.apache.logging.log4j.core.appender.AbstractOutputStreamAppender.tryAppend(AbstractOutputStreamAppender.java:208)at org.apache.logging.log4j.core.appender.AbstractOutputStreamAppender.append(AbstractOutputStreamAppender.java:199)at org.apache.logging.log4j.core.appender.RollingFileAppender.append(RollingFileAppender.java:301)at org.apache.logging.log4j.core.config.AppenderControl.tryCallAppender(AppenderControl.java:161)at org.apache.logging.log4j.core.config.AppenderControl.callAppender0(AppenderControl.java:134)at org.apache.logging.log4j.core.config.AppenderControl.callAppenderPreventRecursion(AppenderControl.java:125)at org.apache.logging.log4j.core.config.AppenderControl.callAppender(AppenderControl.java:89)at org.apache.logging.log4j.core.config.LoggerConfig.callAppenders(LoggerConfig.java:675)at org.apache.logging.log4j.core.config.LoggerConfig.processLogEvent(LoggerConfig.java:633)at org.apache.logging.log4j.core.config.LoggerConfig.log(LoggerConfig.java:616)at org.apache.logging.log4j.core.config.LoggerConfig.log(LoggerConfig.java:552)at org.apache.logging.log4j.core.config.AwaitCompl

第一反应是是不是用人动了目录权限，导致日志不能写了。

但是没有提示权限问题，一般也不会有人没事去改目录文件权限。

所以，猜测是日志目录磁盘占满了。

赶紧去服务器看一眼：

df -h

果然，挂载日志目录/applog的分区/dev/mapper/appvg-applog只有5G已用100%了。

图片这个是处理之后的示意图。

我们可以先通过du命令查找占用空间比较多的子目录：

# 可以通过du命令查看子目录的大小
du -h /applog

在子目录中查找可删除的文件：

# 查找大于50M，90天之前创建的文件看看是不是都能删除
find . -size +50M -a -ctime +90 -exec ls -l {} \;# 没有问题，执行删除
find . -size +50M -a -ctime +90 -delete

对find命令感兴趣的朋友可以参考：Linux find命令详解与实际使用

删除之后，果然系统马上就正常了。