容器主机CPU使用率突增问题一则

 关键词

• LINUX、文件系统
• crontab 、mlocate
• 根目录使用率

     There are many things that can not be broken！

     如果觉得本文对你有帮助，欢迎点赞、收藏、评论！

一、问题现象

  业务一台容器服务器，近期经常收到cpu不定期抖动告警，严重时影响到业务使用，如下图所示

​

二、问题分析

1、找到监控告警的主机，检查监控日志，发现确实出现cpu使用率波动情况，波动持续2分钟。其中cpu开销主要在sys上。

​

2、检查当时vmstat情况，瞬间的R状态进程较多，表明CPU使用率高当时正在处理密集进程。

​

3、与监测的CPU负载情况一致，随着R状态进程增多，负载也在增加。

​

4、检查系统内存使用情况，cpu上升的同时，系统的pagein、pgscand/s和pgsteal/s都有大量上涨，这表明系统正频繁地扫描和回收内存页面以满足当前的内存需求。这可能是由于运行了大量的内存密集型应用，或者系统的内存资源本身就比较紧张。

​

Free内存也在减少，证实当时业务确实在申请大量内存动作。

​
5、当前主机内存分布，buff/cache占61G，剩余空余内存10G，表明内存剩余不多。

三、结论与建议

1、主机出现cpu的波动分析为内存分配紧张导致，频繁的内存页面扫描和回收操作会占用CPU资源。

2、主机内存使用分布中，大量内存cache使用，建议结合业务场景，可以定期释放下cache内存。