kubernetes问题(一)-异常事件

1 pod状态处于Evicted 0/1

现象：

1）kubectl get events发现“failed to garbage collect required amount of images”。

2）同时磁盘空间不足的节点有大量pod处于Evicted 0/1状态，但并未进行重新调度。

原因描述：

当容器集群中的节点（宿主机）磁盘使用率达到85%之后，会触发自动的容器镜像回收策略，以便于释放足够的宿主机磁盘。该事件发生于当触发镜像回收策略之后，磁盘空间仍然不足以达到健康阈值（默认为80%）。通常该错误是由于宿主机磁盘被占用太多导致。当磁盘空间占用率持续增长（超过90%），会导致该节点上的所有容器被驱逐，也就是当前节点由于磁盘压力不再对外提供服务，直到磁盘空间释放。

解决方案：

检查节点的磁盘分配情况，通常有以下一些常见情况导致磁盘占用率过高：

• 有大量日志在磁盘上没有清理；
• 请清理日志。有进程在宿主机不停的写文件；
• 请控制文件大小，将文件存储至OSS或者NAS。下载的或者是其他的静态资源文件占用空间过大；静态资源请存储至OSS或CDN。