Docker Overlay2占用大量磁盘空间解决

问题

最近项目的jenkins编译时报错

	FATAL: Unable to produce a script filejava.io.IOException: No space left on deviceat java.io.UnixFileSystem.createFileExclusively(Native Method)at java.io.File.createTempFile(File.java:2024)at hudson.FilePath$CreateTextTempFile.invoke(FilePath.java:1467)Caused: java.io.IOException: Failed to create a temporary directory in /tmpat hudson.FilePath$CreateTextTempFile.invoke(FilePath.java:1469)at hudson.FilePath$CreateTextTempFile.invoke(FilePath.java:1446)at hudson.FilePath.act(FilePath.java:1076)at hudson.FilePath.act(FilePath.java:1059)at hudson.FilePath.createTextTempFile(FilePath.java:1441)

磁盘没有空间了，那怎么导致的。

排查

	df -hl

如图：

/路径已经被占满了。/tmp自然不能再新增文件等

经排查是docker overlay2占用大量空间，contrainer空间日志过大
如图：

分析

查看docker占用虚拟空间

[root@test230 conf.d]# docker ps -s
CONTAINER ID   IMAGE             COMMAND                   CREATED       STATUS       PORTS                                                 NAMES      SIZE
460855bf50c8   logstash:7.17.9   "/usr/local/bin/dock…"   2 hours ago   Up 2 hours   0.0.0.0:5044->5044/tcp, :::5044->5044/tcp, 9600/tcp   logstash   9.74MB (virtual 790MB)

结果正常
看下logstash的空间数据的日志文件
找到占用空间过大的contrainer中日志

查看docker空间占用情况（这个是解决后的）

[root@test230 config]# docker system df
TYPE            TOTAL     ACTIVE    SIZE      RECLAIMABLE
Images          1         1         780.2MB   0B (0%)
Containers      1         1         9.739MB   0B (0%)
Local Volumes   0         0         0B        0B
Build Cache     0         0         0B        0B

解决

修改docker的数据空间

默认是/var/lib/docker，系统空间，一般给的比较小
我们修改成空间大磁盘/home/docker_data/docker/data

vi /etc/docker/daemon.json{"data-root": "/home/docker_data/docker/data","registry-mirrors": ["https://b660ddgx.mirror.aliyuncs.com"]
}

需要重新拉去并启动，
这个能解决，系统空间问题，转移到大磁盘，但解决不了根本问题

彻底解决

清理contrainer中的大日志文件

临时方案：清空日志文件

cd /var/lib/docker/containers/container_id> container_id-json.log或者cat /dev/null > /var/lib/docker/containers/*/*-json.log

注意⚠️：
别进入/var/lib/docker/containers/container_id目录，删除container_id-josn.log文件
因为：
使用rm -rf方式删除日志后，通过df -h会发现磁盘空间并没有释放。原因是在Linux或者Unix系统中，通过rm -rf或者文件管理器删除文件，将会从文件系统的目录结构上解除链接（unlink）。如果文件是被打开的（有一个进程正在使用），那么进程将仍然可以读取该文件，磁盘空间也一直被占用。

自动任务清理

将临时方案写成脚本，使用crontab定时执行

#!/bin/sh 
echo "======== start clean docker containers logs ========"  
logs=$(find /var/lib/docker/containers/ -name *-json.log)  
for log in $logs  do  echo "clean logs : $log"  cat /dev/null > $log  done  
echo "======== end clean docker containers logs ========"

清理无用的contrainer

docker system prune [ -a]
清理磁盘，删除关闭的容器、无用的数据卷和网络，以及dangling镜像(即无tag的镜像)。
-a ：清理得更加彻底，可以将没有容器使用Docker镜像都删掉。

设置docker容器日志大小全局控制或者容器控制

全局控制
创建或修改文件 /etc/docker/daemon.json，并增加以下配置

{"log-driver":"json-file","log-opts":{"max-size" :"50m","max-file":"1"}
}

局部控制

docker run -it --log-opt max-size=10m --log-opt max-file=3 logstash

外传

😜 原创不易，如若本文能够帮助到您的同学
🎉 支持我：关注我+点赞👍+收藏⭐️
📝 留言：探讨问题，看到立马回复
💬 格言：己所不欲勿施于人 扬帆起航、游历人生、永不言弃！🔥