Docker-存储驱动配置

devicemapper驱动devicemapper 是 Linux 内核中的一个框架它可以将块设备如磁盘、分区、文件映射成虚拟的块设备。Docker 使用它来为每个容器提供一个独立的、隔离的文件系统。direct-lvm 和 loop-lvm 是 devicemapper 驱动在 Docker 中实现的两种具体方案它们最大的区别在于Docker 获取底层存储物理块设备的方式不同。 想象一下Docker 需要一块“土地”来为每个容器盖房子文件系统。direct-lvm是直接划了一片真实的、平整的、肥沃的土地然后在那上面盖房子。loop-lvm是在一张普通的办公桌文件系统上用两个巨大的纸箱data 和 metadata 文件模拟出了一片“土地”然后在那上面盖房子。direct-lvm (直接 LVM 模式)这是 devicemapper 驱动的生产级、高性能模式。如果要使用这种模式需要提前做好以下准备工作1. 创建物理卷: 你需要为 Docker 准备一个或多个真实的、未经格式化的磁盘分区或磁盘例如/dev/sdb, /dev/sdc。这不是文件而是原始的块设备。这是 direct 的由来。# /dev/sdb 是你专门给 Docker 用的一块新硬盘 sudo pvcreate /dev/sdb2. 创建卷组: 将物理卷“捆绑”成一个逻辑卷组这是你的存储池。sudo vgcreate docker_vg /dev/sdb3. 创建 thin-provisioning (精简) 池: 在卷组内创建一个精简配置池。thin-provisioning 的神奇之处在于它让你可以创建的逻辑卷总和超过物理卷的实际大小空间按需分配非常节省。# 创建一个 200G 的精简池 sudo lvcreate -L 200G -T docker_vg/docker_pool在docker运行的时候使用需要修改docker的配置文件。推荐使用的是在/etc/docker/daemon.json中你通过 dm.thinp_pool_namedocker_vg/docker_pool 告诉 Docker 去使用这个现成的池子。当你运行 docker run 时Docker 会在 docker_pool 中为这个新容器直接划出一块地一个 20GB 逻辑卷所有 I/O 都通过 LVM 直通到底层的物理硬盘 /dev/sdb。另外还可以设置每个容器的文件系统的大小可以通过参数dm.basesize40G来设置配置示例如下vi /etc/docker/daemon.json # 内容参考如下 { storage-driver: devicemapper, storage-opts: [ dm.thinp_pool_namedocker_vg/docker_pool, dm.basesize40G ] } # 注意如果/etc/sysconfig/docker中storage-driver配置有了这里就不要配置了 # 会导致docker重启失败当然工作中使用GDE配套的虚拟机镜像创建的虚拟机上的docker配置默认是用的loop-lvm模式默认都是采用的loop-lvm模式生产环境是不推荐使用的配置使用/etc/sysconfig/docker文件进行配置的配置内容如下[rootlocalhost ~]# cat /etc/sysconfig/docker # /etc/sysconfig/docker # Modify these options if you want to change the way the docker daemon runs #OPTIONS-b none --live-restore --storage-driverdevicemapper --userland-proxyfalse OPTIONS --storage-opt dm.use_deferred_deletiontrue --storage-opt dm.use_deferred_removaltrue --storage-opt dm.min_free_space10% --live-restore --storage-driverdevicemapper --storage-opt dm.basesize40G --storage-opt dm.mountoptnodiscard --storage-opt dm.fsext4 --storage-opt dm.blkdiscardfalse --log-opt max-size10m --log-opt max-file5 --log-driverjson-file --default-ulimit memlock-1:-1 --userland-proxyfalse DOCKER_CERT_PATH/etc/docker # If you have a registry secured with https but do not have proper certs # distributed, you can tell docker to not look for full authorization by # adding the registry to the INSECURE_REGISTRY line and uncommenting it. # INSECURE_REGISTRY--insecure-registry # Location used for temporary files, such as those created by # docker load and build operations. Default is /var/lib/docker/tmp # Can be overridden by setting the following environment variable. # DOCKER_TMPDIR/var/tmp AUTO_REPAIR_THINPOOLyes FIX_READONLYyes FIX_UNMOUNTyes FORCE_UMOUNTyes可以看到这里默认是用的loop-lvm模式我们需要修改配置切换到direct-lvm模式。首先可以删除原先的OPTIONS配置添加如下内容OPTIONS-b none --live-restore --storage-driverdevicemapper --storage-optdm.thinpooldev/dev/mapper/docker-thinpool --storage-opt dm.basesize40G --userland-proxyfalse # 保存退出以后 # 执行systemctl daemon-reload后再执行systemctl restart docker重启docker服务。当然也可以参考一下生产环境的配置内容内容有点多有些不是很懂。OPTIONS --default-ulimit nproc100000:100000 -b none -b none --storage-opt dm.use_deferred_deletiontrue --storage-opt dm.use_deferred_removaltrue --storage-opt dm.min_free_space10% --live-restore --storage-driverdevicemapper --storage-opt dm.basesize10G --storage-opt dm.mountoptnodiscard --storage-opt dm.fsext4 --storage-opt dm.blkdiscardfalse --storage-optdm.thinpooldev/dev/mapper/docker-thinpool --log-opt max-size10m --log-opt max-file5 --log-driverjson-file --default-ulimit memlock-1:-1 --userland-proxyfalse # 保存退出以后 # 执行systemctl daemon-reload后再执行systemctl restart docker重启docker服务。切换验证方式如下执行docker info查看Pool Name是否转换成docker-thinpool了。[rootwmg01 ~]# docker info Containers: 17 Running: 17 Paused: 0 Stopped: 0 Images: 78 Server Version: 18.09.0 Storage Driver: devicemapper Pool Name: docker-thinpool Pool Blocksize: 524.3kB Base Device Size: 10.74GB Backing Filesystem: ext4 Udev Sync Supported: true注意这个时候查看已经存在的容器发现容器的文件系统的大小还是之前的值这是因为已经创建的容器是不会变化的。设置的dm.basesize的值只能是新创建的容器有效。所以需要删除已经存在的容器重新创建。loop-lvm回环LVM模式这是 devicemapper 驱动的开发测试、应急、后备模式绝对不推荐用于生产环境。回环LVM模式的工作原理如下Docker 会查看一个普通文件系统例如 /var/lib/docker 所在的 EXT4/XFS 分区有没有足够的可用空间。它会在 /var/lib/docker/devicemapper/ 目录下创建两个巨大的稀疏文件devicemapper/data: 用于存放容器数据。devicemapper/metadata: 用于存放容器的元数据。然后Docker 使用 losetup 这两个文件模拟成两个块设备例如 /dev/loop0 和 /dev/loop1。从系统角度看它们就像两块真硬盘。最后Docker 在这两个模拟的块设备上执行与 direct-lvm 同样的 LVM 操作创建卷组和 thin-pool并为每个容器分配逻辑卷。这个模式有很多的缺点不建议使用灾难级的 I/O 性能:“Russian Doll” 式的翻译地狱: 一个 I/O 请求要经过层层翻译应用程序 - Docker - LVM - 回环设备 (loop device) - 文件系统缓存 - 物理磁盘。巨大的模拟开销: losetup 是在文件系统之上模拟一个块设备这会引入难以想象的 CPU and I/O 开销。性能可能比 direct-lvm 慢10倍甚至更多对于 AI 模型加载和推理这种操作是灾难性的。极不稳定:所有的 I/O 都绕着文件系统打转在高负载下容易引发文件系统元数据竞争、I/O 等待超时等问题导致容器或整个 Docker 服务崩溃。空间浪费和增长问题:稀疏文件会随着数据写入而膨胀迅速占满 /var/lib/docker 所在的文件系统这也是你之前遇到“磁盘 100%”的根源。易于碎片化:长期的创建和删除操作会使稀疏文件内部产生大量碎片导致 dm.basesize 即使设置了较大的值也无法真正分配到连续空间最终回退到较小的默认值如 20G。overlay2驱动现代系统的最佳实践在新版本的 Docker 中CentOS 8, RHEL 8, Ubuntu 18.04推荐的存储驱动已经不再是 devicemapper而是 **overlay2**。overlay2 是新一代联合文件系统性能好、稳定并且配置简单。它不像 devicemapper 那样需要复杂的 dm.basesize 配置。overlay2 的文件系统大小就是你 /var/lib/docker 所在的分区大小。你需要做的就是确保那个分区足够大并通过数据卷挂载docker run -v来将重要的数据如模型存放在分区之外的地方。如果虚拟机的 /var/lib/docker目录占用的是/空间而/空间又是固定分区且分区大小不够用怎么办解决这个问题有两种方式一种是通过LVM管理给 /var/lib/docker单独挂一个逻辑卷另外一种是通过软链接的方式。# 方式1 挂在逻辑卷方式 # 备份/var/lib/docker # 本次以备份到opt目录为例 cp -a /var/lib/docker /opt # 将挂在信息写入配置文件 echo /dev/docker_vg/lv_var_lib_docker /var/lib/docker ext4 default 0 0 /etc/fstab mount -a # 还原 cp -a /opt/docker/* /var/lib/docker # 清理 rm -rf /opt/docker # 方式2 创建软链接(符号链接) mkdir /opt/docker # 将挂在信息写入配置文件 echo /dev/sysos_vg/lv_opt_docker /opt/docker ext4 default 0 0 /etc/fstab mount -a # 迁移数据 cp -a /var/lib/docker/* /opt/docker # 创建符号链接 # ln -s 源文件或目录的路径 链接文件或目录的路径 ln -s /opt/docker /var/lib/docker工作中使用的EulerOS镜像安装的操作系统操作系统默认的docker配置的存储驱动是devicemapper启动docker的时候总是有个警告[rootlocalhost docker]# cat daemon.json { storage-driver: overlay2, storage-opts: [ overlay2.override_kernel_checktrue ] } [rootlocalhost docker]# systemctl daemon-reload [rootlocalhost docker]# systemctl restart docker.service Job for docker.service failed because the control process exited with error code. See systemctl status docker.service and journalctl -xeu docker.service for details.FAQ配置重复导致启动docker报错搜了很多也没找到原因最后发现是因为另外一个docker系统配置文件中已经配置了存储驱动文件是/etc/sysconfig/docker/etc/sysconfig/docker是Red Hat系Linux发行版中Docker守护进程的传统配置文件主要定义了Docker启动时的环境变量和参数。在现代Linux系统中它逐渐被/etc/docker/daemon.json所取代后者提供了更标准化、更易于管理的配置方式。对于新项目或新系统建议使用daemon.json配置方式对于维护旧系统了解这个文件的作用和修改方法仍然很重要。# 这是一个传统的配置文件用于设置Docker守护进程的启动参数 # 在较新版本的 CentOS/RHEL 中逐渐被 systemctl 和 daemon.json 替代 cat /etc/sysconfig/docker # /etc/sysconfig/docker # Modify these options if you want to change the way the docker daemon runs # OPTIONS-b none --live-restore --storage-driverdevicemapper --userland-proxyfalse OPTIONS-b none --live-restore --storage-driveroverlay2 --userland-proxyfalse DOCKER_CERT_PATH/etc/docker # If you have a registry secured with https but do not have proper certs # distributed, you can tell docker to not look for full authorization by # adding the registry to the INSECURE_REGISTRY line and uncommenting it. # INSECURE_REGISTRY--insecure-registry # Location used for temporary files, such as those created by # docker load and build operations. Default is /var/lib/docker/tmp # Can be overridden by setting the following environment variable. # DOCKER_TMPDIR/var/tmp AUTO_REPAIR_THINPOOLyes FIX_READONLYyes FIX_UNMOUNTyes FORCE_UMOUNTyes [rootlocalhost ~]# docker --version Docker version 18.09.0, build cdafbb2现代化迁移建议从sysconfig迁移到daemon.json# 步骤1备份当前配置 cp /etc/sysconfig/docker /etc/sysconfig/docker.backup # 步骤2创建新的daemon.json配置 cat /etc/docker/daemon.json EOF { selinux-enabled: true, log-driver: json-file, log-opts: { max-size: 10m, max-file: 3 }, dns: [8.8.8.8, 8.8.4.4] } EOF # 步骤3清理或注释sysconfig文件 # 在/etc/sysconfig/docker中添加注释 # # This file is deprecated, use /etc/docker/daemon.json instead # 步骤4重启Docker systemctl restart docker