使用 Containerd 通过 HTTP 协议拉取 Harbor 私有镜像仓库的镜像

在 Kubernetes 1.24及以上版本环境中，docker不再被支持，主要使用Containerd 是常用的容器运行。默认情况下，Containerd 使用 HTTPS 协议与镜像仓库通信。然而，在某些场景下（如测试环境或内部网络），我们可能需要通过 HTTP 协议访问私有镜像仓库。本文将详细介绍如何安装Harbor及配置 Containerd 以支持 HTTP 协议，并拉取 Harbor 私有镜像仓库中的镜像。

我之前有文章写了如何在线安装docker和下载harbor安装包使用https部署，参考：Docker-compose部署Harbor实操（含故障处理），本文中，全部采用离线包方式，并使用的是http协议。

本文中的系统软件信息：
1.Docker version 24.0.5, build ced0996
2.Docker Compose version v2.24.7
3.Centos7.9
4.Harbor v2.9.1-5cbb1b01
5.Containerd-1.7.14
6.Crictl version v1.26.0

前置准备：
1.准备一个网络路径挂载点，将需要准备的离线安装包放入其内，在部署的时候可以直接调用。
2.本文中共有1个离线包及1个测试镜像需要提前下载好，可以自行替换软件版本和镜像

离线包内容（本文中不提供离线包的下载，包中的配置文件会在文中写出来，其他的可以自行网上搜索下载或版本替换）：
注：dashboard.tar是镜像包可替换，containerd.service，docker.service，config.toml是配置文件可照抄按需修改，其他的均为程序包，需要网上下载好

Harbor服务端（192.168.1.2）

安装docker，docker-compose，harbor
注：网络路径为192.168.1.1:/volume1/Share/，挂载到本机的/share目录，离线包所有内容均在此目录

# 创建 /share 目录，用于挂载 NFS 共享
mkdir /share# 安装 NFS 客户端工具
yum -y install nfs-utils# 挂载 NFS 共享到 /share 目录
mount -t nfs 192.168.1.1:/volume1/Share/ /share# 将 NFS 挂载配置添加到 /etc/fstab，确保系统重启后自动挂载
echo "192.168.1.1:/volume1/Share /share nfs defaults 0 0" | sudo tee -a /etc/fstab# 停止并禁用防火墙
systemctl stop firewalld
systemctl disable firewalld# 临时关闭 SELinux
setenforce 0# 永久禁用 SELinux
sed -i 's/enforcing/disabled/' /etc/selinux/config# 创建 /docker 目录，用于存放 Docker 安装文件
mkdir -p /docker# 从 NFS 共享中复制 Docker 安装包到 /docker 目录
cp /share/docker-24.0.5.tgz /docker# 解压 Docker 安装包
tar xvf /docker/docker-24.0.5.tgz -C /docker# 将解压后的 Docker 二进制文件复制到 /usr/bin 目录
cp /docker/docker/* /usr/bin/# 从 NFS 共享中复制 Docker 服务文件到系统服务目录
cp /share/docker.service /etc/systemd/system/

# 查看Docker 服务文件
cat /etc/systemd/system/docker.service

内容如下：

[Unit]
# 描述服务的名称和用途
Description=Docker Application Container Engine# 提供 Docker 官方文档的链接
Documentation=https://docs.docker.com# 指定服务启动的依赖条件：
# - network-online.target：确保网络已启动
# - firewalld.service：确保防火墙服务已启动
After=network-online.target firewalld.service# 指定服务启动的依赖关系：
# - network-online.target：确保网络已启动
Wants=network-online.target[Service]
# 指定服务类型为 "notify"，表示服务启动后会通知 systemd
Type=notify# Docker 守护进程的启动命令：
# - /usr/bin/dockerd：Docker 守护进程的路径
# - -H unix:///var/run/docker.sock：指定 Docker 监听的 Unix 套接字路径
# - --selinux-enabled=false：禁用 SELinux 支持
# - --default-ulimit nofile=65536:65536：设置默认的文件描述符限制
ExecStart=/usr/bin/dockerd -H unix:///var/run/docker.sock --selinux-enabled=false --default-ulimit nofile=65536:65536# 重新加载服务的命令：发送 HUP 信号给主进程
ExecReload=/bin/kill -s HUP $MAINPID# 设置资源限制：
# - LimitNOFILE=infinity：文件描述符数量无限制
# - LimitNPROC=infinity：进程数量无限制
# - LimitCORE=infinity：核心文件大小无限制
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity# 如果系统支持 TasksMax，可以取消注释以设置任务数量无限制
# 仅 systemd 226 及以上版本支持此功能
#TasksMax=infinity# 设置服务启动的超时时间为 0，表示无超时限制
TimeoutStartSec=0# 启用 cgroup 委托，避免 systemd 重置 Docker 容器的 cgroup
Delegate=yes# 设置杀死模式为 "process"，表示仅杀死 Docker 进程，而不是整个 cgroup 中的所有进程
KillMode=process# 设置服务在失败时自动重启
Restart=on-failure# 设置服务启动失败的限制：
# - StartLimitBurst=3：允许在 60 秒内最多重启 3 次
# - StartLimitInterval=60s：重启时间窗口为 60 秒
StartLimitBurst=3
StartLimitInterval=60s[Install]
# 指定服务安装的目标，表示服务将被添加到多用户模式中
WantedBy=multi-user.target

# 赋予 Docker 服务文件可执行权限
chmod +x /etc/systemd/system/docker.service# 从 NFS 共享中复制 Docker Compose 文件到 /usr/local/bin 目录
cp /share/docker-compose /usr/local/bin/# 赋予 Docker Compose 文件可执行权限
chmod +x /usr/local/bin/docker-compose# 重新加载 systemd 配置
systemctl daemon-reload# 启动 Docker 服务
systemctl restart docker# 查看 Docker 服务状态
systemctl status docker# 验证 Docker Compose 版本
docker-compose -v# 验证 Docker 版本
docker --version# 创建 /harbor 目录，用于存放 Harbor 安装文件
mkdir -p /harbor# 从 NFS 共享中复制 Harbor 离线安装包到 /harbor 目录
cp /share/k8s/harbor/harbor-offline-installer-v2.9.1.tgz /harbor# 解压 Harbor 离线安装包
tar -zxvf /harbor/harbor-offline-installer-v2.9.1.tgz -C /harbor# 进入 Harbor 安装目录
cd /harbor/harbor# 复制 Harbor 配置文件模板并重命名为 harbor.yml
cp harbor.yml.tmpl harbor.yml

# 编辑harbor配置文件
vi /harbor/harbor/harbor.yml

修改hostname为本机IP，注释掉所有https字段（红框内），图片最下方为默认密码，有需要可以修改，其他可以不动

# 进入 Harbor 安装目录
cd /harbor/harbor# 运行 prepare 脚本
# 该脚本会根据 harbor.yml 文件生成 Harbor 运行所需的配置文件和目录结构
./prepare# 运行 install.sh 脚本
# 该脚本会安装并启动 Harbor 服务，包括数据库、Redis、Nginx 和 Harbor 核心组件
./install.sh# 查看运行状态
docker ps

都up了就没问题

Containerd客户端（192.168.1.3）

安装containerd，runc，crictl
注：网络路径为192.168.1.1:/volume1/Share/，挂载到本机的/share目录，离线包所有内容均在此目录

# 创建 /share 目录，用于挂载 NFS 共享
mkdir /share# 安装 NFS 客户端工具
yum -y install nfs-utils# 挂载 NFS 共享到 /share 目录
mount -t nfs 192.168.1.1:/volume1/Share/ /share# 将 NFS 挂载配置添加到 /etc/fstab，确保系统重启后自动挂载
echo "192.168.1.1:/volume1/Share /share nfs defaults 0 0" | sudo tee -a /etc/fstab# 停止并禁用防火墙
systemctl stop firewalld
systemctl disable firewalld# 临时关闭 SELinux
setenforce 0# 永久禁用 SELinux
sed -i 's/enforcing/disabled/' /etc/selinux/config# 安装 runc
cp  /share/runc.amd64 /tmp/
install -m 755 /tmp/runc.amd64 /usr/local/sbin/runc
rm -f /tmp/runc.amd64
cp -p /usr/local/sbin/runc  /usr/local/bin/runc
cp -p /usr/local/sbin/runc  /usr/bin/runc# 拷贝共享目录中containerd相关安装配置文件
cp  /share/containerd-1.7.14-linux-amd64.tar.gz /tmp/# 安装 containerd
tar Cxzvf /usr/local /tmp/containerd-1.7.14-linux-amd64.tar.gz
rm -f /tmp/containerd-1.7.14-linux-amd64.tar.gz# 配置开机启动 containerd.service
cp  /tmp/containerd.service /etc/systemd/system/containerd.service
rm -f /tmp/containerd.service
systemctl daemon-reload
systemctl enable containerd# 查看containerd.service服务文件
cat /etc/systemd/system/containerd.service

内容如下：

[Unit]
# 描述服务的名称和用途
Description=containerd container runtime# 提供 containerd 官方文档的链接
Documentation=https://containerd.io# 定义服务的启动顺序依赖
# 确保在网络、本地文件系统和 D-Bus 服务启动后再启动 containerd
After=network.target local-fs.target dbus.service[Service]
# 在启动 containerd 之前加载 overlay 内核模块
# 如果模块加载失败，忽略错误继续执行
ExecStartPre=-/sbin/modprobe overlay# 启动 containerd 服务
ExecStart=/usr/local/bin/containerd# 定义服务类型为 notify，表示服务启动完成后会通知 systemd
Type=notify# 允许 containerd 管理其子进程的 cgroup
Delegate=yes# 定义杀死进程的模式为仅杀死 containerd 进程，而不是整个 cgroup
KillMode=process# 定义服务在失败时自动重启
Restart=always# 定义服务重启的间隔时间为 5 秒
RestartSec=5# 设置进程数和核心文件大小的限制为无限制
# 建议使用 cgroups 进行容器本地资源管理
LimitNPROC=infinity
LimitCORE=infinity# 设置任务最大数量为无限制
# 仅 systemd 226 及以上版本支持此选项
TasksMax=infinity# 调整 OOM（Out of Memory）分数，降低 containerd 被 OOM Killer 杀死的概率
OOMScoreAdjust=-999[Install]
# 定义服务在 multi-user.target 启动时自动启动
WantedBy=multi-user.target
关键点说明：
[Unit] 部分：Description：描述服务的名称和用途。
Documentation：提供官方文档链接。
After：定义服务的启动顺序依赖，确保网络、本地文件系统和 D-Bus 服务启动后再启动 containerd。
[Service] 部分：ExecStartPre：在启动 containerd 之前加载 overlay 内核模块，如果模块加载失败，忽略错误继续执行。
ExecStart：启动 containerd 服务。
Type=notify：定义服务类型为 notify，表示服务启动完成后会通知 systemd。
Delegate=yes：允许 containerd 管理其子进程的 cgroup。
KillMode=process：定义杀死进程的模式为仅杀死 containerd 进程，而不是整个 cgroup。
Restart=always：定义服务在失败时自动重启。
RestartSec=5：定义服务重启的间隔时间为 5 秒
DeepSeek-V3
DeepSeek-V3

# 生成 containerd 默认配置文件
mkdir -p /etc/containerd/
containerd config default > /etc/containerd/config.toml# 备份默认配置文件
mv /etc/containerd/config.toml /etc/containerd/config.toml.bk# 拷贝并查看containerd 配置文件
cp /share/config.toml  /etc/containerd/
cat /etc/containerd/config.toml

内容如下：

# 配置 containerd 的 CRI（Container Runtime Interface）插件
[plugins."io.containerd.grpc.v1.cri".registry]# 配置镜像仓库的镜像（mirror）设置[plugins."io.containerd.grpc.v1.cri".registry.mirrors]# 为特定的镜像仓库地址（192.168.1.2）配置镜像[plugins."io.containerd.grpc.v1.cri".registry.mirrors."192.168.1.2"]# 指定镜像仓库的访问端点（endpoint），使用 HTTP 协议endpoint = ["http://192.168.1.2"]# 配置镜像仓库的认证信息[plugins."io.containerd.grpc.v1.cri".registry.configs]# 为特定的镜像仓库地址（192.168.1.2）配置认证信息[plugins."io.containerd.grpc.v1.cri".registry.configs."192.168.1.2".auth]# 配置访问镜像仓库的用户名username = "admin"# 配置访问镜像仓库的密码（默认密码，如果之前改了这里也要改）password = "Harbor12345"

# 配置使用crictl管理 containerd 镜像
cp /share/crictl-v1.26.0-linux-amd64.tar.gz /tmp
tar zxvf /tmp/crictl-v1.26.0-linux-amd64.tar.gz -C /usr/local/bin
rm -f /tmp/crictl-v1.26.0-linux-amd64.tar.gz
cat >/etc/crictl.yaml <<EOF
runtime-endpoint: unix:///var/run/containerd/containerd.sock
image-endpoint: unix:///var/run/containerd/containerd.sock
timeout: 10
EOF# 重启 containerd
systemctl restart containerd
systemctl status containerd

在Containerd客户端（192.168.1.3）导入镜像

# 1. 导入镜像文件 dashboard.tar
# 将本地的镜像文件导入到 containerd 中
ctr image import /share/dashboard.tar# 2. 列出所有镜像
# 查看当前 containerd 中已存在的镜像，确认导入是否成功
ctr image ls# 3. 重新打标签
# 将导入的镜像 docker.io/kubernetesui/dashboard:v2.7.0 重新打标签为 192.168.1.2/library/dashboard:v2.7.0
# 这一步是为了将镜像标记为私有仓库的地址，方便后续上传
ctr image tag docker.io/kubernetesui/dashboard:v2.7.0 192.168.1.2/library/dashboard:v2.7.0# 4. 再次列出所有镜像
# 确认重新打标签是否成功，检查是否存在新的镜像标签
ctr image ls

在Containerd客户端（192.168.1.3）上传镜像

# 将镜像推送到私有 Harbor 仓库
# --plain-http: 使用 HTTP 协议而不是 HTTPS（适用于未启用 HTTPS 的仓库）
# --user admin:Harbor12345: 指定 Harbor 仓库的用户名和密码（用于身份验证）
# 192.168.1.2/library/dashboard:v2.7.0: 目标镜像的完整地址，格式为 <仓库地址>/<项目>/<镜像名>:<标签>
ctr image push --plain-http --user admin:Harbor12345 192.168.1.2/library/dashboard:v2.7.0

在Containerd客户端（192.168.1.3）下载镜像

# 从私有 Harbor 仓库拉取镜像
# --plain-http: 使用 HTTP 协议而不是 HTTPS（适用于未启用 HTTPS 的仓库）
# 192.168.1.2/library/dashboard:v2.7.0: 目标镜像的完整地址，格式为 <仓库地址>/<项目>/<镜像名>:<标签>
ctr image pull --plain-http 192.168.1.2/library/dashboard:v2.7.0