当前位置：首页 > article >正文

Kubernetes 集群搭建（二）：搭建k8s集群（1.28版本）

article 2026/1/31 17:33:45

（一）虚拟环境准备

名称	ip	备注
m1	192.168.101.131	master
n1	192.168.101.132	worker
n2	192.168.101.133	worker

（二）所有主机统一配置

2.1 关闭防火墙和selinux

systemctl stop firewalld
systemctl disable firewalld
sed -i 's/enforcing/disabled/' /etc/selinux/config
setenforce 0

2.2 关闭swap 分区

swapoff -ased -i '/\bswap\b/s/^/#/' /etc/fstab

2.3 修改hosts文件

echo '''
192.168.101.131 m1
192.168.101.132 n1
192.168.101.133 n2
''' >> /etc/hosts

2.4 配置内核参数

cat <<EOF | tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOFmodprobe overlay
modprobe br_netfilter# 设置所需的 sysctl 参数，参数在重新启动后保持不变
cat <<EOF | tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF# 应用 sysctl 参数而不重新启动
sysctl --system# 检查是否被加载
lsmod | grep br_netfilter
lsmod | grep overlay

2.5 使用ipvs转发

yum install -y ipvsadm

cat > /etc/sysconfig/modules/ipvs.modules << EOF 
#!/bin/bash 
modprobe -- ip_vs 
modprobe -- ip_vs_rr 
modprobe -- ip_vs_wrr 
modprobe -- ip_vs_sh 
modprobe -- nf_conntrack
EOFchmod 755 /etc/sysconfig/modules/ipvs.modules 
bash /etc/sysconfig/modules/ipvs.modules 
lsmod | grep -e ip_vs -e nf_conntrack

2.5 安装containerd

在 Kubernetes 的早期版本中，鉴于 Docker 的广泛流行，Kubernetes 选择了直接调用 Docker API 来管理容器。为此，Kubernetes 专门开发了一个名为 dockershim 的组件，它充当了 kubelet 与 Docker 之间的桥梁，实现了两者之间的无缝交互。

然而，随着 Kubernetes 生态系统的不断发展和壮大，越来越多的底层容器运行时技术如 containerd、CRI-O、rkt 等涌现出来。为了支持这些多样化的容器运行时，Kubernetes 引入了容器运行时接口（CRI）标准。这一标准使得第三方容器运行时只需与 CRI 对接，即可与 Kubernetes 进行集成。

后来，在 Kubernetes 1.20 版本中，官方宣布将在后续的 1.24 版本中正式移除 dockershim。当时，Docker 尚未直接支持 CRI 标准，为了应对这一变化，Docker 官方与 Mirantis 公司携手合作，共同开发了一个名为 “cri-dockerd” 的代理程序。

containerd 最初是 Docker 引擎的一部分，用于处理容器的生命周期管理，包括创建、启动、停止和删除容器等操作。

在 Docker 1.11 版本之后，containerd 被从 Docker 引擎中分离出来，成为一个独立的开源项目。

这里使用containerd作为容器。

安装containerd.io

yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo# 对于欧拉系统，需要
sed -i 's#$releasever#8#' /etc/yum.repos.d/docker-ce.repoyum install -y containerd.io

配置 containerd

# 生成containerd的配置文件
mkdir /etc/containerd -p 
# 生成配置文件
containerd config default > /etc/containerd/config.toml# 修改配置
sed -i 's#SystemdCgroup = false#SystemdCgroup = true#' /etc/containerd/config.tomlsed -i 's#sandbox.*#sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9"#' /etc/containerd/config.toml systemctl enable containerd --now

2.6 安装k8s

确保每个节点上 MAC 地址和 product_uuid 的唯一性

使用命令 ip link 或 ifconfig -a 来获取网络接口的 MAC 地址
使用 sudo cat /sys/class/dmi/id/product_uuid 命令对 product_uuid 校验

一般来讲，硬件设备会拥有唯一的地址，但是有些虚拟机的地址可能会重复。 Kubernetes 使用这些值来唯一确定集群中的节点。如果这些值在每个节点上不唯一，可能会导致安装失败。

添加kubernets的yum源

 cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装kubernets

yum install -y kubectl-1.28.2 kubelet-1.28.2 kubeadm-1.28.2systemctl enable kubelet --now

2.7 containerd容器部署（具体的容器根据kubernets版本决定）

拉取（国内源）：

ctr -n k8s.io i pull -k docker.m.daocloud.io/calico/cni:v3.25.0
ctr -n k8s.io i pull -k docker.m.daocloud.io/calico/node:v3.25.0
ctr -n k8s.io i pull -k docker.m.daocloud.io/calico/kube-controllers:v3.25.0

重新标记“视为”原始镜像
ctr -n k8s.io images tag docker.m.daocloud.io/calico/cni:v3.25.0 docker.io/calico/cni:v3.25.0
ctr -n k8s.io images tag docker.m.daocloud.io/calico/node:v3.25.0 docker.io/calico/node:v3.25.0
ctr -n k8s.io images tag docker.m.daocloud.io/calico/kube-controllers:v3.25.0 docker.io/calico/kube-controllers:v3.25.0

导出（作为本地备份）：
ctr -n k8s.io i export cni.tar.gz docker.io/calico/cni:v3.25.0
ctr -n k8s.io i export kube-controllers.tar.gz docker.io/calico/kube-controllers:v3.25.0
ctr -n k8s.io i export node.tar.gz docker.io/calico/node:v3.25.0

导入（恢复本地备份）：
ctr -n k8s.io i import cni.tar.gz
ctr -n k8s.io i import kube-controllers.tar.gz
ctr -n k8s.io i import node.tar.gz

检查：
ctr -n k8s.io i ls -q

（三）master节点配置

3.1 配置主机名，主机名是节点与集群通信的重要标识之一，尤其是在日志、监控和调度中，分别在各个节点中配置它的主机名

hostnamectl set-hostname m1

3.2 重置（可选）

kubeadm reset

手动清理残留文件

# /var/lib/etcd/ 是 etcd 数据库的存储目录，用于保存 Kubernetes 集群中的关键元数据和配置信息
rm -rf /etc/kubernetes/manifests/*
rm -rf /var/lib/etcd/*  
rm -rf $HOME/.kube/config

3.3 配置kubeadm-config.yaml文件

确保 serviceSubnet 和 podSubnet 不与现有的网络配置冲突。

apiVersion: kubeadm.k8s.io/v1beta3
kind: InitConfiguration
localAPIEndpoint:advertiseAddress: "192.168.101.131"bindPort: 6443
---
apiVersion: kubeadm.k8s.io/v1beta3
kind: ClusterConfiguration
kubernetesVersion: v1.28.2
controlPlaneEndpoint: ""  # 如果需要高可用控制平面，可以指定负载均衡器的地址
apiServer:certSANs:- "192.168.101.131"  # 添加额外的 SAN（Subject Alternative Name）
networking:serviceSubnet: "192.140.0.0/16"podSubnet: "192.240.0.0/16"
imageRepository: "registry.aliyuncs.com/google_containers"
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: "ipvs"

3.4 初始化集群

kubeadm init --config=kubeadm-config.yaml
完成后会显示如下的信息

Your Kubernetes control-plane has initialized successfully!To start using your cluster, you need to run the following as a regular user:mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/configAlternatively, if you are the root user, you can run:export KUBECONFIG=/etc/kubernetes/admin.confYou should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:https://kubernetes.io/docs/concepts/cluster-administration/addons/Then you can join any number of worker nodes by running the following on each as root:kubeadm join 192.168.101.131:6443 --token 0mhdu0.eoctqrfvamju7z97 \--discovery-token-ca-cert-hash sha256:e46a3d35352dadf3d79358e50f61cf58fc95c6129676578867cf05aad7a12f97

复制初始化集群后终端显示的命令

mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

3.5 安装CNI插件，此处选择calico

官方文档地址 https://archive-os-3-26.netlify.app/calico/3.26/getting-started/kubernetes/requirements
里面可以查到k8s 1.28 对应的calico版本为3.25
下载官方yaml文件
wget https://docs.projectcalico.org/archive/v3.25/manifests/calico.yaml
更改其中cidr地址，与podsubnet一致
sed -i 's@# - name: CALICO_IPV4POOL_CIDR@- name: CALICO_IPV4POOL_CIDR@' calico.yaml
sed -i 's@# value: "192.168.0.0/16"@ value: "192.240.0.0/16"@' calico.yaml
启动
kubectl apply -f calico.yaml
结果如下

poddisruptionbudget.policy/calico-kube-controllers created
serviceaccount/calico-kube-controllers created
serviceaccount/calico-node created
configmap/calico-config created
customresourcedefinition.apiextensions.k8s.io/bgpconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/bgppeers.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/blockaffinities.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/caliconodestatuses.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/clusterinformations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/felixconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/globalnetworkpolicies.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/globalnetworksets.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/hostendpoints.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ipamblocks.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ipamconfigs.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ipamhandles.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ippools.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ipreservations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/kubecontrollersconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/networkpolicies.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/networksets.crd.projectcalico.org created
clusterrole.rbac.authorization.k8s.io/calico-kube-controllers created
clusterrole.rbac.authorization.k8s.io/calico-node created
clusterrolebinding.rbac.authorization.k8s.io/calico-kube-controllers created
clusterrolebinding.rbac.authorization.k8s.io/calico-node created
daemonset.apps/calico-node created
deployment.apps/calico-kube-controllers created

(四)Node 节点配置

4.1 Node节点主机名更改

每个节点的主机名应不同

hostnamectl set-hostname n1

4.2 Node节点加入集群

复制在master节点里显示的命令
kubeadm join 192.168.101.131:6443 --token 0mhdu0.eoctqrfvamju7z97 --discovery-token-ca-cert-hash sha256:e46a3d35352dadf3d79358e50f61cf58fc95c6129676578867cf05aad7a12f97

（五）测试

kubectl get nodeskubectl get pods -ANAMESPACE     NAME                                       READY   STATUS    RESTARTS   AGE
kube-system   calico-kube-controllers-658d97c59c-bx9mx   1/1     Running   0          9m49s
kube-system   calico-node-k8wpd                          1/1     Running   0          9m49s
kube-system   calico-node-lchjc                          0/1     Running   0          9m49s
kube-system   calico-node-vdpqf                          1/1     Running   0          9m49s
kube-system   coredns-66f779496c-qhp6p                   1/1     Running   0          157m
kube-system   coredns-66f779496c-txxql                   1/1     Running   0          157m
kube-system   etcd-m1                                    1/1     Running   0          157m
kube-system   kube-apiserver-m1                          1/1     Running   0          157m
kube-system   kube-controller-manager-m1                 1/1     Running   0          157m
kube-system   kube-proxy-5gg2p                           1/1     Running   0          118m
kube-system   kube-proxy-ctw2r                           1/1     Running   0          114m
kube-system   kube-proxy-zlbb7                           1/1     Running   0          157m
kube-system   kube-scheduler-m1                          1/1     Running   0          157m

所有pod 为running则正常