当前位置：首页 > news >正文

kubernetes集群部署：环境准备及master节点部署（二）

news 2025/9/17 1:12:51

主机名	IPv4地址	IPv6地址	角色	安装组件	操作系统
k8s130-node190	192.168.XX.190	240a:XX::190	master	kubeadm、kubelet、containerd	Anolis OS 8.9+4.19.91-28.1.an8.x86_64
k8s130-node191	192.168.XX.191	240a:XX::191	node	kubeadm、kubelet、cri-o	Anolis OS 8.9+4.19.91-28.1.an8.x86_64
k8s130-node189	192.168.XX.189	240a:XX::189	node	kubeadm、kubelet、cri-dockerd	Anolis OS 8.9+4.19.91-28.1.an8.x86_64

安装前准备

1、最小化安装虚拟机，安装完之后需要更新到最新

~]# yum -y update

2、关闭防火墙

~]# systemctl disable firewalld && systemctl stop firewalld

3、关闭SELinux

~]# sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

4、确保时间同步服务运行正常，并且可以成功同步时间

~]# systemctl status chronyd -l --no-pager

5、安装必须的一些软件包

~]# yum -y install ipvsadm ipset conntrack-tools iproute-tc conntrack libseccomp wget tar

6、启用内核模块

~]# modprobe ip_conntrack
~]# modprobe nf_conntrack
~]# modprobe ip_vs
~]# modprobe ip_vs_rr
~]# modprobe ip_vs_rr
~]# modprobe ip_vs_wrr
~]# modprobe ip_vs_sh
~]# modprobe br_netfilter
~]# modprobe bridge

7、配置内核参数

~]# cat /etc/sysctl.d/99-sysctl.conf 
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv6.conf.all.disable_ipv6 = 0
net.ipv6.conf.default.disable_ipv6 = 0
net.ipv6.conf.lo.disable_ipv6 = 0
net.ipv6.conf.all.forwarding=1
net.ipv4.ip_forward=1
net.ipv4.neigh.default.gc_thresh1=1024
net.ipv4.neigh.default.gc_thresh2=2048
net.ipv4.neigh.default.gc_thresh3=4096
net.netfilter.nf_conntrack_max=2310720net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_fin_timeout=10
net.ipv4.tcp_keepalive_time = 180
net.ipv4.tcp_keepalive_intvl = 10
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.ip_local_port_range = 21000 61000vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963

8、关闭swap（在装虚拟机分区时就不做swap最好）

a、swapoff -a
b、注释/etc/fstab中的swap挂载

安装Containerd

containerd最初是Docker引擎的一部分，作为Docker的核心组件负责容器的创建、运行和管理。2017年，Docker决定将containerd作为一个独立的开源项目，以便社区能够更广泛地使用和贡献。containerd的目标是提供一个简单、稳定且高效的容器运行时，它可以作为各种容器生态系统的基础，特别是在与Kubernetes的集成方面。

1、配置第三方镜像源（在线安装Containerd需要配置docker-ce的镜像源，如果不想或者不能在线安装，那么可以通过其他方式：Getting started with containerd）

注：

a、这两种方式安装结果还是有很大不同的；

b、下面使用的是阿里镜像源，docker官方镜像源被qiang了

~]# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo~]# yum repolist|grep docker
docker-ce-stable                    Docker CE Stable - x86_64

2、安装Containerd最新版

~]# yum -y install containerd.io --disableexcludes=docker-ce-stable

3、设置开机启动

systemctl enable containerd

4、设置Containerd

docker-ce的配置文件是/etc/docker/daemon.json ，那么Containerd的呢？答案：/etc/containerd/config.toml。但是，通过docker镜像源在线安装的Containerd的配置文件不可用，需要重新生成配置文件。

mv /etc/containerd/config.toml{,_docker}
containerd config default > /etc/containerd/config.toml

4.1、配置sandbox_image

早先使用dockershim时，只需要配置kubelet的--pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.9即可，如果要使用containerd作为kubernetes的运行时，pod-infra-container-image将不生效（不过kubeadm启动kubernetes组件时仍然会用到）

< sandbox_image = "registry.k8s.io/pause:3.6"
---
> sandbox_image = "192.168.XX.XX/kubeadm/pause:3.9"

4.2、设置SystemdCgroup && 配置私有仓库认证信息

……
[plugins]
[plugins."io.containerd.grpc.v1.cri"]
sandbox_image = "192.168.XX.XX/kubeadm/pause:3.7"
[plugins."io.containerd.grpc.v1.cri".containerd]
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes]
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
SystemdCgroup = true
……
[plugins."io.containerd.grpc.v1.cri".registry.configs]
[plugins."io.containerd.grpc.v1.cri".registry.configs."192.168.XX.XX".auth]
username = "admin"
password = "密码"

[plugins."io.containerd.grpc.v1.cri".registry.headers]

[plugins."io.containerd.grpc.v1.cri".registry.mirrors]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
endpoint = ["https://registry-1.docker.io"]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."192.168.XX.XX"]
endpoint = ["http://192.168.XX.XX"]

4.3、Containerd的客户端命令配置

docker-ce的客户端命令就是docker，Containerd的客户端命令crictl和ctr,一般使用crictl，需要配置一下，否则~~哼哼

cat /etc/crictl.yaml 
runtime-endpoint: unix:///var/run/containerd/containerd.sock
image-endpoint: unix:///var/run/containerd/containerd.sock
timeout: 10
debug: false

5、启动Containerd

systemctl start containerd

安装kubeadm、kubelet、kubectl

1、配置第三方镜像源

cat <<EOF | tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://pkgs.k8s.io/core:/stable:/v1.30/rpm/
enabled=1
gpgcheck=1
gpgkey=https://pkgs.k8s.io/core:/stable:/v1.30/rpm/repodata/repomd.xml.key
exclude=kubelet kubeadm kubectl cri-tools kubernetes-cni
EOF

2、安装kubelet kubeadm kubectl

yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
systemctl enable kubelet

初始化kubernetes master节点

1、生成初始化YAML文件

kubeadm config print init-defaults > kubeadm-init.default.yaml

2、设置初始化文件。如下红色内容需要根据需要修改，另外，advertiseAddress只支持IPv4。

apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:
- system:bootstrappers:kubeadm:default-node-token
token: abcdef.0123456789abcdef
ttl: 24h0m0s
usages:
- signing
- authentication
kind: InitConfiguration
localAPIEndpoint:
advertiseAddress: 192.168.XX.190
bindPort: 6443
nodeRegistration:
criSocket: unix:///run/containerd/containerd.sock
imagePullPolicy: IfNotPresent
name: k8s130-node190
taints: null
---
apiServer:
timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:
local:
dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: 1.30.0
networking:
dnsDomain: cluster.local
serviceSubnet: 10.254.0.0/16,2408:822a:730:af01::/112
podSubnet: 172.254.0.0/16,fa00:cafe:42::/56
scheduler: {}
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
iptables:
masqueradeAll: false
ipvs:
minSyncPeriod: 0s
scheduler: "rr"
kind: KubeProxyConfiguration
mode: "ipvs"

3、初始化master节点

kubeadm init --config=kubeadm-init.default.yaml |tee kubeadm-init.log

打印如下内容，则表明初始化成功。另外，根据初始化文件中定义的ttl: 24h0m0s，token的有效期是24小时，过期之后，将无法使用如下打印的token加入kubernetes集群。

安装之后处理

1、验证

~]$ kubectl get cs
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME STATUS MESSAGE ERROR
controller-manager Healthy ok
scheduler Healthy ok
etcd-0 Healthy ok
~]$ kubectl get node
NAME STATUS ROLES AGE VERSION
k8s130-node190 NotReady control-plane 3m44s v1.30.2

执行kubectl get node，node是NotReady状态！ --- --- 没有安装网络插件
执行kubectl get po，pod中coredns是Pending状态！ --- --- 没有安装网络插件

安装网络插件-Calico

1、下载Calico启动配置文件

wget https://mirrors.chenby.cn/https://github.com/projectcalico/calico/blob/master/manifests/calico-typha.yaml

2、定制Calico配置文件

2.1、配置启用IP双栈（无需IPv6，则不需要配置）

< "type": "calico-ipam"
---
> "type": "calico-ipam",
> "assign_ipv4": "true",
> "assign_ipv6": "true"

2.2、配置IP地址段（无需IPv6，则只需配置IPv4即可）

< # - name: CALICO_IPV4POOL_CIDR
< # value: "192.168.0.0/16"
< - name: FELIX_IPV6SUPPORT
< value: "true"
---
> - name: CALICO_IPV4POOL_CIDR
> value: "172.254.0.0/16"
> - name: CALICO_IPV6POOL_CIDR
> value: "fa00:cafe:42::/56"
> - name: IP_AUTODETECTION_METHOD
> value: "interface=ens.*"
> - name: IP6_AUTODETECTION_METHOD
> value: "interface=ens.*"
> - name: FELIX_IPV6SUPPORT
> value: "true"

2.3、修改镜像地址（无fan墙能力就得老老实实改）

< image: docker.io/calico/cni:master
---
> image: 192.168.XX.XX/library/cni:master
< image: docker.io/calico/node:master
---
> image: 192.168.XX.XX/library/node:master
< image: docker.io/calico/kube-controllers:master
---
> image: 192.168.XX.XX/library/kube-controllers:master
< image: docker.io/calico/typha:master
---
> image: 192.168.XX.XX/library/typha:master

2.4、创建Calico

kubectl apply -f calico-typha.yaml

2.5、验证是否成功

Calico Typha启动的pod有3类：controller、node、typha。状态都变成Running，且Ready为1/1才表明成功了。controller是由deploy调度创建、node由daemonset调度创建（确保每个node上都启动一个calico-node，并且使用hostNetwork）

3、Calico组件说明

3.1. Calico Node

Calico Node 是 Calico 的核心组件，运行在每个集群节点上，负责以下任务：

IPAM（IP Address Management）：管理分配和回收 Pod 的 IP 地址。
BGP（Border Gateway Protocol）：使用 BGP 与其他 Calico 节点进行路由信息交换，确保网络中的所有 Pod 可以相互通信。
网络策略实施：通过 iptables 或 eBPF 实施网络策略，控制 Pod 之间的流量。
Felix：Calico Node 包含 Felix 代理，负责与 Linux 内核网络栈交互，应用网络策略和管理路由。

3.2. Calico Controller

Calico Controller 是一个 Kubernetes 控制器，负责管理 Calico 与 Kubernetes API 之间的交互。其主要职责包括：

同步 Calico 和 Kubernetes 对象：确保 Calico 的网络策略、IP 池和其他配置与 Kubernetes 中定义的对象保持一致。
管理 Kubernetes 服务：处理 Kubernetes 服务对象，确保服务的 IP 地址正确配置，并与 Calico 网络策略兼容。
确保高可用性：通过定期检查和同步，确保 Calico 配置的一致性和高可用性。

3.3. Calico Typha

Calico Typha 是一个可选的组件，主要用于大规模 Kubernetes 集群，以减少 API 服务器的负载和提高性能。其职责包括：

聚合和分发数据：从 Kubernetes API 服务器获取更新，并将这些更新分发给集群中的 Calico Node 实例。
减少 API 请求数量：通过集中处理和分发数据，Typha 减少了直接与 API 服务器通信的 Calico Node 实例数量，从而降低了 API 服务器的负载。
提高集群性能：在大规模集群中，Typha 帮助减少网络流量和提高配置分发效率，从而提高整体性能。

3.4. 总结

Calico Node 是 Calico 的核心组件，负责管理节点上的网络配置和策略实施。
Calico Controller 负责 Calico 与 Kubernetes API 的交互，确保配置一致性和高可用性。
Calico Typha 用于大规模集群中，聚合和分发数据，减少 API 服务器的负载，提高性能。

下一篇：《kubernetes集群部署：node节点部署和CRI-O运行时安装（三）》