K8s控制平面升级

K8s 的升级只要按标准流程来完全可以做到零中断升级用户完全感知不到。基础逻辑什么是控制平面K8s 的集群分成两部分控制平面Master 节点可以理解成集群的 “大脑”负责管整个集群的状态比如调度 Pod、维护集群配置、提供 API 接口核心组件有kube-apiserver、kube-controller-manager、kube-scheduler还有存数据的 etcd。工作节点Worker 节点就是真正跑你业务 Pod 的机器上面跑kubelet来管理本地的 Pod。升级集群的时候有个固定的顺序先升级控制平面再升级工作节点。因为控制平面要向下兼容旧版本的工作节点保证你升控制平面的时候旧版本的工作节点还能正常工作业务不会断。我们用什么来升级这次我们用的是kubeadm——K8s 官方的集群搭建 升级工具大部分人搭集群都是用的它它会帮你处理所有的配置升级、组件更新不用你自己一个个改配置、换镜像非常省心。而且我们这次是同大版本的补丁升级从v1.30.0升到v1.30.3这种补丁版本基本都是修 bug没有大的功能变更升级风险非常小当然这个流程也适用于跨小版本的升级比如 1.29 升到 1.30。完整升级流程第一步先确认我能升到哪个版本首先我得先看看我的包管理器里有哪些可用的 kubeadm 版本因为我用的是 Ubuntu 系统用 apt 作为包管理器所以先执行apt list kubeadm -a输出是这样的kubeadm/unknown,now 1.30.3-1.1 amd64 [upgradable from: 1.30.0-1.1] kubeadm/unknown 1.30.2-1.1 amd64 kubeadm/unknown 1.30.1-1.1 amd64 kubeadm/unknown 1.30.0-1.1 amd64很清楚我当前装的是 1.30.0-1.1最新的补丁版本是 1.30.3-1.1就它了这就是我们这次的目标版本。第二步给 Master 节点拉个 “警戒线”升级之前我得先不让集群把新的 Pod 调度到 Master 节点上 —— 不然我升级到一半调度器又把一个新的业务 Pod 安排到 Master 上那我之前的准备不就白做了执行这个命令kubectl cordon cka-master这里的cka-master是我的 Master 节点的名字cordon这个命令的作用就是把节点标记为不可调度。什么意思就是节点本身还是正常运行的已经在上面跑的 Pod 也不会动但是调度器不会再把新的 Pod 往这个节点上放了相当于给节点拉了个警戒线只出不进。执行完我查一下节点状态kubectl get nodesNAME STATUS ROLES AGE VERSION cka-master Ready,SchedulingDisabled control-plane 5d6h v1.30.0 cka-worker1 Ready worker 5d6h v1.30.0 cka-worker2 Ready worker 5d5h v1.30.0看到 Master 节点的状态里多了SchedulingDisabled就说明这步成了。第三步把 Master 上的旧 Pod 都挪走警戒线拉完了接下来要把 Master 上已经在跑的普通 Pod都赶到其他工作节点上去 —— 不然我等下重启 kubelet 的时候这些 Pod 不就被杀了业务不就断了用这个命令排空节点kubectl drain cka-master --delete-emptydir-data --ignore-daemonsets这里的两个参数是你必须要加的--ignore-daemonsets忽略 DaemonSet 类型的 Pod DaemonSet 是什么就是那种每个节点都必须跑一个的 Pod比如我们的网络插件 calico每个节点都得有一个不然网络就不通了。这种 Pod 你赶不走的你把它删了它立刻就会在这个节点上重建一个所以我们要告诉命令别管这些 Pod直接忽略它们。--delete-emptydir-data删除 Pod 的临时本地数据 有些 Pod 会用emptydir存临时数据这些数据是跟着 Pod 走的Pod 挪到别的节点这些数据就没用了会在新节点重新生成。不加这个参数的话drain 会怕你丢数据不敢删 Pod直接卡在这里。加了这两个参数命令一下就跑通了它把 Master 上的普通 Pod 一个个驱逐到其他工作节点整个过程也就十几秒那些 Pod 在别的节点上重新启动业务完全没感知。第四步升级 kubeadmPod 都挪走了接下来就可以开始升级组件了首先要升级的就是 kubeadm 本身 —— 毕竟要让新版本的 kubeadm 来帮我们升级集群。为了防止系统自动升级把 K8s 的版本搞乱我把kubeadm、kubelet、kubectl这三个包锁定了也就是apt-mark hold这样平时执行apt upgrade的时候就不会不小心把它们升了。现在要主动升级所以先把锁解开apt-mark unhold kubeadm然后更新包列表装新版本的 kubeadmapt-get update apt install kubeadm1.30.3-1.1 -y这里一定要指定版本号不然它会给你装最新的我们要装我们选好的 1.30.3 版本。装完我查一下版本确认没问题kubeadm versionkubeadm version: version.Info{Major:1, Minor:30, GitVersion:v1.30.3, GitCommit:6f6904f41ac384ec4391224a2df241460, GitTreeState:clean, BuildDate:2024-07-16T23:53:15Z, GoVersion:go1.22.5, Compiler:gc, Platform:linux/amd64}okkubeadm 已经是新版本了。第五步执行集群控制平面的升级接下来就是最核心的一步用 kubeadm 升级整个控制平面。首先我先做个预检查看看集群有没有问题别升一半失败了kubeadm upgrade plan这个命令会帮我检查etcd 是不是健康各个组件是不是正常有没有不兼容的配置全部检查完之后告诉我可以执行的升级命令。预检查没问题就可以执行实际的升级了kubeadm upgrade apply v1.30.3 --etcd-upgradefalse这里我加了--etcd-upgradefalse因为我这次不想升级 etcd只升其他控制平面组件如果你想连 etcd 一起升去掉这个参数就可以默认是会一起升的。执行的时候它会问我确认[upgrade/version] You have chosen to change the cluster version to v1.30.3 [upgrade/versions] Cluster version: v1.30.0 [upgrade/versions] kubeadm version: v1.30.3 [upgrade] Are you sure you want to proceed? [y/N]:我输入y确认然后它就开始逐个升级组件了[apiclient] Found 1 Pods for label selectorkube-apiserver [upgrade/staticpods] Component kube-apiserver upgraded successfully! [apiclient] Found 1 Pods for label selectorkube-controller-manager [upgrade/staticpods] Component kube-controller-manager upgraded successfully! [apiclient] Found 1 Pods for label selectorkube-scheduler [upgrade/staticpods] Component kube-scheduler upgraded successfully!它是一个一个升的升一个的时候其他的控制平面组件还在正常跑所以整个过程集群完全可用业务一点都没断。全部升完之后它给我返回了成功的提示[upgrade/successful] SUCCESS! Your cluster was upgraded to v1.30.3. Enjoy! [upgrade/kubelet] Now that your control plane is upgraded, please proceed with upgrading your kubelets if you havent already done so.控制平面的核心组件已经升完了第六步升级 kubelet 和 kubectl核心组件升完了接下来要把 Master 节点上的kubelet和kubectl也升了这两个是节点上的代理和命令行工具也要和控制平面版本一致不然会有兼容问题。同样的先解锁这两个包apt-mark unhold kubelet kubectl然后安装新版本apt install kubelet1.30.3-1.1 kubectl1.30.3-1.1 -y搞定这两个也升级完成了。第七步把 Master 节点恢复正常所有组件都升完了现在要做收尾工作把 Master 节点恢复成正常的状态先把三个包重新锁上防止以后不小心自动升级apt-mark hold kubelet kubectl kubeadm重启 kubelet让新的 kubelet 生效systemctl daemon-reload systemctl restart kubelet.service最后把之前的调度禁止取消让 Master 节点可以重新接新的 Podkubectl uncordon cka-master做完这些我再查一下节点状态kubectl get nodesNAME STATUS ROLES AGE VERSION cka-master Ready control-plane 5d7h v1.30.3 cka-worker1 Ready worker 5d6h v1.30.0 cka-worker2 Ready worker 5d6h v1.30.0Master 节点的版本已经变成 1.30.3 了状态也恢复正常了整个升级过程就完成了注意别直接装包就完事不排空节点别忘了锁包版本。别同时升所有节点跨版本别跳太多