K8s: 将一个节点移出集群和相关注意事项

前置步骤

在Kubernetes集群中，要移出一个节点，你需要执行以下步骤：

1 ）将节点标记为不可调度

• 首先，你需要将目标节点标记为不可调度，以确保Kubernetes不会在该节点上调度新的Pod
• 这可以通过执行以下命令实现：$ kubectl cordon <node-name>
  • 其中 是你想要移出的节点的名称
  • 这个命令会将节点设置为不可调度状态
  • 这样Kubernetes就不会在这个节点上安排新的Pod了

2 ) 驱逐节点上的Pod

• 在标记节点为不可调度之后，你需要将节点上的所有Pod驱逐到其他可用的节点上
• 这可以通过执行以下命令完成
• $ kubectl drain <node-name> --delete-local-data --force --ignore-daemonsets
  • 这个命令会触发Pod的正常终止过程，并将它们迁移到其他可用的节点上
  • 注意
    • --delete-local-data 标志表示允许删除节点上由Pod使用的本地数据
    • --force 标志表示强制驱逐Pod
    • --ignore-daemonsets 标志表示忽略DaemonSets管理的Pod

3 ) 从集群中移除节点

• 一旦节点上的所有Pod都被成功驱逐到其他节点，你就可以从集群中移除该节点了
• 这通常涉及到从集群的配置中删除节点的信息，具体的操作取决于你使用的Kubernetes部署方式（如kubeadm、Minikube、Kops等）
• 在某些情况下，这可能涉及到在云平台上删除支持该节点的虚拟机

4 ) 验证节点移除

• 最后，你应该验证节点是否已经从集群中成功移除

• 可以通过执行以下命令来检查集群中的节点列表：$ kubectl get nodes

  • 如果移出的节点不再出现在列表中，那么说明节点已成功从集群中移除

• 请注意，在执行这些操作之前，确保已经备份了所有重要的数据和配置，以防万一出现意外情况

• 此外，如果你在生产环境中操作，请务必先在测试环境中验证所有步骤，以确保操作的正确性和安全性

后续处理

• 执行后，发现那个节点的 STATUS 是：NotReady,SchedulingDisabled

• 如果在执行 kubectl cordon 和 kubectl drain 命令后，节点的状态变为 NotReady,SchedulingDisabled

• 这通常意味着节点已经被标记为不可调度（SchedulingDisabled）

• 但尚未成功将所有Pod驱逐到其他节点或节点本身存在某些问题导致它无法进入Ready状态

• 以下是你可以尝试的几个步骤来解决这个问题：

1 ） 检查Pod驱逐状态

• 使用 $ kubectl get pods --all-namespaces -o wide 命令查看所有Pod的状态和它们所在的节点
• 确保所有原本在该节点上的Pod都已经被成功驱逐到其他节点。

2 ) 检查节点事件

• 使用 $ kubectl describe node <node-name> 命令来查看节点的详细信息
• 特别是 Events 部分，看看是否有关于该节点为何变成 NotReady 的信息。

3 ) 检查节点日志

• 如果可能的话，登录到该节点上，检查kubelet和其他相关组件的日志，了解为什么节点不能进入Ready状态
• 在节点上运行如 $ journalctl -u kubelet 的命令可以查看 kubelet 的日志

4 ) 检查网络问题

• 确保节点与Kubernetes集群的其他部分（如API服务器）之间的网络连接是正常的
• 网络问题可能是导致节点无法就绪的常见原因。

5 ) 检查资源使用情况

• 使用 $ kubectl top nodes 和 kubectl top pods --all-namespaces 命令来检查节点的资源使用情况
• 包括CPU、内存和磁盘空间。确保节点没有资源耗尽的情况。

6 ) 尝试重启kubelet

• 有时候，简单地重启kubelet服务可以让节点恢复到正常状态
• 使用适用于你系统的相应命令来重启kubelet（如 $ systemctl restart kubelet）

7 ) 检查节点硬件和配置：

• 如果上述步骤都没有解决问题，可能需要检查节点的硬件状态
• 如磁盘、内存、CPU等配置，以确定是否存在硬件故障或配置错误

8 ) 手动移除节点

• 如果节点确实无法恢复，并且你确定要从集群中移除它
• 你可以使用 $ kubectl delete node <node-name> 命令来手动从集群中移除节点
• 但是，请注意，这不会从云提供商处删除实际的虚拟机实例；你需要手动完成这一步骤（如果适用）

特别注意

• 在进行任何操作之前，请确保你已经备份了所有重要的数据和配置，以防万一出现数据丢失或配置错误
• 此外，如果你在生产环境中操作，请务必先在测试环境中验证所有步骤