【K8s集群离线安装-kubeadm】

1、kubeadm概述

 kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。这个工具能通过两条指令快速完成一个kubernetes集群的部署。

2、环境准备

2.1 软件环境

软件	版本
操作系统	CentOS 7
Docker	19.03.13
K8s	1.23

2.2 服务器

 最小硬件配置：2核CPU、2G内存、20G硬盘。

名称	IP
master	192.168.18.134
node1	192.168.18.135
node2	192.168.18.136

master节点需要至少2个CPU，不然kubeadm init时会报错：

error execution phase preflight: [preflight] Some fatal errors occurred:[ERROR NumCPU]: the number of available CPUs 1 is less than the required 2

2.3 关闭防火墙

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld

2.4 关闭selinux

# 重启生效，永久
[root@localhost ~]# sed -i s/SELINUX=enforcing/SELINUX=disabled/g /etc/selinux/config
# 立即生效，临时
[root@localhost ~]# setenforce 0
# 查看selinux的状态
[root@localhost ~]# getenforce
Disabled

2.5 关闭Swp

# 重启生效，永久
[root@localhost ~]# vi /etc/fstab
...
# 找到并注释下面这行（这一行定义了 swap 分区，并在启动时进行挂载。）
# /dev/mapper/centos-swap swap                    swap    defaults        0 0
...# 立即生效，临时
[root@localhost ~]# swapoff -a	# 查看一下Swap已经全部为0了
[root@localhost ~]# free -mtotal        used        free      shared  buff/cache   available
Mem:           2117         253        1351           9         512        1704
Swap:             0           0           0

如果没有关闭swp，kubeadm init 初始化会报错：

[kubelet-check] It seems like the kubelet isn't running or healthy.
[kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get "http://localhost:10248/healthz": dial tcp [::1]:10248: connect: connection refused.# systemctl status kubelet# journalctl -xeu kubelet
..."Failed to run kubelet" err="failed to run Kubelet: running with swap on is not sup

2.6 设置hosts

在master添加hosts

cat >> /etc/hosts <<EOF
192.168.18.134   master
192.168.18.135   node1
192.168.18.136   node2
EOF

3、安装Docker

3.1 下载docker软件包【联网节点】

 找一台可以联网的机器上下载安装所需的软件。

 资源下载：【docker软件包】

# 配置docker-ce源
wget -P /etc/yum.repos.d/ https://download.docker.com/linux/centos/docker-ce.repo# 查看docker所有版本
yum list docker-ce --showduplicates# 选择安装docker 19.03.13
# docker及其依赖下载到~/dockerPackges文件夹中
yum install --downloadonly --downloaddir ~/dockerPackges docker-ce-19.03.13 docker-ce-cli-19.03.13

3.2 安装docker

 在master及node节点创建~/k8s/docker目录，把下载好的docker软件包上传到各节点的此目录。

cd ~/k8s/docker
# 安装
yum install ./*.rpm

3.3 启动docker

# 启动docker
systemctl start docker
# 设置开机启动
systemctl enable docker# 查看docker服务信息
docker info

4、安装k8s组件【所有节点】

• kubeadm：是一个工具，它可以初始化集群、引导新的节点加入集群等。
• kubelet：是运行在集群中所有节点上的代理。它确保容器都在运行状态。
• kubectl：是 Kubernetes 的命令行工具。可以使用它来管理 Kubernetes 集群。

kubeadm 和 kubelet 应该在每个节点上都安装，而 kubectl 通常只安装在你打算执行管理命令的机器上。

4.1 下载k8s组件【联网节点】

 需要安装组件： kubeadm、kubelet、kubectl ，版本要一致。在可以连外网的机器上下载组件，同上面docker。

 资源下载：【k8s相关组件】

# 添加kubernetes yum源
cat > /etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes Repo
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
enabled=1
EOF# k8s组件及其依赖下载到~/k8sPackges文件夹中
yum install --downloadonly --downloaddir ~/k8sPackges kubelet-1.23.0 kubeadm-1.23.0 kubectl-1.23.0

4.2 安装组件

 在所有节点创建~/k8s/kubernetes目录，把下载好的k8s组件软件包上传到各节点的此目录。

cd ~/k8s/kubernetes
# 安装
yum install ./*.rpm

4.3 设置开机启动

 设置kubelet的开机启动。暂时不需要启动kubelet，就算启动，也是不能成功的。执行kubeadm命令，会生成一些配置文件 ，这时才会让kubelet启动成功的。

# 先设置kubelet 为自启动
systemctl enable kubelet

5、拉取并导入kubeadm所需镜像

 执行kubeadm时，要用到一些镜像，所以需要提前准备。

 资源下载：【kubeadm依赖镜像】

5.1 查看依赖哪些镜像

#【master节点】
[root@k8s-master ~]# kubeadm config images list
k8s.gcr.io/kube-apiserver:v1.23.0
k8s.gcr.io/kube-controller-manager:v1.23.0
k8s.gcr.io/kube-scheduler:v1.23.0
k8s.gcr.io/kube-proxy:v1.23.0
k8s.gcr.io/pause:3.6
k8s.gcr.io/etcd:3.5.1-0
k8s.gcr.io/coredns/coredns:v1.8.6

在生产环境，是肯定访问不了k8s.gcr.io这个地址的。所以需要使用国内镜像先下载下来。
在一台可以上网的机器上使用docker命令搜索所需的镜像：

# 查找官方仓库中的镜像 【联网节点】# 镜像很多，一般选择 STARS 梳理多的。 
# --filter=stars=N  以指定仅显示收藏数量为 N 以上的镜像
[root@repo yum.repos.d]# docker search kube-apiserver
NAME                                    DESCRIPTION                                     STARS     OFFICIAL   AUTOMATED
aiotceo/kube-apiserver                  end of support, please pull kubestation/kube…   20                   
mirrorgooglecontainers/kube-apiserver                                                   19                   
kubesphere/kube-apiserver                                                               7                   ...
[root@repo yum.repos.d]# docker search kube-controller-manager
...# 整理出 kubeadm 所需镜像列表，后面脚本使用
registry.aliyuncs.com/google_containers/kube-apiserver:v1.23.0
registry.aliyuncs.com/google_containers/kube-controller-manager:v1.23.0
registry.aliyuncs.com/google_containers/kube-scheduler:v1.23.0
registry.aliyuncs.com/google_containers/kube-proxy:v1.23.0
registry.aliyuncs.com/google_containers/pause:3.6
registry.aliyuncs.com/google_containers/etcd:3.5.1-0
registry.aliyuncs.com/google_containers/coredns:v1.8.6

5.2 镜像拉取到本地【联网节点】

# pull
[root@repo ~]# vim pull_images.sh
#!/bin/bash
images=(
registry.aliyuncs.com/google_containers/kube-apiserver:v1.23.0
registry.aliyuncs.com/google_containers/kube-controller-manager:v1.23.0
registry.aliyuncs.com/google_containers/kube-scheduler:v1.23.0
registry.aliyuncs.com/google_containers/kube-proxy:v1.23.0
registry.aliyuncs.com/google_containers/pause:3.6
registry.aliyuncs.com/google_containers/etcd:3.5.1-0
registry.aliyuncs.com/google_containers/coredns:v1.8.6
)
for pullimageName in ${images[@]} ; do
docker pull $pullimageName
done
[root@repo ~]# chmod +x pull_images.sh
[root@repo ~]# ./pull_images.sh
# 查看拉取的镜像
[root@repo ~]# docker images

5.3 导出本地镜像【联网节点】

# save
[root@repo ~]# vim save_images.sh
#!/bin/bash
images=(
registry.aliyuncs.com/google_containers/kube-apiserver:v1.23.0
registry.aliyuncs.com/google_containers/kube-controller-manager:v1.23.0
registry.aliyuncs.com/google_containers/kube-scheduler:v1.23.0
registry.aliyuncs.com/google_containers/kube-proxy:v1.23.0
registry.aliyuncs.com/google_containers/pause:3.6
registry.aliyuncs.com/google_containers/etcd:3.5.1-0
registry.aliyuncs.com/google_containers/coredns:v1.8.6
)for imageName in ${images[@]}; do
key=`echo $imageName | awk -F '\\\/' '{print $3}' | awk -F ':' '{print $1}'`
docker save -o $key.tar $imageName
done
[root@repo ~]# chmod +x save_images.sh
[root@repo ~]# ./save_images.sh
[root@repo ~]# ll
total 755536
-rw------- 1 root root  46967296 Sep  4 02:37 coredns.tar
-rw------- 1 root root 293936128 Sep  4 02:37 etcd.tar
-rw------- 1 root root 136559616 Sep  4 02:36 kube-apiserver.tar
-rw------- 1 root root 126385152 Sep  4 02:37 kube-controller-manager.tar
-rw------- 1 root root 114243584 Sep  4 02:37 kube-proxy.tar
-rw------- 1 root root  54864896 Sep  4 02:37 kube-scheduler.tar
-rw------- 1 root root    692736 Sep  4 02:37 pause.tar

5.4 导入到部署节点【所有节点】

# 将从联网节点导出的镜像上传到集群的各个节点
[root@master ~]# ll
total 755536
-rw------- 1 root root  46967296 Sep  4 02:37 coredns.tar
-rw------- 1 root root 293936128 Sep  4 02:37 etcd.tar
-rw------- 1 root root 136559616 Sep  4 02:36 kube-apiserver.tar
-rw------- 1 root root 126385152 Sep  4 02:37 kube-controller-manager.tar
-rw------- 1 root root 114243584 Sep  4 02:37 kube-proxy.tar
-rw------- 1 root root  54864896 Sep  4 02:37 kube-scheduler.tar
-rw------- 1 root root    692736 Sep  4 02:37 pause.tar# load
# 编写 load 脚本：
[root@master ~]# vim load_images.sh
#!/bin/bash
images=(
kube-apiserver
kube-controller-manager
kube-scheduler
kube-proxy
pause
etcd
coredns
)
for imageName in ${images[@]} ; do
key=.tar
docker load -i $imageName$key
done
[root@master ~]# chmod +x load_images.sh
[root@master ~]# ./load_images.sh
[root@master ~]# docker images
REPOSITORY                                                        TAG        IMAGE ID       CREATED         SIZE
registry.aliyuncs.com/google_containers//kube-apiserver            v1.23.0   9ca5fafbe8dc   2 weeks ago     135MB
registry.aliyuncs.com/google_containers//kube-proxy                v1.23.0   71b9bf9750e1   2 weeks ago     112MB
registry.aliyuncs.com/google_containers//kube-controller-manager   v1.23.0   91a4a0d5de4e   2 weeks ago     125MB
registry.aliyuncs.com/google_containers//kube-scheduler            v1.23.0   d5c0efb802d9   2 weeks ago     53.5MB
registry.aliyuncs.com/google_containers//etcd                      3.5.1-0    25f8c7f3da61   10 months ago   293MB
registry.aliyuncs.com/google_containers//coredns                   v1.8.6     a4ca41631cc7   11 months ago   46.8MB
registry.aliyuncs.com/google_containers//pause                     3.6        6270bb605e12   12 months ago   683kB

6、初始化Master节点【master执行】

6.1 kubeadm初始化

[root@master ~]# kubeadm init \--apiserver-advertise-address=192.168.18.134 \--image-repository registry.aliyuncs.com/google_containers \--kubernetes-version v1.23.0 \--service-cidr=10.96.0.0/12 \--pod-network-cidr=10.244.0.0/16 

–image-repository：镜像仓库，离线安装需要把相关镜像先拉取下来
–apiserver-advertise-address：集群通告地址
–image-repository：由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定镜像仓库地址
–kubernetes-version：K8s版本，与上面安装的一致
–service-cidr：集群内部虚拟网络，Pod统一访问入口
–pod-network-cidr：Pod网络，与下面部署的CNI网络组件yaml中保持一致

 初始化完成之后，会输出一个kubeadm join信息，先保存下来。node节点加入master会使用。

Your Kubernetes control-plane has initialized successfully!To start using your cluster, you need to run the following as a regular user:
# 稍后执行mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/configAlternatively, if you are the root user, you can run:export KUBECONFIG=/etc/kubernetes/admin.confYou should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:https://kubernetes.io/docs/concepts/cluster-administration/addons/Then you can join any number of worker nodes by running the following on each as root:
# 记录下来，用于向集群添加节点（有效期24小时）
kubeadm join 192.168.18.134:6443 --token 6m4wt4.y90169m53e6nen8d \--discovery-token-ca-cert-hash sha256:0ea734ba54d630659ed78463d0f38fc6c407fabe9c8a0d41913b626160981402 

6.2、拷贝k8s认证文件

[root@master ~]# mkdir -p $HOME/.kube
[root@master ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master ~]# chown $(id -u):$(id -g) $HOME/.kube/config

6.3 查看节点信息

[root@master ~]# kubectl get nodes
NAME     STATUS     ROLES                  AGE     VERSION
master   NotReady   control-plane,master   6m46s   v1.23.0# 由于网络插件还没有部署，还没有准备就绪 NotReady。

7、往集群加入node节点【node节点】

7.1 创建token

 默认token有效期为24小时。token过期后，就需要重新创建token，可以直接使用命令快捷生成。

# 在master节点重新生成 Join Token，然后复制生成的内容，到从节点，执行下
[root@master ~]# kubeadm token create --print-join-command
kubeadm join 192.168.18.134:6443 --token h9g5rn.y07uajj3d9r3v5hh     --discovery-token-ca-cert-hash sha256:cfb734386ee0d27d4864900648c3eaf0e2f84b1e9f98d04b483ad9e702653c9e

7.2 向集群添加新节点

 执行在 kubeadm init 输出的kubeadm join命令。

[root@node1 ~]# kubeadm join 192.168.18.134:6443 --token 8y4nd8.ww9f2npklyebtjqp \--discovery-token-ca-cert-hash sha256:c5f01fe144020785cb82b53bcda3b64c2fb8d955af3ca863b8c31d9980c32023[preflight] Running pre-flight checks
[preflight] Reading configuration from the cluster...
[preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'
[kubelet-start] Downloading configuration for the kubelet from the "kubelet-config-1.15" ConfigMap in the kube-system namespace
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Activating the kubelet service
[kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap...This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.Run 'kubectl get nodes' on the control-plane to see this node join the cluster.

7.3 查看节点信息

[root@master ~]# kubectl get nodes
NAME        STATUS     ROLES                  AGE   VERSION
node1   	NotReady   <none>                 47s   v1.23.0
node2   	NotReady   <none>                 8s    v1.23.0
master      NotReady   control-plane,master   10m   v1.23.0# 由于网络插件还没有部署，还没有准备就绪 NotReady。

8、安装Network插件

 网络插件是必要部件，常用的有Flannel、Calico等。云厂商一般是结合VPC有自己的一套实现。

 注意，安装一种网络插件即可。本文使用了 Flannel。

8.1 Flannel插件

 Flannel：是一个流行的CNI插件，它使用虚拟网络覆盖技术（overlay network）来连接不同节点上的容器。Flannel支持多种后端驱动，如VXLAN、UDP、Host-GW等。

 资源下载：【flannel插件】

8.1.1 查看安装方法

 查看flannel的官网https://github.com/coreos/flannel，找到安装方法。

kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml

8.1.2 下载yml文件

在有网络的机器上下载kube-flannel.yml文件。

直接浏览器访问下载：https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml

或者联网服务器：

[root@repo ~]# wget https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml

把下载好的kube-flannel.yml文件上传到k8s集群的master节点上。

8.1.3 下载镜像

# 查看需要哪些镜像【master节点】
[root@master ~]# cat kube-flannel.yml | grep imageimage: docker.io/flannel/flannel:v0.23.0image: docker.io/flannel/flannel-cni-plugin:v1.2.0# pull：拉取镜像【联网节点】
docker pull docker.io/flannel/flannel:v0.23.0
docker pull docker.io/flannel/flannel-cni-plugin:v1.2.0# save：导出镜像【联网节点】
docker save -o flannel_v0.23.0.tar flannel/flannel:v0.23.0
docker save -o flannel-cni-plugin_v1.2.0.tar flannel/flannel-cni-plugin:v1.2.0

8.1.4 导入镜像【所有节点】

把导出的镜像上传到集群节点

# load：集群各节点导入镜像
docker load -i flannel_v0.23.0.tar
docker load -i flannel-cni-plugin_v1.2.0.tar

8.1.5 安装flannel【Master节点】

[root@master ~]# kubectl apply -f kube-flannel.yml
namespace/kube-flannel created
serviceaccount/flannel created
clusterrole.rbac.authorization.k8s.io/flannel created
clusterrolebinding.rbac.authorization.k8s.io/flannel created
configmap/kube-flannel-cfg created
daemonset.apps/kube-flannel-ds created# 查看节点信息
[root@master ~]# kubectl get node
NAME     STATUS   ROLES    AGE     VERSION
master   Ready    master   5h46m   v1.23.0
node1    Ready    <none>   5h41m   v1.23.0
node2    Ready    <none>   5h38m   v1.23.0
# 网络插件部署后，状态变为：Ready# 查看pod
[root@master ~]# kubectl get pods -n kube-system

8.2 Calico 插件(可选)

 如果之前安装了Flannel插件的话，不用继续安装Calico。

 Calico：是一个开源的网络和安全解决方案，它使用BGP协议来实现容器之间的路由。Calico支持灵活的网络策略和安全规则，可用于大规模部署。

 资源下载：【calico插件及依赖】

8.2.1 下载镜像

# pull：拉取镜像【联网节点】
[root@repo ~]# vim pull_calico_images.sh
#!/bin/bash
images=(
docker.io/calico/cni:v3.22.1
docker.io/calico/pod2daemon-flexvol:v3.22.1
docker.io/calico/node:v3.22.1
docker.io/calico/kube-controllers:v3.22.1
)
for pullimageName in ${images[@]} ; do
docker pull $pullimageName
done
[root@repo ~]# chmod +x pull_calico_images.sh
[root@repo ~]# ./pull_calico_images.sh# save：导出镜像【联网节点】
[root@repo ~]# vim save_calico_images.sh
#!/bin/bash
images=(
docker.io/calico/cni:v3.22.1
docker.io/calico/pod2daemon-flexvol:v3.22.1
docker.io/calico/node:v3.22.1
docker.io/calico/kube-controllers:v3.22.1
)
for imageName in ${images[@]}; do
key=`echo $imageName | awk -F '\\\/' '{print $3}' | awk -F ':' '{print $1}'`
docker save -o $key.tar $imageName
done
[root@repo ~]# chmod +x save_calico_images.sh
[root@repo ~]# ./save_calico_images.sh

8.2.2 导入镜像【所有节点】

 将从联网节点导出的镜像上传到集群的各个节点。

[root@master ~]# vim load_calico_images.sh #!/bin/bash
images=(
cni
kube-controllers
node
pod2daemon-flexvol
)
for imageName in ${images[@]} ; do
key=.tar
docker load -i $imageName$key
done
[root@master ~]# chmod +x load_calico_images.sh
[root@master ~]# ./load_calico_images.sh

8.2.3 下载calico.yaml文件【联网节点】

[root@repo ~]# wget --no-check-certificate https://docs.projectcalico.org/manifests/calico.yaml

把下载好的 calico.yaml 文件上传到k8s集群的master节点上。

8.2.4 编辑calico.yaml【master节点】

# 查看pod网段
[root@master ~]# cat /etc/kubernetes/manifests/kube-controller-manager.yaml | grep "cluster-cidr="- --cluster-cidr=10.244.0.0/16

 1、把calico.yaml里pod所在网段更新为kubeadm init时选项--pod-network-cidr所指定的网段。

 2、指定网卡。

[root@master ~]# vim calico.yaml# 找到下面的内容进行修改# no effect. This should fall within `--cluster-cidr`.- name: CALICO_IPV4POOL_CIDR	# 去掉注释value: "10.244.0.0/16"		# 去掉注释，更新地址# Disable file logging so `kubectl logs` works.- name: CALICO_DISABLE_FILE_LOGGINGvalue: "true"# 指定网卡，不然创建pod时会有报错 # 找到这里- name: CLUSTER_TYPEvalue: "k8s,bgp"# 在下面添加- name: IP_AUTODETECTION_METHODvalue: "interface=ens33"	# ens33为本地网卡名

没有指定网卡，创建 pod 会有报错：

报错信息 network: error getting ClusterInformation: connection is unauthorized: Unauthorized

8.2.5 安装 Calico【Master节点】

[root@master ~]# kubectl apply -f calico.yaml
# 查看节点信息
[root@master ~]# kubectl get node
# 查看pod
[root@master ~]# kubectl get pods -n kube-system

9、部署nginx服务【验证】

# 1.创建namespace.yaml文件
[root@k8s-master1 ~]# vi nginx-namespase.yaml
apiVersion: v1 #类型为Namespace
kind: Namespace  #类型为Namespace
metadata:name: ssx-nginx-ns  #命名空间名称labels:name: lb-ssx-nginx-ns# 然后应用到k8s中:
[root@master ~]# kubectl create -f nginx-namespase.yaml 
namespace/ssx-nginx-ns created# 2.创建nginx-deployment.yaml文件
vi nginx-deployment.yaml[root@k8s-master1 ~]# vi nginx-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:labels:app: nginx #为该Deployment设置key为app，value为nginx的标签name: ssx-nginx-dmnamespace: ssx-nginx-ns
spec:replicas: 2 #副本数量selector: #标签选择器，与上面的标签共同作用matchLabels: #选择包含标签app:nginx的资源app: nginxtemplate: #这是选择或创建的Pod的模板metadata: #Pod的元数据labels: #Pod的标签，上面的selector即选择包含标签app:nginx的Podapp: nginxspec: #期望Pod实现的功能（即在pod中部署）containers: #生成container，与docker中的container是同一种- name: ssx-nginx-cimage: nginx:latest #使用镜像nginx: 创建container，该container默认80端口可访问ports:- containerPort: 80  # 开启本容器的80端口可访问volumeMounts:  #挂载持久存储卷- name: volume #挂载设备的名字，与volumes[*].name 需要对应 mountPath: /usr/share/nginx/html #挂载到容器的某个路径下  volumes:- name: volume #和上面保持一致 这是本地的文件路径，上面是容器内部的路径hostPath:path: /opt/web/dist #此路径需要实现创建[root@master ~]# kubectl create -f nginx-deployment.yaml# 3.创建service.yaml文件        
[root@k8s-master1 ~]# vi nginx-service.yaml 
apiVersion: v1
kind: Service
metadata:labels:app: nginxname: ssx-nginx-svnamespace: ssx-nginx-ns
spec:ports:- port: 80 #写nginx本身端口name: ssx-nginx-lastprotocol: TCPtargetPort: 80 # 容器nginx对外开放的端口 上面的dm已经指定了nodePort: 31090 #外网访问的端口selector:app: nginx    #选择包含标签app:nginx的资源type: NodePortkubectl create -f ./nginx-service.yaml[root@master ~]# kubectl get pods,svc -n ssx-nginx-ns -owide
NAME                               READY   STATUS    RESTARTS   AGE   IP               NODE        NOMINATED NODE   READINESS GATES
pod/ssx-nginx-dm-686cdf7d5-72hhv   1/1     Running   0          98s   10.244.169.135   k8s-node2   <none>           <none>
pod/ssx-nginx-dm-686cdf7d5-qppqc   1/1     Running   0          98s   10.244.36.87     k8s-node1   <none>           <none>NAME                   TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE   SELECTOR
service/ssx-nginx-sv   NodePort   10.110.26.245   <none>        80:31090/TCP   46s   app=nginx# 测试nginx
[root@master ~]# curl 192.168.32.129:31090
<h1>This is 192.168.32.129</h1>

Pod状态解释

状态码	说明
CrashLoopBackOff	容器退出，kubelet正在将它重启
InvalidImageName	无法解析镜像名称
ImageInspectError	无法校验镜像
ErrImageNeverPul	策略禁止拉取镜像
ImagePullBackOff	正在重试拉取
RegistryUnavailable	连接不到镜像中心
ErrImagePull	通用的拉取镜像出错
CreateContainerConfigError	不能创建kubelet使用的容器配置
CreateContainerError	创建容器失败
m.internalLifecycle.PreStartContainer	执行hook报错
RunContainerError	启动容器失败
PostStartHookError	执行hook报错
ContainersNotInitialized	容器没有初始化完毕
ContainersNotReady	容器没有准备完毕
ContainerCreating	容器创建中
PodInitializing	pod 初始化中
DockerDaemonNotReady	docker还没有完全启动
NetworkPluginNotReady	网络插件还没有完全启动
Evicted	即驱赶的意思，意思是当节点出现异常时，kubernetes将有相应的机制驱赶该节点上的Pod。 多见于资源不足时导致的驱赶。

FAQ

kubeadm init 初始化报错

报错1：[ERROR Port-6443]

error execution phase preflight: [preflight] Some fatal errors occurred:[ERROR Port-6443]: Port 6443 is in use[ERROR Port-10259]: Port 10259 is in use[ERROR Port-10257]: Port 10257 is in use...

解决：

# 重启kubeadm
[root@k8s-master ~]# kubeadm reset

报错2：

It seems like the kubelet isn’t running or healthy

[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"
[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
[kubelet-check] Initial timeout of 40s passed.
[kubelet-check] It seems like the kubelet isn't running or healthy.
[kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get "http://localhost:10248/healthz": dial tcp [::1]:10248: connect: connection refused.
[kubelet-check] It seems like the kubelet isn't running or healthy.
[kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get "http://localhost:10248/healthz": dial tcp [::1]:10248: connect: connection refused.

[WARNING IsDockerSystemdCheck]

[WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/

解决：

 以上两个报错，是因为Docker的Cgroup Driver驱动程序为cgroupfs。

 使用K8S / Kubernetes时，默认情况下Kubernetes cgroup为systemd，所以需要将Cgroup Driver设置为systemd。

# 查看docker的 Cgroup Driver
[root@k8s-master ~]# docker info | grep -E "Cgroup Driver"
Cgroup Driver: cgroupfs# 将Cgroup Driver设置为 systemd
[root@k8s-master ~]# vim /etc/docker/daemon.json
{"exec-opts": ["native.cgroupdriver=systemd"]
}# 重启docker
[root@k8s-master ~]# systemctl restart docker# 查看docker的 Cgroup Driver
[root@k8s-master ~]# docker info | grep -E "Cgroup Driver"
Cgroup Driver: systemd# 重置kubeadm即可
[root@k8s-master ~]# kubeadm reset