安装部署k8s集群

系统： CentOS Linux release 7.9.2009 (Core)

• 准备3台主机

192.168.44.148	k8s-master
92.168.44.154	k8s-worker01
192.168.44.155	k8s-worker02

• 3台主机准备工作
  关闭防火墙和selinux

    systemctl disable firewalld --nowsetenforce 0sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
  

  关闭swap分区（swap分区会降低性能，所以选择关闭）
  参考如下链接：

    https://blog.csdn.net/dejunyang/article/details/97972399
  

  设置node的主机名，并配置/etc/hosts（这样可以方面看到pod调度到哪个node上面）
  对应的node配置对应的主机名

    hostnamectl set-hostname k8s-masterhostnamectl set-hostname k8s-worker01hostnamectl set-hostname k8s-worker02
  

  每台node主机都需要执行

    cat >> /etc/hosts << EOF 192.168.44.148  k8s-master192.168.44.154  k8s-worker01192.168.44.155  k8s-worker02EOF
  

• 开始安装k8s

1. 配置yum源（3台主机都需要操作，使用阿里云yum仓库）

   cat >  /etc/yum.repos.d/kubernetes.repo << EOF
   [kubernetes]
   name=Kubernetes
   baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
   enabled=1
   gpgcheck=0
   repo_gpgcheck=0
   gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpghttp://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
   EOF
   

2. 安装 kuberneters组件（所有节点安装）

   yum -y install kubeadm-1.19.0 kubectl-1.19.0 kubelet-1.19.0 --disableexcludes=kubernetes
   

• --disableexcludes=Kubernetes 禁掉除了这个kubernetes之外的别的仓库
• 这里安装的是指定版本，不指定版本默认安装最新版本

3. kubelet服务，启动并设置开启自启(所有node执行)

   systemctl enable kubelet --now
   

4. 所有节点安装docker

   yum install -y yum-utils
   yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
   yum -y install docker-ce-19.03.10-3.el7 docker-ce-cli-19.03.10-3.el7 containerd.io docker-compose-plugin
   

   note： K8s使用的是1.19.0版本，官网推荐docker 版本 19.03

   启动，并自启docker

   systemctl enable docker --now
   

   Docker配置镜像仓库，并修改cgroup驱动为systemd（所有node节点执行）

   Cgroups概念　 cgroups 的全称是 Linux Control Groups，主要作用是限制、记录和隔离进程组（process
   groups）使用的物理资源（cpu、memory、IO 等）。

   systemd是系统自带的cgroup管理器, 系统初始化就存在的, 和cgroups联系紧密,为每一个进程分配cgroups,
   用它管理就行了. 如果设置成cgroupfs就存在2个cgroup控制管理器, 实验证明在资源有压力的情况下,会存在不稳定的情况。

   由于 kubeadm 把 kubelet 视为一个系统服务来管理，所以对基于 kubeadm 的安装kubernetes， 我们推荐使用
   systemd 驱动，不推荐 cgroupfs 驱动。

   cat > /etc/docker/daemon.json << EOF
   {
   "exec-opts": ["native.cgroupdriver=systemd"],
   "registry-mirrors": ["https://l72pvsl6.mirror.aliyuncs.com"],
   "log-opts": {"max-size":"50M","max-file":"3"}
   }
   EOF
   

• "exec-opts": ["native.cgroupdriver=systemd"] 设置cgroup驱动为systemd
• "registry-mirrors": ["https://l72pvsl6.mirror.aliyuncs.com"] 设置docker镜像仓库为阿里云镜像
• "log-opts": {"max-size":"50M","max-file":"3"} 设置docker容器日志最大为50M，最大文件个数为 3

5. 允许 iptables 检查桥接流量
   若要显式加载此模块，请运行 sudo modprobe br_netfilter 通过运行 lsmod | grep br_netfilter 来验证 br_netfilter 模块是否已加载

    sudo modprobe br_netfilterlsmod | grep br_netfilter
   

   为了让 Linux 节点的 iptables 能够正确查看桥接流量，请确认 sysctl 配置中的 net.bridge.bridge-nf-call-iptables 设置为 1。例如：

    cat > /etc/modules-load.d/k8s.conf << EOFoverlaybr_netfilterEOF
   

    modprobe overlaymodprobe br_netfilter
   

   设置所需的 sysctl 参数，参数在重新启动后保持不变

    cat <<EOF | sudo tee /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-iptables  = 1net.bridge.bridge-nf-call-ip6tables = 1net.ipv4.ip_forward                 = 1EOF
   

   加载sysctl参数（重启也能生效）

    sysctl --system
   

6. 修改kubeadm的默认配置

   kubeadm config print init-defaults > init-config.yaml     将kubeadm默认的配置保存在文件中，到时候导入配置文件初始化集群
   

   修改init-config.yaml（只修改几个关键的部分）

   advertiseAddress: 192.168.44.148
   imageRepository: registry.aliyuncs.com/google_containers
   networking:dnsDomain: cluster.localserviceSubnet: 10.96.0.0/12podSubnet: 192.168.0.0/16 
   

   note：

• advertiseAddress master 与集群通信的ip

• imageRepository: registry.aliyuncs.com/google_containers 镜像仓库地址

• networking 下面只添加了 podSubnet: 192.168.0.0/16 这个参数，其他都是默认；待会要修改CNI文件子网范围和这个一致

  查看需要拉取的镜像

  kubeadm config images list --config=init-config.yaml
  

  拉取镜像

  kubeadm config images pull --config=init-config.yaml
  

7. 运行kubeadm init 命令安装master 节点

   kubeadm init --config=init-config.yaml
   

note： 可以忽略如下信息

W0131 16:57:45.102290 3727 configset.go:348] WARNING: kubeadmcannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]

Your Kubernetes control-plane has initialized successfully! 代表控制平面初始化成功

8. 为kubectl 配置证书才能访问master
   非root用户配置：

   mkdir -p $HOME/.kube
   sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
   sudo chown $(id -u):$(id -g) $HOME/.kube/config
   

   root用户配置：

   echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> /etc/profile
   source /etc/profile
   

9. 将节点加入到k8s集群

   当然，当集群已经成功初始化完成都，最下方会打印出加入集群的代码：
   kubeadm join 192.168.44.148:6443 --token abcdef.0123456789abcdef
   –discovery-token-ca-cert-hash sha256:88eb2767faaad801ce07501946b510d20bc180fd20cf35c9aa1822b3b345c2ef

   获取加入node节点的token（master节点执行）

   kubeadm token list
   

   获取 --discovery-token-ca-cert-hash 值

   openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
   

   固定格式是（注意换成自己的token和hash值）：

   kubeadm join 192.168.44.148:6443 --token abcdef.0123456789abcdef --discovery-token-ca-cert-hash sha256:88eb2767faaad801ce07501946b510d20bc180fd20cf35c9aa1822b3b345c2ef
   

   如果token过期了，可以在master节点上运行

   kubeadm token create
   

   打印加入节点的完整命令可以运行

   kubeadm token create --print-join-command
   

   在所有node节点执行 加入集群的token
   根据自己对应的加入集群的token

   kubeadm join 192.168.44.148:6443 --token abcdef.0123456789abcdef --discovery-token-ca-cert-hash sha256:88eb2767faaad801ce07501946b510d20bc180fd20cf35c9aa1822b3b345c2ef
   

   在master节点使用 kubectl get pod -A 查看所有组件是否安装成功，状态是否Runting（需要等待一会）

   kubectl  get pod -A
   

   	NAMESPACE     NAME                                 READY   STATUS    RESTARTS   AGE
   kube-system   coredns-6d56c8448f-hsm4m             0/1     Pending   0          16m
   kube-system   coredns-6d56c8448f-z66pp             0/1     Pending   0          16m
   kube-system   etcd-k8s-master                      1/1     Running   0          16m
   kube-system   kube-apiserver-k8s-master            1/1     Running   0          16m
   kube-system   kube-controller-manager-k8s-master   1/1     Running   0          16m
   kube-system   kube-proxy-447d7                     1/1     Running   0          119s
   kube-system   kube-proxy-9gt2z                     1/1     Running   0          16m
   kube-system   kube-proxy-s9hbb                     1/1     Running   0          114s
   kube-system   kube-scheduler-k8s-master            1/1     Running   0          16m
   

   在master节点使用查看所有节点信息

   kubectl get nodes
   

   	NAME           STATUS     ROLES    AGE     VERSION
   k8s-master     NotReady   master   17m     v1.19.0
   k8s-worker01   NotReady   <none>   2m48s   v1.19.0
   k8s-worker02   NotReady   <none>   2m43s   v1.19.0
   

   note：Node节点状态显示 NotReady 因为 还没有安装 CNI（容器网络接口）

10. 安装Calico CNI网络插件（在master节点执行）
    下载资源文件

    curl -O https://docs.tigera.io/archive/v3.18/manifests/calico.yaml
    

    修改一下pod网段
    

    安装

    kubectl apply -f calico.yaml
    

    等待一会再次查看pod，node详情

    kubectl get nodes,pod -A
    

    	NAME                STATUS   ROLES    AGE   VERSION
    node/k8s-master     Ready    master   36m   v1.19.0
    node/k8s-worker01   Ready    <none>   21m   v1.19.0
    node/k8s-worker02   Ready    <none>   21m   v1.19.0NAMESPACE     NAME                                           READY   STATUS             RESTARTS   AGE
    kube-system   pod/calico-kube-controllers-56c7cdffc6-frc82   0/1     CrashLoopBackOff   6          13m
    kube-system   pod/calico-node-7rxzn                          1/1     Running            0          13m
    kube-system   pod/calico-node-dbjhv                          1/1     Running            0          13m
    kube-system   pod/calico-node-fsw2d                          1/1     Running            0          13m
    kube-system   pod/coredns-6d56c8448f-hsm4m                   0/1     Running            0          36m
    kube-system   pod/coredns-6d56c8448f-z66pp                   0/1     Running            0          36m
    kube-system   pod/etcd-k8s-master                            1/1     Running            0          36m
    kube-system   pod/kube-apiserver-k8s-master                  1/1     Running            0          36m
    kube-system   pod/kube-controller-manager-k8s-master         1/1     Running            0          36m
    kube-system   pod/kube-proxy-447d7                           1/1     Running            0          21m
    kube-system   pod/kube-proxy-9gt2z                           1/1     Running            0          36m
    kube-system   pod/kube-proxy-s9hbb                           1/1     Running            0          21m
    kube-system   pod/kube-scheduler-k8s-master                  1/1     Running            0          36m
    

    目前来看node节点已经就绪了，但是有一个pod报错，2个pod没有准备好，使用kubectl --namespace=kube-system describe pod pod名称 查看pod的事件

    kubectl --namespace=kube-system describe pod calico-kube-controllers-56c7cdffc6-frc82
    

    报错问题能力有限无法处理，部署基本都是这样。组要是版本差异然后不知道怎么处理！！！
    如果知道是什么原因导致的报错，还请不吝赐教。