部署 K8s 集群

1 .部署k8s的两种方式

目前生产部署Kubernetes集群主要有两种方式：

kubeadm

Kubeadm是一个K8s部署工具，提供kubeadm init和kubeadm join，用于快速部署Kubernetes集群。

二进制包

从github下载发行版的二进制包，手动部署每个组件，组成Kubernetes集群。

本实验采用kubeadm的方式搭建集群。

2.部署环境

NAME	IP	OS-IMAGE	VERSION	DOCKER VERSION	CALICO VERSION
master	192.168.0.220	el7.x86_64	v1.23.0	23.0.1	v3.9.0
node01	192.168.0.6	el7.x86_64	v1.23.0	23.0.1	v3.9.0

3.初始化配置

• 修改主机名

• 修改 hosts 文件

• 关闭防火墙

• 关闭selinux

sed -i 's/enforcing/disabled/' /etc/selinux/config      # 永久
setenforce 0                                            # 临时

• 关闭 swap分区，然后重启

swapoff -a                             # 临时
sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久

• 同步各节点时间

#安装ntpdate
yum -y install ntpdate
运行命令：crontab -l
添加：0 */1 * * * ntpdate time1.aliyun.com

• 添加网桥过滤

cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1 
net.bridge.bridge-nf-call-iptables = 1 
net.ipv4.ip_forward = 1 
vm.swappiness = 0
EOF

• 加载br_netfilter模块

modprobe br_netfilter
#查看
lsmod | grep br_netfilter

• 加载网桥过滤配置文件

sysctl -p /etc/sysctl.d/k8s.conf

• 开启 ipvs

#安装ipset及ipvsadm
yum -y install ipset ipvsadm
#创建sysconfig/modules文件夹
mkdir -p /etc/sysconfig/modules/
#操作如下命令
cat >>/etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF#授权、运行、检查是否加载
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

4.部署 Kubernetes 集群

• 安装 Docker、kubeadm、kubelet【所有节点】

安装docker:

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
yum -y install docker-ce
systemctl enable docker && systemctl start docke

配置镜像下载加速器：

vim /etc/docker/daemon.json
{"registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"],"exec-opts": ["native.cgroupdriver=systemd"]
}systemctl restart docker
docker info              #查看docker信息，进行确认

添加阿里云软件源：

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装kubeadm、kubelet、kubectl：

yum install -y kubelet-1.23.0 kubeadm-1.23.0 kubectl-1.23.0
systemctl enable kubelet

仅设置kubelet开机启动(后续集群初始化会开启kubelet)

#查看kubelet状态
systemctl status kubelet
#设置kubelet开机启动
systemctl enable kubelet

查看k8s集群所需的镜像并进行提前下载

kubeadm config images list

• 部署k8s-master【master执行】

kubeadm部署

kubeadm init \--apiserver-advertise-address=192.168.0.220 \--image-repository registry.aliyuncs.com/google_containers \--kubernetes-version v1.23.0 \--service-cidr=10.96.0.0/12 \--pod-network-cidr=10.244.0.0/16 \--ignore-preflight-errors=all

注：--apiserver-advertise-address 集群通告地址

--image-repository 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址

--kubernetes-version K8s版本，与上面安装的一致

--service-cidr 集群内部虚拟网络，Pod统一访问入口

--pod-network-cidr Pod网络，与下面部署的CNI网络组件yaml中保持一致

复制上面输出的 kubeadm join 命令

kubeadm join 192.168.0.220:6443 --token v4cfxg.nopu749nz57alzwo \--discovery-token-ca-cert-hash sha256:56ab22922d19aa6e77b7b046fa82ad1b8a3ed90323ab9e5eacae1008b2a9deb4

拷贝k8s认证文件

mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

查看工作节点：

kubectl get nodes

注：由于网络插件还没有部署，还没有准备就绪 NotReady，继续操作。

• 安装网络插件 Calico【master执行】

下载网络插件calico.yaml文件并执行：

wget https://docs.projectcalico.org/v3.23/manifests/calico.yaml
vim calico.yaml
- name: CALICO_IPV4POOL_CIDRvalue: "10.244.0.0/16"     #与前面kubeadm init的 --pod-network-cidr指定的一样
- name: IP_AUTODETECTION_METHODvalue: "interface=eth0"   #IP 220那个网卡kubectl apply -f calico.yaml

注：

问题：alico/node is not ready: BIRD is not ready: BGP not established with 192.168.0.220

原因是master节点网卡比较多，calico选择了错误的网卡，

修改calico.yaml，指定正确的网卡名称即可。

ifconfig 220地址所在eth0

增加在env中增加：

– name: IP_AUTODETECTION_METHOD

value: "interface=eth0"

kubectl get pods -n kube-system

等Calico Pod都Running后，节点也会准备就绪

kubectl describe  pods calico-node-dghzw -n kube-system

切记： 在docker的daemon.json文件中增加： "exec-opts": ["native.cgroupdriver=systemd"]

验证master节点安装是否正常

#查看每个容器运行状态(仅且显示STATUS:Running 、 READY:1/1 状态，表示集群安装成功)
kubectl get pod -n kube-system
#通过如下命令定位问题(一般情况为镜像拉取失败)
kubectl describe pod 容器名 -n kube-system 或 kubectl logs 容器名 -n kube-system

• 配置k8s的node节点【node节点操作】

向集群添加新节点，执行在kubeadm init输出的kubeadm join命令

kubeadm join 192.168.0.220:6443 --token v4cfxg.nopu749nz57alzwo \--discovery-token-ca-cert-hash sha256:56ab22922d19aa6e77b7b046fa82ad1b8a3ed90323ab9e5eacae1008b2a9deb4

默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token，可以直接使用命令快捷生成：

kubeadm token create --print-join-command

5、部署Dashboard

Dashboard是官方提供的一个UI，可用于基本管理K8s资源。

YAML下载地址：

https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml

默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：

kind: Service
apiVersion: v1
metadata:labels:k8s-app: kubernetes-dashboardname: kubernetes-dashboardnamespace: kubernetes-dashboard
spec:ports:- port: 443targetPort: 8443nodePort: 30001    --增加selector:k8s-app: kubernetes-dashboardtype: NodePort         --增加

执行：

kubectl apply -f recommended.yaml
kubectl get pods -n kubernetes-dashboard

访问地址：https://NodeIP:30001

需要token，为此需要创建service account并绑定默认cluster-admin管理员集群角色：

 # 创建用户
kubectl create serviceaccount dashboard-admin -n kube-system
# 用户授权
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
# 获取用户Token
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

使用输出的token登录Dashboard。

6.验证整个集群是否安装成功【master】

#查看集群节点以及节点状态是否就绪，Ready为就绪
kubectl get node
#查看每个容器运行状态(仅且显示STATUS:Running 、 READY:1/1 状态，表示容器正常运行，当所有容器正常运行时节点转为就绪状态)
kubectl get pod -n kube-system -owide
#通过如下命令定位问题(一般情况为镜像拉取失败)
kubectl describe pod 容器名 -n kube-system
或 kubectl logs 容器名 -n kube-system