K8S集群的搭建

参考资料参考视频https://ke.gupaoedu.cn/play/288/5/34854?phaseId6参考资料通过网盘分享的文件02.Kubernetes链接: https://pan.baidu.com/s/1nrYZvlnADhlDF7RarNSbZQ 提取码: m39a概要本文是搭建一个主节点、两个工作节点的K8S集群要求每个节点都安装docker,且CPU最少两核、内存最少2G并且保证3台机器处于同一个网段互相之间可以ping通本文是参考官网的生产环境安装方式有条件的话还是参考官网https://kubernetes.io/zh-cn/docs/setup/production-environment/tools/kubeadm/install-kubeadm/本文使用的版本Docker 18.09.0---kubeadm-1.14.0-0kubelet-1.14.0-0kubectl-1.14.0-0---k8s.gcr.io/kube-apiserver:v1.14.0k8s.gcr.io/kube-controller-manager:v1.14.0k8s.gcr.io/kube-scheduler:v1.14.0k8s.gcr.io/kube-proxy:v1.14.0k8s.gcr.io/pause:3.1k8s.gcr.io/etcd:3.3.10k8s.gcr.io/coredns:1.3.1---calico:v3.9搭建步骤更新yum在每个服务器执行一下命令yum -y update yum install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccompDocker 准备在每个服务器上安装合适的版本参考以下网站的步骤安装docker 版本为18.09.0https://blog.csdn.net/qq_23095607/article/details/153885161?spm1011.2415.3001.5331启动dockersudo systemctl start docker sudo systemctl enable docker查看每个服务器是否启动成功systemctl status docker修改Host文件这里最好先把IP 和 要设置域名的映射 在notepad里面写下192.168.124.134 m 192.168.124.135 w1 192.168.124.136 w2m是maser节点 ,w1是worker-01工作节点1w2是worker-02工作节点21. 修改master服务器设置master的hostname并且修改hosts文件sudo hostnamectl set-hostname m然后编辑host将上面的IP映射添加进去vi /etc/hosts将IP映射添加进去2. 修改worker-01服务器设置worker-01的hostname并且修改hosts文件sudo hostnamectl set-hostname w1然后编辑host将上面的IP映射添加进去vi /etc/hosts将IP映射添加进去3. 修改worker-02服务器设置worker-02的hostname并且修改hosts文件sudo hostnamectl set-hostname w2然后编辑host将上面的IP映射添加进去vi /etc/hosts将IP映射添加进去4. 测试可以使用域名ping一下试一试比如在master节点ping两个worker节点ping w1 ping w2系统基础前提配置在每台服务器上1. 关闭防火墙systemctl stop firewalld systemctl disable firewalld2. 关闭selinuxsetenforce 0 sed -i s/^SELINUXenforcing$/SELINUXpermissive/ /etc/selinux/config3. 关闭swapswapoff -a sed -i /swap/s/^\(.*\)$/#\1/g /etc/fstab4. 配置iptables的ACCEPT规则iptables -F iptables -X iptables -F -t nat iptables -X -t nat iptables -P FORWARD ACCEPT5. 设置系统参数cat EOF /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-ip6tables 1 net.bridge.bridge-nf-call-iptables 1 EOF sysctl --system安装kubeadm, kubelet 和 kubectl在每台服务器下都执行以下步骤1. 配置yum源cat EOF /etc/yum.repos.d/kubernetes.repo [kubernetes] nameKubernetes baseurlhttp://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled1 gpgcheck0 repo_gpgcheck0 gpgkeyhttp://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF2. 安装kubeadm、kubelet、kubectl先卸载一遍sudo yum remove -y kubeadm kubelet kubectl然后安装yum install -y kubelet-1.14.0-0 yum install -y kubeadm-1.14.0-0 yum install -y kubectl-1.14.0-0如果出现了依赖冲突则先安装下依赖使用如下命令安装sudo yum install kubernetes-cni-0.7.5-03. docker和k8s设置同一个cgroupvi /etc/docker/daemon.json添加以下内容注意用逗号,隔开【文件没内容的话就新建有的话就加上这一句注意文件的格式[逗号]】exec-opts: [native.cgroupdriversystemd],然后重新加载systemctl daemon-reload systemctl restart docker4. kubelet设置执行以下命令【找不到内容没关系】sed -i s/cgroup-driversystemd/cgroup-drivercgroupfs/g /etc/systemd/system/kubelet.service.d/10-kubeadm.conf【重启kubelet一定要执行】systemctl enable kubelet systemctl start kubelet下载proxy、pause、scheduler等国内镜像需要通过kubeadm来下载K8S需要组件的镜像1. 查看kubeadm使用的镜像kubeadm config images list可以看到用的都是国外的镜像如果你会科学上网全局模式应该可以直接拉取2. 创建脚本批量从阿里云下载镜像并修改tag在每个节点中执行如下命令vi kubeadm.sh然后将下面内容添加到该文件中set -e KUBE_VERSIONv1.14.0 KUBE_PAUSE_VERSION3.1 ETCD_VERSION3.3.10 CORE_DNS_VERSION1.3.1 GCR_URLk8s.gcr.io ALIYUN_URLregistry.cn-hangzhou.aliyuncs.com/google_containers images(kube-proxy:${KUBE_VERSION} kube-scheduler:${KUBE_VERSION} kube-controller-manager:${KUBE_VERSION} kube-apiserver:${KUBE_VERSION} pause:${KUBE_PAUSE_VERSION} etcd:${ETCD_VERSION} coredns:${CORE_DNS_VERSION}) for imageName in ${images[]} ; do docker pull $ALIYUN_URL/$imageName docker tag $ALIYUN_URL/$imageName $GCR_URL/$imageName docker rmi $ALIYUN_URL/$imageName done然后执行运行脚本注意只在主节点执行sh ./kubeadm.sh然后在每个节点中查看下载的镜像docker images下面将部署K8S所需要的插件初始化主节点在初始化前一定要检查每台服务器kubelet 的版本是否一致kubelet --version选用一台服务器作为主节点执行下面命令需要替换下面的kubernetes版本信息以及IP为主节点IPkubeadm init --kubernetes-version1.14.0 --apiserver-advertise-address192.168.124.138 --pod-network-cidr10.244.0.0/16【若要重新初始化集群状态kubeadm reset然后再进行上述操作】【期间可能会有版本冲突那就卸载了重新安装一下对应的版本】保存好最后kubeadm join等信息在successfully后日志会提示我们后续的操作并生成两个token记得保存比如在本地创建个文件保存保存到本地文件中然后按照上面的提示执行命令mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config1. 在主节点初始化成功后可以通过语句查看已经初始化好的K8S插件在主节点中执行查看初始化好的插件kubectl get pods -n kube-system可以看到除了两个DNS没有运行其他的都运行了还可以运行下健康检查curl -k https://localhost:6443/healthz2. 安装DNS网络插件在主节点 可以在该网址下选择需要安装的网络插件https://kubernetes.io/zh-cn/docs/concepts/cluster-administration/addons/这里我们选择Calico 插件首先将安装Calico所需的yml文件下载下来sudo yum install -y wget wget https://docs.projectcalico.org/v3.9/manifests/calico.yaml这个yml文件中有很多镜像如果不是香港、海外服务器需要提前拉取到主节点中cat calico.yaml|grep image可以参考本人的方案进行拉取这里使用的是方案中的是阿里云仓库工作流下载的需要的可以直接拉取我阿里云仓库的# 拉取 docker pull crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-kube-controllers-v3.9.6 docker pull crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-cni-v3.9.6 docker pull crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-pod2daemon-flexvol-v3.9.6 docker pull crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-node-v3.9.6 # 改名 docker tag crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-node-v3.9.6 calico/node:v3.9.6 docker tag crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-pod2daemon-flexvol-v3.9.6 calico/pod2daemon-flexvol:v3.9.6 docker tag crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-cni-v3.9.6 calico/cni:v3.9.6 docker tag crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-kube-controllers-v3.9.6 calico/kube-controllers:v3.9.6 #删除 docker rmi crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-kube-controllers-v3.9.6 docker rmi crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-cni-v3.9.6 docker rmi crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-pod2daemon-flexvol-v3.9.6 docker rmi crpi-eoqja8fq38rifseg.ap-southeast-1.personal.cr.aliyuncs.com/docker-study-wjl/docker_hello_world:calico-node-v3.9.6然后执行下面的命令进行DNS的初始化kubectl apply -f calico.yaml执行命令查看是否安装成功kubectl get pods --all-namespaces -w可以看到全部全部都已经跑起来了这个结果出来就代表主节点已经完成工作节点加入主节点在主节点的插件都安装好以后就需要将工作节点加入到主节点中在前面主节点初始化后我们保存了kubeadm join的信息我们只需要在每个工作节点执行kubeadm join信息即可将工作节点加入到K8S集群中【这里还是要强调以下各个节点的kubectl的版本一定要一致】kubeadm join 192.168.124.138:6443 --token wmeunc.nizafcgw4tm4okjt \ --discovery-token-ca-cert-hash sha256:052e3b32291005afe385265cf9104374959e484963a863c50c89b5500709ba6d最后在主节点master中查看K8S集群的情况kubectl get nodes这样整个K8S集群就部署好了部署测试如果你想部署POD测试K8S集群可以执行下面操作1. 在主节点中执行cat pod_nginx_rs.yaml EOF apiVersion: apps/v1 kind: ReplicaSet metadata: name: nginx labels: tier: frontend spec: replicas: 3 selector: matchLabels: tier: frontend template: metadata: name: nginx labels: tier: frontend spec: containers: - name: nginx image: nginx ports: - containerPort: 80 EOF2. 根据pod_nginx_rs.yml文件创建podkubectl apply -f pod_nginx_rs.yaml3. 查看podkubectl get pods kubectl get pods -o wide kubectl describe pod nginx4. 删除测试POD可以通过kubectl将POD进行删除kubectl delete -f pod_nginx_rs.yaml这样pod_nginx_rs.yaml定义的所有资源就会被删除通过命令查看可以看到刚才创建的POD已经被删除kubectl get pods