Kubeadmin方式部署Calico网络模式的K8s集群

目录

1.环境准备

2.配置内核参数

3.配置ntp时间服务器

4.配置持久化日志目录

5.升级物理机内核

6.配置ipvs服务

7.安装docker

8.安装kubeadm、kubectl、kubelet

9.导入k8s组件基础镜像

10.k8s初始化配置

11.配置calico网络

12.完成部署

---

1.环境准备

###方案中涉及的镜像，升级包，安装包，均在“kubeadmin方式部署calico网络模式的k8s集群.zip”

准备三台虚拟机，一主两从

1.主服务器执行

hostnamectl set-hostname k8s-master01

2.从服务器1

hostnamectl set-hostname k8s-node01

3.从服务器2

hostnamectl set-hostname k8s-node02

4.三个机器同时执行

yum install -y conntrack ntpdate ntp ipvsadm ipset iptables curl sysstat libseccomp wget vim net-tools git#安装服务
swapoff -a     #临时关闭swap分区，重启后失效
free -m #查看swap是否关闭
sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab #注释掉/etc/fstab中的swap分区开机自启的选项，这样就不会开机自启了。
systemctl stop postfix && systemctl disable postfix#关闭系统不需要的进程
systemctl stop NetworkManager && systemctl disable NetworkManager#关闭NetworkManager服务
vim /etc/hosts#配置三台机器的hosts文件
192.168.159.82	k8s-master01	m1
192.168.159.83	k8s-node01	n1
192.168.159.84	k8s-node02	n2

2.配置内核参数

k8s-master01、k8s-node01、k8s-node02一起执行

cat > kubernetes.conf <<EOF#添加以下内容
net.bridge.bridge-nf-call-iptables=1
#IPV4中，网桥的流量必须被防火墙处理
net.bridge.bridge-nf-call-ip6tables=1	
#IPV6中，网桥的必须被防火墙处理
net.ipv4.ip_forward=1
#开启路由转发
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 
# 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它
vm.overcommit_memory=1
# 不检查物理内存是否够用
vm.panic_on_oom=0 
# 开启 OOM	
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOFcp kubernetes.conf /etc/sysctl.d/kubernetes.confsysctl -p /etc/sysctl.d/kubernetes.conf#立即应用/etc/sysctl.d/kubernetes.conf文件中的内核参数设置

3.配置ntp时间服务器

k8s-master01执行：

vim /etc/chrony.conf	#注销几个server选项，添加server主时间服务器的配置server ntp1.aliyun.com iburst	#主时间服务器同步阿里云的时间服务器server ntp2.aliyun.com iburstallow 172.16.66.0/24		#设置允许哪些网段的从服务器连接systemctl restart chronyd
systemctl enable chronyd#启动时ntp服务，并设置开机自启

k8s-node01和k8s-node02一起执行：

vim /etc/chrony.conf#注释server选项server 172.16.66.101 iburst	#指向时间同步主服务器的IP
systemctl restart chronyd
systemctl enable chronyd#启动ntp服务，并设置开机自启。

4.配置持久化日志目录

k8s-master01执行：

mkdir /var/log/journal#持久化保存日志的目录
mkdir /etc/systemd/journald.conf.d
cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
# 持久化保存到磁盘
Storage=persistent# 压缩历史日志
Compress=yesSyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000# 最大占用空间 10G
SystemMaxUse=10G# 单日志文件最大 200M
SystemMaxFileSize=200M# 日志保存时间 2 周
MaxRetentionSec=2week# 不将日志转发到 syslog
ForwardToSyslog=no
EOF
systemctl restart systemd-journald

5.升级物理机内核

k8s-master01、k8s-node01、k8s-node02三个机器一起执行

上传 kernel-it-4.4.222-1.el7.elrepo.x86_64.rpm
yum -y install kernel-lt-4.4.222-1.el7.elrepo.x86_64.rpm#升级内核
cat /boot/grub2/grub.cfg | grep 4.4#查看升级后的内核信息
grub2-set-default 'CentOS Linux (4.4.222-1.el7.elrepo.x86_64) 7 (Core)'#设置为默认启动内核
reboot#重启，加载内核
modprobe br_netfilter#重启后，加载br_netfilter配置文件

6.配置ipvs服务

k8s-master01、k8s-node01、k8s-node02三个机器一起执行

cat > /etc/sysconfig/modules/ipvs.modules <<EOF#添加以下内容，kube-proxy开启ipvs的前置条件
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOFchmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

7.安装docker

k8s-master01、k8s-node01、k8s-node02三个机器一起执行

上传docker-ce-17.03.0.ce-1.el7.centos.x86_64.rpm和docker-ce-selinux-17.03.0.ce-1.el7.centos.noarch.rpm
yum -y install docker-ce-*#安装刚刚上传的docker的rpm包
cat > /etc/docker/daemon.json <<EOF#配置阿里云镜像加速器
{"exec-opts": ["native.cgroupdriver=systemd"],"log-driver": "json-file","log-opts": {"max-size": "100m"},"registry-mirrors": ["https://si4p9a1f.mirror.aliyuncs.com"]
}
EOFmkdir -p /etc/systemd/system/docker.service.d
systemctl enable docker && reboot#重启，开机时，使物理机防火墙接管docker网络

8.安装kubeadm、kubectl、kubelet

k8s-master01、k8s-node01、k8s-node02三个机器一起执行

cat <<EOF > /etc/yum.repos.d/kubernetes.repo[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOFyum -y install kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1#安装kubeadmin服务
systemctl enable kubelet.service

9.导入k8s组件基础镜像

k8s-master01、k8s-node01、k8s-node02三个机器一起执行

将kubeadm-basic.images.tar.gz上传至/root/并解压
vim load-image.sh#编写镜像导入脚本
#!/bin/bash
ls /root/kubeadm-basic.images > /tmp/images.cache
for i in $( cat /tmp/images.cache ) 
doecho $idocker load -i /root/kubeadm-basic.images/$i
done
rm -rf /tmp/images.cachechmod a+x load-image.sh
/root/load-image.sh#执行脚本，导入镜像
docker images#查看镜像导入结果

10.k8s初始化配置

k8s-master01执行

kubeadm config print init-defaults > /root/kubeadm-config.yaml#打印一个初始化配置文件，保存在kubeadm-config.yaml文件中
vim kubeadm-config.yaml#修改以下配置
advertiseAddress:192.168.159.82		#修改为当前物理机（k8s-master01）的IP
kubernetesVersion:v1.15.1			#版本号改为v1.15.1
podSubnet: "100.100.0.0/16"			#neworking:下添加，与dnsDomain和serviceSubnet在同一级。
#calico网络模式下，podSubnet网段只要与物理机的不一致即可#文件最后添加以下配置
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
featureGates:SupportIPVSProxyMode: true
mode: ipvs
#指定当前kube proxy的配置文件走的模式必须是IPVSkubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log#初始化，基于kubeadm-config.yaml这个配置文件初始化，验证这个--experimental-upload-certs安全证书，通过管道符将当前的输出通过tee命令把它实时的保存在这个文件夹当中，并且实时展示。#命令执行后，最后会生成kubectl join命令，将此命令复制，用作node节点加入k8s集群用。
docker ps#查看已经启动的组件容器
mkdir -p $HOME/.kube#在家目录下，创建一个.kube文件。
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config#声明使root用户为k8s集群管理员
chown $(id -u):$(id -g) $HOME/.kube/config#给文件赋予权限
kubectl get node#查看节点信息

k8s-node01、k8s-node02一起执行

kubeadm join 192.168.159.82:6443 --token abcdef.0123456789abcdef \--discovery-token-ca-cert-hash sha256:37be6809f09030382b58bce62525d810224b0e25af4460b8c6da83e0d986c036#此命令为kubeadm init命令初始化结果

k8s-master01执行

kubectl get node#查看发现节点都处于notready状态，因为calico网络还没有配置。

11.配置calico网络

k8s-master01、k8s-node01、k8s-node02三个机器一起执行

上传calico-k8s-1.15.1.tar至/root/下并解压进入
docker load -i calico-cni-3.3.7.tar
docker load -i calico-node-3.3.7.tar#导入calico镜像

k8s-master01执行

kubectl create -f calico.yaml
kubectl create -f rbac-kdd.yaml#根据yaml文件创建calico相关服务

12.完成部署

k8s-master01执行

kubectl get node#查看节点信息，已达ready状态。
yum -y install bash-completion#配置k8s的补全命令
source /usr/share/bash-completion/bash_completion
source <(kubectl completion bash)