kubernetes-完美下载

话不多说，直接开始从0搭建k8s集群 

环境：centous7.9  2核 20G  

k8s-master 192.168.37.20

k8s-node1  192.168.37.21

k8s-node2  192.168.37.22

一：设置主机名
 

#设置主机名
hostnamectl  set-hostname k8s-master
hostnamectl  set-hostname k8s-node1
hostnamectl  set-hostname k8s-node2
#将如下内容写入hosts中，是的三台机器可以互相解析
cat > /etc/hosts <<EOF
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.37.20 k8s-master
192.168.37.21 k8s-node1
192.168.37.22 k8s-node2
EOF

二.安装依赖包

yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git

三.设置防火墙为iptables并设置空规则

1.selinux关闭配置文件/etc/sysconfig/selinuxSELINUX=disabledsetenfore 0setenforce 12.iptables 关闭iptables -F3.firewalld暂时关闭systemctl stop firewalld永久关闭systemctl disable firewalld重启防火墙systemctl enable firewalld

四.调整内核参数，对于 K8S

cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 # 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它
vm.overcommit_memory=1 # 不检查物理内存是否够用
vm.panic_on_oom=0  # 开启OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF#拷贝kubernetes.conf到对应目录并启用
cp kubernetes.conf /etc/sysctl.d/kubernetes.confsysctl -p /etc/sysctl.d/kubernetes.conf

五.调整系统时区

timedatectl set-timezone Asia/Shanghai timedatectl set-local-rtc 0 #重启依赖系统时间的服务 systemctl restart rsyslog systemctl restart crond

5.1关闭系统不需要的服务

systemctl stop postfix && systemctl disable postfix

5.2设置rsyslogd和systemd journald
 

mkdir /var/log/journal # 持久化保存日志的目录
mkdir /etc/systemd/journald.conf.d
cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
# 持久化保存到磁盘
Storage=persistent# 压缩历史日志
Compress=yesSyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000# 最大占用空间 10G 
SystemMaxUse=10G# 单日志文件最大 200M 
SystemMaxFileSize=200M# 日志保存时间 2 周MaxRetentionSec=2week# 不将日志转发到 
syslog ForwardToSyslog=no
EOF#重启systemd-journald
systemctl restart systemd-journald

六.升级内核

6.1.加载netfilter模块

#加载netfilter模块
modprobe br_netfilter

CentOS 7.x 系统自带的 3.10.x 内核存在一些 Bugs，导致运行的 Docker、Kubernetes 不稳定，例如： rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm 需要进行内核升级的操作，【CentOS8以上版本不需要进行此操作】

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
# 安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含 initrd16 配置，如果没有，再安装一次！
yum --enablerepo=elrepo-kernel install -y kernel-lt
# 设置开机从新内核启动,需要对应不同版本内核
grub2-set-default 'CentOS Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)'

七.kube-proxy开启ipvs的前置条件

主要为了解决集群pod之间调度的方式，通过lvs的方式进行集群调度

#加载模块相关的依赖
#高版本内核需要将nf_conntrack_ipv4替换为nf_conntrack，否则会报错。高版本内核已经把nf_conntrack_ipv4替换为nf_conntrack了
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF#赋予权限并执行文件，然后检查模块是否被引导成功
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4#检查后信息如下：
[root@k8s-master ~]# chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
ip_vs_sh               16384  0 
ip_vs_wrr              16384  0 
ip_vs_rr               16384  0 
ip_vs                 155648  6 ip_vs_rr,ip_vs_sh,ip_vs_wrr
nf_conntrack_ipv4          147456  1 ip_vs
nf_defrag_ipv6         24576  2 nf_conntrack,ip_vs
nf_defrag_ipv4         16384  1 nf_conntrack
libcrc32c              16384  3 nf_conntrack,xfs,ip_vs

八.docker安装

8..1卸载历史版本。

这一步是可选的，如果之前安装过旧版本的Docker，可以

使用如下命令进行卸载：

yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-selinux \
docker-engine-selinux \
docker-engine \
docker-ce

8.2设置源仓库

我这里用的阿里地址

通常，官方的源地址比较慢，可将上述的源地址替换为国内比较快的地址：

阿里云： http: // mirrors.aliyun.com / docker-ce / linux / centos / docker-ce.repo

清华大学源： https: // mirrors.tuna.tsinghua.edu.cn / docker-ce/ linux / centos / docker-ce.repo

如换成阿里的地址：

yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

8.3查看支持的docker版

注意docker与k8s的兼容性

yum list docker-ce --showduplicates |sort -ryum -y install docker-ce-19*systemctl enable docker && systemctl start dockerdocker --version

8.4镜像加速器

Daocloud 公司建议使用，提高镜像下载速度 , 使用 k8s 官方默认的 cgroup 的

#vim /etc/docker/daemon.json
{
"registry-mirrors": ["http://f1361db2.m.daocloud.io"],
"exec-opts":["native.cgroupdriver=systemd"]
}

8.5重启docker

• systemctl restart docker

• systemctl daemon-reload

• systemctl restart docker

九.安装kubeadm、kubelet和kubectl

9.1添加阿里云的YUM软件源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

9.2安装kubeadm、kubelet和kubectl

yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0

• 为了实现Docker使用的cgroup drvier和kubelet使用的cgroup drver一致，建议修改"/etc/sysconfig/kubelet"文件的内容：

vim /etc/sysconfig/kubelet

# 修改
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"

• 设置为开机自启动即可，由于没有生成配置文件，集群初始化后自动启动：

systemctl enable kubelet

 

 9.3部署k8s的Master节点

• 部署k8s的Master节点(192.168.217.100)：慢一点，耐心等待下

# 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里需要指定阿里云镜像仓库地址
kubeadm init \--apiserver-advertise-address=192.168.37.20 \--image-repository registry.aliyuncs.com/google_containers \--kubernetes-version v1.18.0 \--service-cidr=10.96.0.0/12 \--pod-network-cidr=10.244.0.0/16

 成功后如下输出

• 根据提示信息，在Master节点上使用kubectl工具：

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

9.4添加k8s的Node节点

• 在192.168.37.21和192.168.37.22上添加如下的命令：耐心等待，可能慢一点
• 这个命令在master节点部署后最后两行有提示

# 向k8s集群中添加Node节点
kubeadm join 192.168.37.20:6443 --token 3810m3.7kmmkrrcdytu8fga \--discovery-token-ca-cert-hash sha256:979a660928b97f175128a85e51bff01430de11060afd0fe15f74b395bbdd9f5c

• 默认的token有效期为24小时，当过期之后，该token就不能用了，这时可以使用如下的命令创建token：

kubeadm token create --print-join-command

# 生成一个永不过期的token
kubeadm token create --ttl 0

9.5部署CNI网络插件

• 根据提示，在Master节点使用kubectl工具查看节点状态：

kubectl get nodes

• Master节点部署CNI网络插件(可能会失败，如果失败，请下载到本地，然后安装)：
• 我就是这样下载的，本地下载执行

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

 

• 看部署CNI网络插件进度：

kubectl get pods -n kube-system

 

• 再次在Master节点使用kubectl工具查看节点状态：

kubectl get nodes

 哈哈哈，终于成功了，记录下。

• 查看集群健康状态：

kubectl get cs

kubectl cluster-info

哈哈哈，再来看下这个状态。完美结束

附件

步骤七：本文k8s 部分参考：从零搭建k8s集群 - 许大仙 - 博客园

步骤一到六：本文准备工作参考：Kubernetes学习【1-3】 | Banyuh

步骤八：本文docker 部分亲测无问题。故障多少参考的是kimi,特别注意yum源和swap ,防火墙必须关闭，docker 必须启动。

• 永久关闭swap分区：

# 永久
sed -ri 's/.*swap.*/#&/' /etc/fstab

# 重启
reboot

• 临时关闭swap分区：

swapoff -a