K8S：kubectl陈述式、声明式资源管理及金丝雀部署

一.陈述式资源管理方法

1.陈述式资源管理概念

（1）kubernetes 集群管理集群资源的唯一入口是通过相应的方法调用 apiserver 的接口
（2）kubectl 是官方的CLI命令行工具，用于与 apiserver 进行通信，将用户在命令行输入的命令，组织并转化为 apiserver 能识别的信息，进而实现管理 k8s 各种资源的一种有效途径
（3）kubectl 的命令大全

kubectl --help

k8s中文文档：http://docs.kubernetes.org.cn/683.html
（4）对资源的增、删、查操作比较方便，但对改的不容易操作

2.基本信息查看

（1）查看版本信息

kubectl version

（2）查看资源对象简写

kubectl api-resources

（3）查看集群信息

kubectl cluster-info

（4）配置kubectl自动补全

source <(kubectl completion bash)

如想设置永久生效可以在配置文件中修改

vim /etc/bashrc
中最后一行添加：source <(kubectl completion bash)
保存退出
bash
即可

（5）node节点查看日志

journalctl -u kubelet -f

3.增、删、改、查、扩缩容相关操作

命令操作格式：

kubectl get <resource> [-o wide|json|yaml] [-n namespace]

注释：

①获取资源的相关信息，-n 指定命令空间，-o 指定输出格式
②resource可以是具体资源名称，如pod nginx-xxx；也可以是资源类型，如pod；或者all(仅展示几种核心资源，并不完整)
③–all-namespaces 或 -A ：表示显示所有命令空间，
④–show-labels ：显示所有标签
⑤-l app ：仅显示标签为app的资源
⑥-l app=nginx ：仅显示包含app标签，且值为nginx的资源

（1）查看 master 节点状态

kubectl get componentstatuses
kubectl get cs

（2）查看命令空间

命令空间的作用：用于允许不同 命令空间 的 相同类型 的资源 重名的

kubectl get namespace
kubectl get ns

（3）查看default命名空间的所有资源

#不加-n默认的是default命名空间
kubectl get all [-n default]

（4）创建命名空间app

kubectl create ns app
kubectl get ns

（5）删除命名空间app

kubectl delete namespace app
kubectl get ns

（6）创建副本控制器

在命名空间kube-public 创建副本控制器（deployment）来启动Pod（nginx-wl）

kubectl create deployment nginx-wl --image=nginx  -n kube-public
#检查部署的状态和Pod数量
kubectl get deployment nginx-wl -n kube-public
#命名空间中的所有资源
kubectl get all -n kube-public

（7）描述某个资源的详细信息

kubectl create ns app
kubectl create deployment nginx-app --image=nginx  -n app
kubectl get pod -n app
kubectl describe pod nginx-app-d6ff45774-9kddk -n app

（8）查看命名空间app 中的pod 信息

kubectl get pods -n app

#在yaml文件中也可以查看pod信息
kubectl get pods -o yaml

#获取所有命名空间中具有特定标签的 Pod 列表
kubectl get pod -A -l app

#取所有命名空间中的 Pod 列表，并显示它们的标签信息
kubectl get pod --show-labels -A

#展示所有系统资源
kubectl get pod -n kube-system

#具体过滤查看某个资源状态
kubectl get pod -n kube-system | grep etcd-master01

（9）kubectl exec可以跨主机登录容器，docker exec 只能在容器所在主机上登录

kubectl exec -it nginx-wl-67f75b9476-mbdkc bash -n app


（10）删除（重启）pod资源

#由于存在deployment/rc之类的副本控制器，删除pod也会重新拉起来
kubectl delete pod nginx-wl-67f75b9476-mbdkc -n app

（11）强行删除pod

#若pod无法删除，总是处于terminate状态，则要强行删除pod
#格式
kubectl delete pod <pod-name> -n <namespace> --force --grace-period=0

注释：

grace-period表示过渡存活期，默认30s，在删除pod之前允许POD慢慢终止其上的容器进程，从而优雅退出，0表示立即终止pod

kubectl delete pod nginx-wl-67f75b9476-9kddk -n app --force --grace-period=0

（12）扩缩容

扩容不会影响业务，缩容时等业务结束会进行缩容

kubectl scale deployment nginx-wl --replicas=6 -n kube-public	# 扩容
kubectl scale deployment nginx-wl --replicas=2 -n kube-public	# 缩容

（13）删除副本控制器

kubectl delete deployment nginx-wl -n kube-public
或
kubectl delete deployment/nginx-wl -n kube-public

4.项目的生命周期：创建——发布——更新——回滚——删除

（1）创建——kubectl create命令

创建并运行一个或多个容器镜像。
创建一个deployment 或job 来管理容器。

kubectl create --help

#启动 nginx 实例，暴露容器端口 80，设置副本数 3
kubectl create deployment nginx --image=nginx:1.14 --port=80 --replicas=3

#查看创建信息
kubectl get pods
kubectl get all

（2）发布——kubectl expose命令

将资源暴露为新的 Service。

kubectl expose --help

#为deployment的nginx创建service，并通过Service的80端口转发至容器的80端口上，Service的名称为nginx-service，类型为NodePortkubectl expose deployment nginx --port=80 --target-port=80 --name=nginx-service --type=NodePortkubectl get svc

注释：

Kubernetes 之所以需要 Service，一方面是因为 Pod 的 IP 不是固定的（Pod可能会重建），另一方面则是因为一组 Pod 实例之间总会有负载均衡的需求。
Service 通过 Label Selector 实现的对一组的 Pod 的访问。
对于容器应用而言，Kubernetes 提供了基于 VIP（虚拟IP） 的网桥的方式访问 Service，再由 Service 重定向到相应的 Pod。

• service 的 type 类型：
  ClusterIP：提供一个集群内部的虚拟IP以供Pod访问（service默认类型)
• NodePort：在每个Node上打开一个端口以供外部访问，Kubernetes将会在每个Node上打开一个端口并且每个Node的端口都是一样的，通过 NodeIp:NodePort 的方式Kubernetes集群外部的程序可以访问Service。
  每个端口只能是一种服务，端口范围只能是 30000-32767。

注：生产环境中不会使用，测试使用，每个服务对应的端口多，配置端口会冲突

• LoadBalancer：通过设置LoadBalancer映射到云服务商提供的LoadBalancer地址。这种用法仅用于在公有云服务提供商的云平台上设置Service的场景。通过外部的负载均衡器来访问，通常在云平台部署LoadBalancer还需要额外的费用。
  在service提交后，Kubernetes就会调用CloudProvider在公有云上为你创建一个负载均衡服务，并且把被代理的Pod的IP地址配置给负载均衡服务做后端。

• externalName：将service名称映射到一个DNS域名上，相当于DNS服务的CNAME记录，用于让Pod去访问集群外部的资源，它本身没有绑定任何的资源。

• headless clusterIP 无头模式 ： 无service ip，只有名称没有IP地址———使用名称来访问

#查看pod网络状态详细信息和 Service暴露的端口
kubectl get pods,svc -o wide

#查看关联后端的节点
kubectl get endpoints

#查看 service 的描述信息
kubectl describe svc nginx

#在 node01 节点上操作，查看负载均衡端口
yum install ipvsadm -y
ipvsadm -Ln

#外部访问的IP和端口
TCP 172.17.0.1:30001：对外提供服务的 IP 地址为 172.17.0.1，端口为 30001。
TCP 172.17.0.1:31128：对外提供服务的 IP 地址为 172.17.0.1，端口为 31128。
TCP 192.168.122.1:30001：对外提供服务的 IP 地址为 192.168.122.1，端口为 30001。
TCP 192.168.122.1:31128：对外提供服务的 IP 地址为 192.168.122.1，端口为 31128。
TCP 192.168.198.12:30001：对外提供服务的 IP 地址为 192.168.198.12，端口为 30001。
TCP 192.168.198.12:31128：对外提供服务的 IP 地址为 192.168.198.12，端口为 31128。
TCP 10.96.106.130:443：对外提供服务的 IP 地址为 10.96.106.130，端口为 443。
TCP 10.96.116.27:80：对外提供服务的 IP 地址为 10.96.116.27，端口为 80。
TCP 10.96.119.158:8000：对外提供服务的 IP 地址为 10.96.119.158，端口为 8000。
TCP 10.96.165.162:30000：对外提供服务的 IP 地址为 10.96.165.162，端口为 30000。
TCP 10.96.213.1:80：对外提供服务的 IP 地址为 10.96.213.1，端口为 80。

#pod集群组内部访问的IP和端口
其他的 IP 地址和端口可以视为集群组内部访问使用的。

#在 node02 节点上操作，同样方式查看负载均衡端口
yum install ipvsadm -y
ipvsadm -Ln

可以根据IP地址进行分类：

外部访问的IP和端口：

• 所有以 192.168 和 10. 开头的IP地址及其相应的端口。

内部访问的IP和端口：

• 所有以 127.0.0.1 和 172.17.0.1 开头的IP地址及其相应的端口。
• 所有以 10.244 开头的IP地址及其相应的端口，这些IP地址是 Kubernetes 集群中 Pod 的IP地址。

curl 192.168.198.12:31231

#在master01操作 查看访问日志
kubectl logs nginx-deployment-6cff9b4c45-l892b

（3）更新——kubectl set命令

#更改现有应用资源一些信息。
kubectl set --help

#获取修改模板
kubectl set image --help

#查看当前 nginx 的版本号
curl -I http://192.168.198.12:31231
curl -I http://192.168.198.11:31231

#将nginx 版本更新为 1.15 版本
kubectl set image deployment/nginx nginx=nginx:1.15

#处于动态监听 pod 状态，由于使用的是滚动更新方式，所以会先生成一个新的pod，然后删除一个旧的pod，往后依次类推
kubectl get pods -w

#再看更新好后的 Pod 的 ip 会改变
kubectl get pods -o wide

#再看 nginx 的版本号
curl -I http://192.168.198.12:31231
curl -I http://192.168.198.11:31231

（4）回滚——kubectl rollout 命令

#对资源进行回滚管理
kubectl rollout --help

v!

#查看历史版本
kubectl rollout history deployment/nginx 

#执行回滚到上一个版本
kubectl rollout undo deployment/nginx

#执行回滚到指定版本
kubectl rollout undo deployment/nginx --to-revision=1

#检查回滚状态
kubectl rollout status deployment/nginx

（5）删除——kubectl delete命令

#删除副本控制器
kubectl delete deployment/nginx

#删除service
kubectl delete svc/nginx-servicekubectl get all

5.项目发布方式

（1）蓝绿发布

①概念：首先将所有的应用服务集群为蓝绿两组，首先将绿组的集群从负载均衡中移除，蓝组则继续对用户提供服务。此时移除的绿组进行服务的升级，等升级完毕后，再从新将绿组接入到负载均衡中为用户提供服务。

再把蓝组进行移除，进行服务升级，升级完毕后再接入到负载均衡的集群中。此时整个项目集群得进行升级完毕，我们将此称为蓝绿发布

②特点：如果出问题，影响范围较大；发布策略简单；用户无感知，平滑过渡；升级/回滚速度快。

③缺点：需要准备正常业务使用资源的两倍以上服务器，防止升级期间单组无法承载业务突发；短时间内浪费一定资源成本；基础设施无改动，增大升级稳定性。

蓝绿发布在早期物理服务器时代，还是比较昂贵的，由于云计算普及，成本也大大降低

总：两套设备，进行新旧版本的切换
用户无感、业务稳定
要消耗2倍资源，成本高

（2）灰度发布 /金丝雀发布

①概念：灰度发布又叫金丝雀发布，灰度是指在黑与白之间，能够平滑过渡的一种发布方式

该过程类似于游戏中的体验服，首先会让一部分用户进行使用测试，如果没什么问题后，会逐步面积推广，彻底替代旧的版本

②特点：保证整体系统稳定性，在初始灰度的时候就可以发现、调整问题，影响范围可控；新功能逐步评估性能，稳定性和健康状况，如果出问题影响范围很小，相对用户体验也少；用户无感知，平滑过渡。

③缺点：自动化要求高

（3）滚动发布

①概念：滚动发布就是刚刚我们在k8s中使用的项目服务更新方式。滚动发布是指每次只升级一个或多个服务，升级完成后加入生产环境，不断执行这个过程，直到集群中的全部旧版本升级新版本。

②特点：用户无感知，平滑过渡；节约资源。

③缺点：部署时间慢，取决于每阶段更新时间；发布策略较复杂；无法确定OK的环境，不易回滚。

总：
蓝绿发布：两套环境交替升级，旧版本保留一定时间便于回滚。

灰度发布 /金丝雀发布：按照负载均衡部署方式，先更新一部分的pod，然后暂停更新，安排一小部分用户的流量去访问这部分的新的pod进行测试，当测试没问题后再扩大测试比例查到全部更新，根据比例将老版本升级，例如80%用户访问是老版本，20%用户访问是新版本。

滚动发布：按照比例一部分一部分的滚动更新，k8s默认的更新机制，无创建一定比例的新pod，再删除一定的旧的pod，按批次停止老版本实例，启动新版本实例

6.金丝雀发布（Canary Release）

（1）概念

Deployment控制器支持自定义控制更新过程中的滚动节奏，如“暂停(pause)”或“继续(resume)”更新操作。比如等待第一批新的Pod资源创建完成后立即暂停更新过程，此时，仅存在一部分新版本的应用，主体部分还是旧的版本。然后，再筛选一小部分的用户请求路由到新版本的Pod应用，继续观察能否稳定地按期望的方式运行。确定没问题之后再继续完成余下的Pod资源滚动更新，否则立即回滚更新操作。这就是所谓的金丝雀发布。

总：会有一个对外暴露测试，没有问题再更新剩余的，更新一个对外开放一个

（2）相关架构理念及金丝雀发布部署操作

#删除之前的pod
kubectl delete deployments.apps nginx-deployment
kubectl get pod

#创建新的资源
kubectl create deployment nginx-summer --image=nginx:1.14 --port=80 --replicas=3
kubectl get pod

#查看详细信息
kubectl describe pod

#另开一个终端进行实时跟踪
kubectl get pod -w

#在原本的终端更新资源类型
kubectl  set image deployment nginx-summer nginx=nginx:1.15 && kubectl rollout pause deployment nginx-summer
kubectl get pod
kubectl get all

#监控更新的过程，可以看到已经新增了一个资源，但是并未按照预期的状态去删除一个旧的资源，就是因为使用了pause暂停命令
kubectl get pods -w 

#查看详细地址
kubectl get pod -owide

#查看连接并查看版本
curl -I 10.244.1.18
curl -I 10.244.2.11

这里是将更新的作为测试访问，如何访问以下操作：

#对端口进行外放访问设置
kubectl expose deployment nginx-summer --port=80 --target-port=80 --type=NodePort
#查看设置的内容
kubectl get svc

#浏览器访问测试
http://192.168.198.11:32605/

#查看详细信息
kubectl describe svc nginx-summer 

#查看 Kubernetes 集群中的服务端点信息
kubectl get endpoints

#详细信息
kubectl describe endpoints nginx-summer

#金丝雀隔离新的pod测试新的版本是否有问题，给pod做隔离，需要单独的标签
#创建新的pod并给端口
kubectl expose deployment nginx-summer --name=new-nginx-nginx-summer --port=80 --target-port=80 --type=NodePort
kubectl get svc
kubectl get endpoints

#编辑服务对象
kubectl edit svc new-nginx-nginx-summer
复制里面的文件内容编辑新的yaml文件

#获取 Pod 的列表
kubectl get pod --show-labels
kubectl describe pod nginx-summer-64dcd8d75b-lg2l6 
#编辑yaml文件
vim new-nginx-nginx-summer.yaml
#粘贴并加以修改，做标签分离

#删除新的标签
kubectl delete svc new-nginx-nginx-summer 
#取当前集群中所有服务对象的列表
kubectl get svc
#创建或更新服务对象
kubectl apply -f new-nginx-nginx-summer.yaml
#再次被执行，目的是获取已经更新后的服务对象列表
kubectl get svc

#访问测试
curl -I 10.96.13.243

#复制旧的yaml配置文件，复制apiVersion: v1——————  type: NodePort
kubectl edit svc nginx-summer 
#查看标签，复制标签
kubectl get pod --show-labels

#编辑配置文件，将标签粘贴
vim nginx-summer.yaml

#删除现有的
kubectl delete svc nginx-summer 
#查看已删除的
kubectl get svc
#再次新创建
kubectl apply -f nginx-summer.yaml
#查看创建的
kubectl get svc

#获取当前集群中所有的终结点
kubectl get endpoints

#获取当前集群中所有的 Pod 列表
kubectl get pod -owide
#登录新的pod测试
kubectl exec -it nginx-summer-64dcd8d75b-lg2l6 bash

#测试访问
kubectl exec -it nginx-summer-64dcd8d75b-lg2l6 bash
cd /usr/share/nginx/html/
echo "this is blue-update" > index.html
exit

#查看端口，并且浏览器访问
kubectl get svc
#此新的就是给测试更新玩家使用
http://192.168.198.11:32234/

#登录旧1的pod中测试
kubectl get pod
kubectl exec -it nginx-summer-7775bc9d99-7x28n bash
echo "this is web1" >> index.html
exit

#登录旧2的pod中测试
kubectl get pod
kubectl exec -it nginx-summer-7775bc9d99-jlwhm bash
cd /usr/share/nginx/html/
echo "this is web2" > index.html
exit

#登录旧3的pod中测试
kubectl get pod
kubectl exec -it nginx-summer-7775bc9d99-xqxmv bash
echo "this is web3" > /usr/share/nginx/html/index.html
exit

kubectl get svc
#访问网页，等待刷新变化
http://192.168.198.11:32605/

#查看更新状态信息
kubectl rollout status  deployment nginx-summer
#确保更新的pod没问题了，继续更新
kubectl rollout resume deployment nginx-summer

#查看最后的更新情况
kubectl get pods -w 

#查看端口及地址
kubectl get svc
#访问测试
curl -I 192.168.198.11:32234
curl -I 10.96.13.243

> 总：
> 金丝雀发布的声明式管理方法：
> create/apply 两个的区别：
> 当yaml配置文件发送改动后，使用以下两个更新的过程：
> create：是一次性的，先delete删除原有的资源再通过yaml’文件再创建。
> apply：创建资源没办法更新的，如果想更新，可以直接再执行kubectl apply -f 更新或先修改在删除，最后再创建更新。

二.声明式管理方法

1.声明式管理方法概念

（1）适合于对资源的修改操作

（2）声明式资源管理方法依赖于资源配置清单文件对资源进行管理
资源配置清单文件有两种格式：yaml（人性化，易读），json（易于api接口解析）
（3）对资源的管理，是通过事先定义在统一资源配置清单内，再通过陈述式命令应用到k8s集群里
（4）语法格式：kubectl create/apply/delete -f xxxx.yaml

2.相关操作

（1）查看资源配置清单

kubectl get deployment nginx -o yaml

（2）解释资源配置清单

kubectl explain deployment.metadatakubectl get service nginx -o yaml
kubectl explain service.metadata

（3）修改资源配置清单并应用

①离线修改：
修改yaml文件，并用 kubectl apply -f xxxx.yaml 文件使之生效
注意：当apply不生效时，先使用delete清除资源，再apply创建资源

kubectl get service nginx -o yaml > nginx-svc.yaml
vim nginx-svc.yaml				#修改port: 8080
kubectl delete -f nginx-svc.yaml
kubectl apply -f nginx-svc.yaml
kubectl get svc

②在线修改：

直接使用 kubectl edit service nginx 在线编辑资源配置清单并保存退出即时生效（如port: 888）

PS：此修改方式不会对yaml文件内容修改

（4）删除资源配置清单

陈述式删除：
kubectl delete service nginx

声明式删除：
kubectl delete -f nginx-svc.yaml

总

1.k8s管理操作分为两大类

（1）陈述式资源管理方法:通过命令方式语句来实现对资源的管理一条命令来实现

（2）声明式资源管理方法:我们之前来通过yaml文件
资源现配置所以在的一个yaml和josn（配置文件当中)

2.k8s管理操作对比

（1）陈述式资源管理方法
–主要依赖命令行工具kubectl进行管理
优点
可以满足90%以上的使用场景
对资源的增、删、查操作比较容易

缺点
命令冗长，复杂，难以记忆
特定场景下，无法实现管理需求
对资源的修改麻烦，需要patch来使用json串更改。

（2）声明式资源管理方法
主要依赖统一资源配置清单进行管理

（3）GUI式资源管理方法
主要依赖图形化操作界面进行管理

3.相关命令总结

（1）删除pod

kubectl delete pod

（2）删除副本

kubectl delete deployment

（3）创建副本

kubectl create deployment

（4）扩容、缩容

kubectl scale --replicas

（5）创建一个自主式/静态pod

注意就是创建一个pod，这个 pod一旦挂了就不会再node上拉起这个就是静态pod，他不是存在etcd ,他是在存储nodk当中——相当于自营

kubectl create deployment :用于创建deployment控制管理器的pod

注意:这种pod是再控制器管理当中，举列比如pod 运行在node01上控制器会保证pod的数量，如果node1挂了，他会在node02或者其他node节点重新拉起pod的数量——相当于有人管

（6）查看

kubectl get pod, ns,svc

（7）查看命名空间资源

kubectl get all -n + 命名空间名

（8）跨主机登录容器中

kubectl get pods -n +命名空间名
kubectl exec -it +前条查询到的服务pod信息名 bash -n app

（9）查看资源的详细信息

kubectl describe svc + 服务（nginx）

（10）查看pod中容器中的日志

kubectl logs +pod名