当前位置： 首页 > news >正文

kubernetes中的微服务

news 2025/7/10 14:18:24

目录

一 什么是微服务

二 微服务的类型

三 ipvs模式

3.1 ipvs模式配置方式

四 微服务类型详解

4.1 clusterip

4.2 ClusterIP中的特殊模式headless

4.3 nodeport

4.4 loadbalancer

4.5 metalLB

4.6 externalname

五 Ingress-nginx

5.1 ingress-nginx功能

5.2 部署ingress

5.2.1 下载部署文件（资源已发）

5.2.2 安装ingress

5.2.3 测试ingress

5.3 ingress 的高级用法

5.3.1 基于路径的访问

5.3.2 基于域名的访问

5.3.3 建立tls加密

5.3.4 建立auth认证

5.3.5 rewrite重定向

六 Canary金丝雀发布

6.1 什么是金丝雀发布

6.2 Canary发布方式

6.2.1 基于header（http包头）灰度

6.2.2 基于权重的灰度发布

一 什么是微服务

用控制器来完成集群的工作负载，那么应用如何暴漏出去？需要通过微服务暴漏出去后才能被访问

  • Service是一组提供相同服务的Pod对外开放的接口。

  • 借助Service，应用可以实现服务发现和负载均衡。

  • service默认只支持4层负载均衡能力，没有7层功能。（可以通过Ingress实现）

 

二 微服务的类型

微服务类型作用描述
ClusterIP默认值，k8s系统给service自动分配的虚拟IP，只能在集群内部访问
NodePort将Service通过指定的Node上的端口暴露给外部，访问任意一个NodeIP:nodePort都将路由到ClusterIP
LoadBalancer在NodePort的基础上,借助cloud provider创建一个外部的负载均衡器，并将请求转发到 NodeIP:NodePort，此模式只能在云服务器上使用
ExternalName将服务通过 DNS CNAME 记录方式转发到指定的域名（通过 spec.externlName 设定

示例：

#生成控制器文件并建立控制器

[root@k8s-master ~]# kubectl create deployment timinglee --image reg.timinglee.org/library/myapp:v1 --replicas 2 --dry-run=client -o yaml > timinglee.yaml

[root@k8s-master ~]# kubectl apply -f timinglee.yaml 
deployment.apps/timinglee created
[root@k8s-master ~]# kubectl get pod
NAME                         READY   STATUS    RESTARTS   AGE
timinglee-56f99b7f4b-4c9kc   1/1     Running   0          6s
timinglee-56f99b7f4b-9wlxl   1/1     Running   0          6s


#生成微服务yaml追加到已有yaml
[root@k8s-master ~]# kubectl expose deployment timinglee --port 80 --target-port 80 --dry-run=client -o yaml >> timinglee.yaml 

[root@k8s-master ~]# vim timinglee.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  creationTimestamp: null
  labels:
    app: timinglee
  name: timinglee
spec:
  replicas: 2
  selector:
    matchLabels:
      app: timinglee
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: timinglee
    spec:
      containers:
      - image: reg.timinglee.org/library/myapp:v1
        name: myapp
        resources: {}
status: {}

---                                        #不同资源间用---隔开
apiVersion: v1
kind: Service
metadata:
  creationTimestamp: null
  labels:
    app: timinglee
  name: timinglee
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: timinglee
status:
  loadBalancer: {}

[root@k8s-master ~]# kubectl delete deployments.apps timinglee 
deployment.apps "timinglee" deleted
[root@k8s-master ~]# kubectl get pods 
No resources found in default namespace.

[root@k8s-master ~]# kubectl apply -f timinglee.yaml 
deployment.apps/timinglee created
service/timinglee created


[root@k8s-master ~]# kubectl get service
NAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   10.96.0.1      <none>        443/TCP   31d
timinglee    ClusterIP   10.99.121.99   <none>        80/TCP  

微服务默认使用iptables调度

[root@k8s-master ~]# kubectl get service -o wide 
NAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)   AGE   SELECTOR
kubernetes   ClusterIP   10.96.0.1      <none>        443/TCP   31d   <none>
timinglee    ClusterIP   10.99.121.99   <none>        80/TCP    89s   app=timinglee   #集群内部IP   10.99.121.99  

  #可以在火墙中查看到策略信息

[root@k8s-master ~]# iptables -t nat -nL

Chain KUBE-SVC-I7WXYK76FWYNTTGM (1 references)
target     prot opt source               destination         
KUBE-MARK-MASQ  tcp  -- !10.244.0.0/16        10.99.121.99         /* default/timinglee cluster IP */ tcp dpt:80

三 ipvs模式

  • Service 是由 kube-proxy 组件，加上 iptables 来共同实现的
  • kube-proxy 通过 iptables 处理 Service 的过程，需要在宿主机上设置相当多的 iptables 规则，如果宿主机有大量的Pod，不断刷新iptables规则，会消耗大量的CPU资源
  • IPVS模式的service，可以使K8s集群支持更多量级的Pod

3.1 ipvs模式配置方式

1 在所有节点中安装ipvsadm

[root@k8s-master/node/node2 ~]# yum install ipvsadm.x86_64 -y

2 修改master节点的代理配置

[root@k8s-master ~]# kubectl -n kube-system edit cm kube-proxy 
configmap/kube-proxy edited
 

 metricsBindAddress: ""
    mode: "ipvs"                #设置kube-proxy使用ipvs模式
    nftables:

3 重启pod，在pod运行时配置文件中采用默认配置，当改变配置文件后已经运行的pod状态不会变化，所以要重启pod

[root@k8s-master ~]# kubectl -n kube-system get pods | awk '/kube-proxy/{system("kubectl -n kube-system delete pods "$1)}'
pod "kube-proxy-22hr6" deleted
pod "kube-proxy-r4jj7" deleted
pod "kube-proxy-vwfgr" deleted

[root@k8s-master ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.96.0.1:443 rr
  -> 192.168.10.100:6443          Masq    1      0          0         
TCP  10.96.0.10:53 rr
  -> 10.244.0.2:53                Masq    1      0          0         
  -> 10.244.0.3:53                Masq    1      0          0         
TCP  10.96.0.10:9153 rr
  -> 10.244.0.2:9153              Masq    1      0          0         
  -> 10.244.0.3:9153              Masq    1      0          0         
TCP  10.99.121.99:80 rr
  -> 10.244.1.3:80                Masq    1      0          0         
  -> 10.244.2.3:80                Masq    1      0          0         
UDP  10.96.0.10:53 rr
  -> 10.244.0.2:53                Masq    1      0          0         
  -> 10.244.0.3:53                Masq    1      0          0         
[root@k8s-master ~]# 

注意：

切换ipvs模式后，kube-proxy会在宿主机上添加一个虚拟网卡：kube-ipvs0，并分配所有service IP

[root@k8s-master ~]# ip a | tail
    inet6 fe80::ac84:aaff:fe44:17f3/64 scope link 
       valid_lft forever preferred_lft forever
8: kube-ipvs0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default 
    link/ether 9e:10:d2:0c:25:33 brd ff:ff:ff:ff:ff:ff
    inet 10.96.0.1/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 10.99.121.99/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 10.96.0.10/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
[root@k8s-master ~]#

四 微服务类型详解

4.1 clusterip

特点：

clusterip模式只能在集群内访问，并对集群内的pod提供健康检测和自动发现功能

示例：

[root@k8s-master ~]# vim myapp.yml 
---
apiVersion: v1
kind: Service
metadata:
  labels:
    app: timinglee 
  name: timinglee
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: timinglee
  type: ClusterIP

[root@k8s-master ~]# kubectl apply -f myapp.yml 
service/timinglee created

[root@k8s-master ~]# kubectl get service
NAME         TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   10.96.0.1       <none>        443/TCP   31d
timinglee    ClusterIP   10.110.19.199   <none>        80/TCP    16s
 

#service创建后集群DNS提供解析

[root@k8s-master ~]# kubectl -n kube-system get svc
NAME       TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)                  AGE
kube-dns   ClusterIP   10.96.0.10   <none>        53/UDP,53/TCP,9153/TCP   31d
[root@k8s-master ~]# kubectl get svc
NAME         TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   10.96.0.1       <none>        443/TCP   31d
timinglee    ClusterIP   10.110.19.199   <none>        80/TCP    12m

[root@k8s-master ~]# dig timinglee.dedault.svc.cluster.local@10.96.0.10

; <<>> DiG 9.16.23-RH <<>> timinglee.dedault.svc.cluster.local@10.96.0.10
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 48678
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 1, ADDITIONAL: 0

;; QUESTION SECTION:
;timinglee.dedault.svc.cluster.local\@10.96.0.10. IN A

;; AUTHORITY SECTION:
.            3600    IN    SOA    a.root-servers.net. nstld.verisign-grs.com. 2024101500 1800 900 604800 86400

;; Query time: 1066 msec
;; SERVER: 114.114.114.114#53(114.114.114.114)
;; WHEN: Tue Oct 15 15:48:32 CST 2024
;; MSG SIZE  rcvd: 139

4.2 ClusterIP中的特殊模式headless

headless（无头服务）

对于无头 Services 并不会分配 Cluster IP，kube-proxy不会处理它们， 而且平台也不会为它们进行负载均衡和路由，集群访问通过dns解析直接指向到业务pod上的IP，所有的调度有dns单独完成

[root@k8s-master ~]# kubectl delete -f myapp.yml 
service "timinglee" deleted
[root@k8s-master ~]# vim myapp.yml 
[root@k8s-master ~]# cat myapp.yml 
---
apiVersion: v1
kind: Service
metadata:
  labels:
    app: timinglee 
  name: timinglee
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: timinglee
  type: ClusterIP
  clusterIP: None


[root@k8s-master ~]# kubectl apply -f myapp.yml 
service/timinglee created


[root@k8s-master ~]# kubectl get service timinglee 
NAME        TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
timinglee   ClusterIP   None         <none>        80/TCP    51s

[root@k8s-master ~]# dig timinglee.dedault.svc.cluster.local@10.96.0.10

; <<>> DiG 9.16.23-RH <<>> timinglee.dedault.svc.cluster.local@10.96.0.10
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 57288
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 1, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 512
;; QUESTION SECTION:
;timinglee.dedault.svc.cluster.local\@10.96.0.10. IN A

;; AUTHORITY SECTION:
.            3233    IN    SOA    a.root-servers.net. nstld.verisign-grs.com. 2024101500 1800 900 604800 86400

;; Query time: 27 msec
;; SERVER: 114.114.114.114#53(114.114.114.114)
;; WHEN: Tue Oct 15 15:54:39 CST 2024
;; MSG SIZE  rcvd: 150


[root@k8s-master ~]# kubectl run test --image reg.timinglee.org/library/busyboxplus:latest -it
If you don't see a command prompt, try pressing enter.

/ # nslookup timinglee.default.svc.cluster.local.
Server:    10.96.0.10
Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local

Name:      timinglee.default.svc.cluster.local.
Address 1: 10.96.132.41 timinglee.default.svc.cluster.local
/ # curl timinglee.default.svc.cluster.local.
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>
/ # curl timinglee
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>
/ # curl timinglee/hostname.html
timinglee-56f99b7f4b-fnqrp          

4.3 nodeport

通过ipvs暴漏端口从而使外部主机通过master节点的对外ip:<port>来访问pod业务

其访问过程为：

示例：

[root@k8s-master ~]# vim timinglee.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  creationTimestamp: null
  labels:
    app: timinglee
  name: timinglee
spec:
  replicas: 2
  selector:
    matchLabels:
      app: timinglee
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: timinglee
    spec:
      containers:
      - image: reg.timinglee.org/library/myapp:v1
        name: myapp
        resources: {}
status: {}

---
apiVersion: v1
kind: Service
metadata:
  creationTimestamp: null
  labels:
    app: timinglee
  name: timinglee
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: timinglee
  type: NodePort
status:
  loadBalancer: {}

[root@k8s-master ~]# kubectl apply -f timinglee.yaml 
deployment.apps/timinglee created
service/timinglee created
[root@k8s-master ~]# kubectl get pod
NAME                         READY   STATUS    RESTARTS   AGE
timinglee-56f99b7f4b-blxbj   1/1     Running   0          5s
timinglee-56f99b7f4b-sbl2r   1/1     Running   0          5s
[root@k8s-master ~]# kubectl get service
NAME         TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
kubernetes   ClusterIP   10.96.0.1       <none>        443/TCP        31d
timinglee    NodePort    10.103.125.62   <none>        80:32494/TCP   15s
[root@k8s-master ~]# curl 192.168.10.100:32494
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>
[root@k8s-master ~]# curl 192.168.10.100:32494/hostname.html
timinglee-56f99b7f4b-sbl2r
[root@k8s-master ~]# curl 192.168.10.100:32494/hostname.html
timinglee-56f99b7f4b-blxbj

注意：

nodeport默认端口

nodeport默认端口是30000-32767，超出会报错

[root@k8s-master ~]# vim timinglee.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  creationTimestamp: null
  labels:
    app: timinglee
  name: timinglee
spec:
  replicas: 2
  selector:
    matchLabels:
      app: timinglee
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: timinglee
    spec:
      containers:
      - image: reg.timinglee.org/library/myapp:v1
        name: myapp

---
apiVersion: v1
kind: Service
metadata:
  creationTimestamp: null
  labels:
    app: timinglee-service
  name: timinglee-service
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
    nodePort: 33333
  selector:
    app: timinglee
  type: NodePort
status:
  loadBalancer: {}

[root@k8s-master ~]# kubectl apply -f timinglee.yaml 
deployment.apps/timinglee created
The Service "timinglee-service" is invalid: spec.ports[0].nodePort: Invalid value: 33333: provided port is not in the valid range. The range of valid ports is 30000-32767

如果需要使用这个范围以外的端口就需要特殊设定

[root@k8s-master ~]# vim /etc/kubernetes/manifests/kube-apiserver.yaml 

- --service-node-port-range=30000-40000

注意：

添加“--service-node-port-range=“ 参数，端口范围可以自定义

修改后api-server会自动重启，等apiserver正常启动后才能操作集群

集群重启自动完成在修改完参数后全程不需要人为干预

4.4 loadbalancer

云平台会为我们分配vip并实现访问，如果是裸金属主机那么需要metallb来实现ip的分配

[root@k8s-master ~]# vim timinglee.yaml 
......

---
apiVersion: v1
kind: Service
metadata:
  creationTimestamp: null
  labels:
    app: timinglee-service
  name: timinglee-service
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: timinglee
  type: LoadBalancer
status:
  loadBalancer: {}
[root@k8s-master ~]# kubectl delete -f timinglee.yaml 
deployment.apps "timinglee" deleted
service "timinglee-service" deleted
[root@k8s-master ~]# kubectl apply -f timinglee.yaml 
deployment.apps/timinglee created
service/timinglee-service created
[root@k8s-master ~]# kubectl get service
NAME                TYPE           CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
kubernetes          ClusterIP      10.96.0.1       <none>        443/TCP        31d
timinglee-service   LoadBalancer   10.111.37.137   <pending>     80:37927/TCP   12s

LoadBalancer模式适用云平台，裸金属环境需要安装metallb提供支持

4.5 metalLB

官网：Installation :: MetalLB, bare metal load-balancer for Kubernetes

metalLB功能:

为LoadBalancer分配vip

部署方式

1.设置ipvs模式

[root@k8s-master ~]# kubectl edit cm -n kube-system kube-proxy 
configmap/kube-proxy edited
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: "ipvs"
ipvs:
  strictARP: true

[root@k8s-master ~]# kubectl -n kube-system get  pods   | awk '/kube-proxy/{system("kubectl -n kube-system delete pods "$1)}'
pod "kube-proxy-6785p" deleted
pod "kube-proxy-vmk8g" deleted
pod "kube-proxy-w4qgl" deleted

2.下载部署文件(资源已发)
[root@k8s2 metallb]# wget https://raw.githubusercontent.com/metallb/metallb/v0.13.12/config/manifests/metallb-native.yaml 

  

3.修改文件中镜像地址,与harbor仓库路径保持一致
[root@k8s-master ~]# vim metallb-native.yaml
...
image: metallb/controller:v0.14.8
image: metallb/speaker:v0.14.8

4.上传镜像到harbor
[root@k8s-master ~]# docker pull quay.io/metallb/controller:v0.14.8
[root@k8s-master ~]# docker pull quay.io/metallb/speaker:v0.14.8

[root@k8s-master metallb]# docker load -i metalLB.tag.gz 
f144bb4c7c7f: Loading layer  327.7kB/327.7kB
49626df344c9: Loading layer  40.96kB/40.96kB
945d17be9a3e: Loading layer  2.396MB/2.396MB
4d049f83d9cf: Loading layer  1.536kB/1.536kB
af5aa97ebe6c: Loading layer   2.56kB/2.56kB
ac805962e479: Loading layer   2.56kB/2.56kB
bbb6cacb8c82: Loading layer   2.56kB/2.56kB
2a92d6ac9e4f: Loading layer  1.536kB/1.536kB
1a73b54f556b: Loading layer  10.24kB/10.24kB
f4aee9e53c42: Loading layer  3.072kB/3.072kB
b336e209998f: Loading layer  238.6kB/238.6kB
371134a463a4: Loading layer  61.38MB/61.38MB
6e64357636e3: Loading layer  13.31kB/13.31kB
Loaded image: quay.io/metallb/controller:v0.14.8
0b8392a2e3be: Loading layer  2.137MB/2.137MB
3d5a6e3a17d1: Loading layer  65.46MB/65.46MB
8311c2bd52ed: Loading layer  49.76MB/49.76MB
4f4d43efeed6: Loading layer  3.584kB/3.584kB
881ed6f5069a: Loading layer  13.31kB/13.31kB
Loaded image: quay.io/metallb/speaker:v0.14.8
 

[root@k8s-master ~]# docker tag quay.io/metallb/speaker:v0.14.8 reg.timinglee.org/metallb/speaker:v0.14.8
[root@k8s-master ~]# docker tag quay.io/metallb/controller:v0.14.8 reg.timinglee.org/metallb/controller:v0.14.8

[root@k8s-master ~]# docker push reg.timinglee.org/metallb/speaker:v0.14.8
[root@k8s-master ~]# docker push reg.timinglee.org/metallb/controller:v0.14.8

5.部署服务

[root@k8s-master metallb]# kubectl apply -f metallb-native.yaml

[root@k8s-master metallb]# kubectl -n metallb-system get pods
NAME                          READY   STATUS    RESTARTS   AGE
controller-584575df59-wblql   1/1     Running   0          29s
speaker-8xwvh                 1/1     Running   0          29s
speaker-m845b                 1/1     Running   0          29s
speaker-wrvh7                 1/1     Running   0          29s
 

6.配置分配地址段

[root@k8s-master metallb]# vim configmap.yml 
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
  name: first-pool                #地址池名称
  namespace: metallb-system
spec:
  addresses:
  - 192.168.10.10-192.168.10.200        #修改为自己本地地址段

---                       #两个不同的kind中间必须加分割 
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
  name: example
  namespace: metallb-system
spec:
  ipAddressPools:
  - first-pool        #使用地址池

[root@k8s-master ~]# kubectl get service
NAME                TYPE           CLUSTER-IP       EXTERNAL-IP     PORT(S)        AGE
kubernetes          ClusterIP      10.96.0.1        <none>          443/TCP        31d
timinglee-service   LoadBalancer   10.105.122.155   192.168.10.50   80:36677/TCP   11s

#通过分配地址从集群外访问服务

[root@k8s-master ~]# curl 192.168.10.50
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>

4.6 externalname

  • 开启services后，不会被分配IP，而是用dns解析CNAME固定域名来解决ip变化问题

  • 一般应用于外部业务和pod沟通或外部业务迁移到pod内时

  • 在应用向集群迁移过程中，externalname在过度阶段就可以起作用了。

  • 集群外的资源迁移到集群时，在迁移的过程中ip可能会变化，但是域名+dns解析能完美解决此问题

示例：

[root@k8s-master ~]# vim timinglee.yaml 
[root@k8s-master ~]# cat timinglee.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  creationTimestamp: null
  labels:
    app: timinglee
  name: timinglee
spec:
  replicas: 2
  selector:
    matchLabels:
      app: timinglee
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: timinglee
    spec:
      containers:
      - image: reg.timinglee.org/library/myapp:v1
        name: myapp

---
apiVersion: v1
kind: Service
metadata:
  creationTimestamp: null
  labels:
    app: timinglee-service
  name: timinglee-service
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: timinglee
  type: ExternalName
  externalName: www.timinglee.org
status:
  loadBalancer: {}

[root@k8s-master ~]# kubectl get service
NAME                TYPE           CLUSTER-IP   EXTERNAL-IP         PORT(S)   AGE
kubernetes          ClusterIP      10.96.0.1    <none>              443/TCP   31d
timinglee-service   ExternalName   <none>       www.timinglee.org   80/TCP    8s

五 Ingress-nginx

官网：

Installation Guide - Ingress-Nginx Controller

5.1 ingress-nginx功能

  • 一种全局的、为了代理不同后端 Service 而设置的负载均衡服务,支持7层
  • Ingress由两部分组成：Ingress controller和Ingress服务
  • Ingress Controller 会根据你定义的 Ingress 对象，提供对应的代理能力。
  • 业界常用的各种反向代理项目，比如 Nginx、HAProxy、Envoy、Traefik 等，都已经为Kubernetes 专门维护了对应的 Ingress Controller。

5.2 部署ingress

#部署前准备工作

[root@k8s-master ~]# kubectl create deployment myappv1 --image reg.timinglee.org/library/myapp:v1 --dry-run=client -o yaml > myapp-v1.yml
[root@k8s-master ~]# cp myapp-v1.yml myapp-v2.yml
[root@k8s-master ~]# vim myapp-v2.yml 
[root@k8s-master ~]# cat myapp-v1.yml 
apiVersion: apps/v1
kind: Deployment
metadata:
  creationTimestamp: null
  labels:
    app: myappv1
  name: myappv1
spec:
  replicas: 1
  selector:
    matchLabels:
      app: myappv1
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: myappv1
    spec:
      containers:
      - image: reg.timinglee.org/library/myapp:v1
        name: myapp
        resources: {}
status: {}
[root@k8s-master ~]# cat myapp-v2.yml 
apiVersion: apps/v1
kind: Deployment
metadata:
  creationTimestamp: null
  labels:
    app: myappv2
  name: myappv2
spec:
  replicas: 1
  selector:
    matchLabels:
      app: myappv2
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: myappv2
    spec:
      containers:
      - image: reg.timinglee.org/library/myapp:v2
        name: myapp2
        resources: {}
status: {}
[root@k8s-master ~]# kubectl apply -f myapp-v1.yml 
deployment.apps/myappv1 created
[root@k8s-master ~]# kubectl apply -f myapp-v2.yml 
deployment.apps/myappv2 created
[root@k8s-master ~]# kubectl get pod
NAME                       READY   STATUS    RESTARTS   AGE
myappv1-78ff74589d-mqm6k   1/1     Running   0          11s
myappv2-68578565d8-swgzv   1/1     Running   0          6s

[root@k8s-master ~]# kubectl expose deployment myappv1 --port 80 --target-port 80 --dry-run=client -o yaml >> myapp-v1.yml 
[root@k8s-master ~]# kubectl expose deployment myappv2 --port 80 --target-port 80 --dry-run=client -o yaml >> myapp-v2.yml

[root@k8s-master ~]# vim myapp-v1.yml 
[root@k8s-master ~]# vim myapp-v2.yml 
[root@k8s-master ~]# cat myapp-v1.yml 
apiVersion: apps/v1
kind: Deployment
metadata:
  creationTimestamp: null
  labels:
    app: myappv1
  name: myappv1
spec:
  replicas: 1
  selector:
    matchLabels:
      app: myappv1
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: myappv1
    spec:
      containers:
      - image: reg.timinglee.org/library/myapp:v1
        name: myapp
        resources: {}
status: {}

---
apiVersion: v1
kind: Service
metadata:
  creationTimestamp: null
  labels:
    app: myappv1
  name: myappv1
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: myappv1
status:
  loadBalancer: {}
[root@k8s-master ~]# cat myapp-v2.yml 
apiVersion: apps/v1
kind: Deployment
metadata:
  creationTimestamp: null
  labels:
    app: myappv2
  name: myappv2
spec:
  replicas: 1
  selector:
    matchLabels:
      app: myappv2
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: myappv2
    spec:
      containers:
      - image: reg.timinglee.org/library/myapp:v2
        name: myapp2
        resources: {}
status: {}

---
apiVersion: v1
kind: Service
metadata:
  creationTimestamp: null
  labels:
    app: myappv2
  name: myappv2
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: myappv2
status:
  loadBalancer: {}
[root@k8s-master ~]# kubectl apply -f myapp-v1.yml 
deployment.apps/myappv1 configured
service/myappv1 created
[root@k8s-master ~]# kubectl apply -f myapp-v2.yml 
deployment.apps/myappv2 configured
service/myappv2 created
[root@k8s-master ~]# kubectl get pod
NAME                       READY   STATUS    RESTARTS   AGE
myappv1-78ff74589d-mqm6k   1/1     Running   0          4m59s
myappv2-68578565d8-swgzv   1/1     Running   0          4m54s


#测试

[root@k8s-master ~]# kubectl get services
NAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   10.96.0.1      <none>        443/TCP   31d
myappv1      ClusterIP   10.100.212.4   <none>        80/TCP    45s
myappv2      ClusterIP   10.99.186.84   <none>        80/TCP    40s
[root@k8s-master ~]# curl 10.100.212.4
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>
[root@k8s-master ~]# curl 10.99.186.84
Hello MyApp | Version: v2 | <a href="hostname.html">Pod Name</a>

5.2.1 下载部署文件（资源已发）

[root@k8s-master ~]# wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.11.2/deploy/static/provider/baremetal/deploy.yaml

上传ingress所需镜像到harbor

[root@k8s-master ~]# docker tag registry.k8s.io/ingress-nginx/controller:v1.11.2@sha256:d5f8217feeac4887cb1ed21f27c2674e58be06bd8f5184cacea2a69abaf78dce reg.timinglee.org/ingress-nginx/controller:v1.11.2

[root@k8s-master ~]# docker tag registry.k8s.io/ingress-nginx/kube-webhook-certgen:v1.4.3@sha256:a320a50cc91bd15fd2d6fa6de58bd98c1bd64b9a6f926ce23a600d87043455a3 reg.timinglee.org/ingress-nginx/kube-webhook-certgen:v1.4.3

[root@k8s-master ~]# docker push reg.timinglee.org/ingress-nginx/controller:v1.11.2
[root@k8s-master ~]# docker push reg.timinglee.org/ingress-nginx/kube-webhook-certgen:v1.4.3

5.2.2 安装ingress

[root@k8s-master ~]# vim deploy.yaml
445         image: ingress-nginx/controller:v1.11.2
546         image: ingress-nginx/kube-webhook-certgen:v1.4.3
599         image: ingress-nginx/kube-webhook-certgen:v1.4.3

[root@k8s-master ingress]# kubectl apply -f deploy.yaml 

[root@k8s-master ingress]# kubectl -n ingress-nginx get pods
NAME                                        READY   STATUS      RESTARTS   AGE
ingress-nginx-admission-create-xql2j        0/1     Completed   0          38s
ingress-nginx-admission-patch-46zhq         0/1     Completed   2          38s
ingress-nginx-controller-67bd6649b6-whdjw   1/1     Running     0          38s
[root@k8s-master ingress]# 


[root@k8s-master ingress]# kubectl -n ingress-nginx get svc
NAME                                 TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx-controller             NodePort    10.96.34.154    <none>        80:38991/TCP,443:36893/TCP   63s
ingress-nginx-controller-admission   ClusterIP   10.111.70.191   <none>        443/TCP                      63s


#修改微服务为loadbalancer

[root@k8s-master ~]# kubectl -n ingress-nginx edit svc ingress-nginx-controller
49   type: LoadBalancer

[root@k8s-master ingress]# kubectl -n ingress-nginx get services
NAME                                 TYPE           CLUSTER-IP      EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx-controller             LoadBalancer   10.96.34.154    <pending>     80:38991/TCP,443:36893/TCP   4m13s
ingress-nginx-controller-admission   ClusterIP      10.111.70.191   <none>        443/TCP                      4m13s

[root@k8s-master ingress]# kubectl -n ingress-nginx get all

NAME                                            READY   STATUS      RESTARTS   AGE
pod/ingress-nginx-admission-create-xql2j        0/1     Completed   0          28m
pod/ingress-nginx-admission-patch-46zhq         0/1     Completed   2          28m
pod/ingress-nginx-controller-67bd6649b6-whdjw   1/1     Running     0          28m

NAME                                         TYPE           CLUSTER-IP      EXTERNAL-IP     PORT(S)                      AGE
service/ingress-nginx-controller             LoadBalancer   10.96.34.154    192.168.10.50   80:38991/TCP,443:36893/TCP   28m
service/ingress-nginx-controller-admission   ClusterIP      10.111.70.191   <none>          443/TCP                      28m

NAME                                       READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/ingress-nginx-controller   1/1     1            1           28m

NAME                                                  DESIRED   CURRENT   READY   AGE
replicaset.apps/ingress-nginx-controller-67bd6649b6   1         1         1       28m

NAME                                       STATUS     COMPLETIONS   DURATION   AGE
job.batch/ingress-nginx-admission-create   Complete   1/1           7s         28m
job.batch/ingress-nginx-admission-patch    Complete   1/1           20s        28m
[root@k8s-master ingress]# 

注意：

在ingress-nginx-controller中看到的对外IP就是ingress最终对外开放的ip

5.2.3 测试ingress

#生成yaml文件

[root@k8s-master ingress]# kubectl create ingress webcluster --rule '*/=timinglee-svc:80' --dry-run=client -o yaml > timinglee-ingress.yml

[root@k8s-master ingress]# vim timinglee-ingress.yml 
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: test-ingress
spec:
  rules:
  -  http:
      paths:
      - backend:
          service:
            name: timinglee-svc
            port:
              number: 80
        path: /
        pathType: Prefix

#Exact（精确匹配），ImplementationSpecific（特定实现），Prefix（前缀匹配），Regular expression（正则表达式匹配）
 

#建立ingress控制器

[root@k8s-master ingress]# kubectl apply -f timinglee-ingress.yml 
ingress.networking.k8s.io/test-ingress created


[root@k8s-master ingress]# kubectl get ingress
NAME      CLASS   HOSTS   ADDRESS         PORTS   AGE
myappv1   nginx   *       192.168.10.10   80      34s
[root@k8s-master ingress]# curl 192.168.10.50
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>

注意：ingress必须和输出的service资源处于同一namespace

5.3 ingress 的高级用法

5.3.1 基于路径的访问

1.建立用于测试的控制器myapp（上面已经做了，如果按照上面做了这个不用弄了）

[root@k8s-master ~]# kubectl create deployment myappv1 --image reg.timinglee.org/library/myapp:v1 --dry-run=client -o yaml > myapp-v1.yml
[root@k8s-master ~]# cp myapp-v1.yml myapp-v2.yml
[root@k8s-master ~]# vim myapp-v2.yml 
[root@k8s-master ~]# cat myapp-v1.yml 
apiVersion: apps/v1
kind: Deployment
metadata:
  creationTimestamp: null
  labels:
    app: myappv1
  name: myappv1
spec:
  replicas: 1
  selector:
    matchLabels:
      app: myappv1
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: myappv1
    spec:
      containers:
      - image: reg.timinglee.org/library/myapp:v1
        name: myapp
        resources: {}
status: {}
[root@k8s-master ~]# cat myapp-v2.yml 
apiVersion: apps/v1
kind: Deployment
metadata:
  creationTimestamp: null
  labels:
    app: myappv2
  name: myappv2
spec:
  replicas: 1
  selector:
    matchLabels:
      app: myappv2
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: myappv2
    spec:
      containers:
      - image: reg.timinglee.org/library/myapp:v2
        name: myapp2
        resources: {}
status: {}
[root@k8s-master ~]# kubectl apply -f myapp-v1.yml 
deployment.apps/myappv1 created
[root@k8s-master ~]# kubectl apply -f myapp-v2.yml 
deployment.apps/myappv2 created
[root@k8s-master ~]# kubectl get pod
NAME                       READY   STATUS    RESTARTS   AGE
myappv1-78ff74589d-mqm6k   1/1     Running   0          11s
myappv2-68578565d8-swgzv   1/1     Running   0          6s

[root@k8s-master ~]# kubectl expose deployment myappv1 --port 80 --target-port 80 --dry-run=client -o yaml >> myapp-v1.yml 
[root@k8s-master ~]# kubectl expose deployment myappv2 --port 80 --target-port 80 --dry-run=client -o yaml >> myapp-v2.yml

[root@k8s-master ~]# vim myapp-v1.yml 
[root@k8s-master ~]# vim myapp-v2.yml 
[root@k8s-master ~]# cat myapp-v1.yml 
apiVersion: apps/v1
kind: Deployment
metadata:
  creationTimestamp: null
  labels:
    app: myappv1
  name: myappv1
spec:
  replicas: 1
  selector:
    matchLabels:
      app: myappv1
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: myappv1
    spec:
      containers:
      - image: reg.timinglee.org/library/myapp:v1
        name: myapp
        resources: {}
status: {}

---
apiVersion: v1
kind: Service
metadata:
  creationTimestamp: null
  labels:
    app: myappv1
  name: myappv1
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: myappv1
status:
  loadBalancer: {}
[root@k8s-master ~]# cat myapp-v2.yml 
apiVersion: apps/v1
kind: Deployment
metadata:
  creationTimestamp: null
  labels:
    app: myappv2
  name: myappv2
spec:
  replicas: 1
  selector:
    matchLabels:
      app: myappv2
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: myappv2
    spec:
      containers:
      - image: reg.timinglee.org/library/myapp:v2
        name: myapp2
        resources: {}
status: {}

---
apiVersion: v1
kind: Service
metadata:
  creationTimestamp: null
  labels:
    app: myappv2
  name: myappv2
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: myappv2
status:
  loadBalancer: {}
[root@k8s-master ~]# kubectl apply -f myapp-v1.yml 
deployment.apps/myappv1 configured
service/myappv1 created
[root@k8s-master ~]# kubectl apply -f myapp-v2.yml 
deployment.apps/myappv2 configured
service/myappv2 created
[root@k8s-master ~]# kubectl get pod
NAME                       READY   STATUS    RESTARTS   AGE
myappv1-78ff74589d-mqm6k   1/1     Running   0          4m59s
myappv2-68578565d8-swgzv   1/1     Running   0          4m54s

[root@k8s-master ~]# kubectl get services
NAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   10.96.0.1      <none>        443/TCP   31d
myappv1      ClusterIP   10.100.212.4   <none>        80/TCP    45s
myappv2      ClusterIP   10.99.186.84   <none>        80/TCP    40s

2.建立ingress的yaml

[root@k8s-master ingress]# vim ingress.yml 
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /        #访问路径后加任何内容都被定向到/
  name: ingress1
spec:
  ingressClassName: nginx
  rules:
  - host: www.timinglee.org
    http:
      paths:
      - backend:
          service:
            name: myappv1
            port:
              number: 80
        path: /v1
        pathType: Prefix

      - backend:
          service:
            name: myappv2
            port:
              number: 80
        path: /v2
        pathType: Prefix

#测试：

[root@k8s-master ingress]# kubectl apply -f ingress.yml 
ingress.networking.k8s.io/ingress1 created

[root@k8s-master ingress]# echo 192.168.10.50 www.timinglee.org >> /etc/hosts
[root@k8s-master ingress]# curl www.timinglee.org/v1
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>
[root@k8s-master ingress]# curl www.timinglee.org/v2
Hello MyApp | Version: v2 | <a href="hostname.html">Pod Name</a>

#nginx.ingress.kubernetes.io/rewrite-target: / 的功能实现

[root@k8s-master ingress]# curl www.timinglee.org/v2/aaa
Hello MyApp | Version: v2 | <a href="hostname.html">Pod Name</a>

5.3.2 基于域名的访问

 #在测试主机中设定解析

[root@reg ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.130    reg.timinglee.org
192.168.10.50 www.timinglee.org myappv1.timinglee.org myappv2.timinglee.org

# 建立基于域名的yml文件

[root@k8s-master ingress]# vim ingress2.yml 
[root@k8s-master ingress]# cat ingress2.yml 
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
  name: ingress2
spec:
  ingressClassName: nginx
  rules:
  - host: myappv1.timinglee.org
    http:
      paths:
      - backend:
          service:
            name: myappv1
            port:
              number: 80
        path: /
        pathType: Prefix

  - host: myappv2.timinglee.org
    http:
      paths:
      - backend:
          service:
            name: myappv2
            port:
              number: 80
        path: /
        pathType: Prefix

#利用文件建立ingress

[root@k8s-master ingress]# kubectl apply -f ingress2.yml 
ingress.networking.k8s.io/ingress2 created


[root@k8s-master ingress]# kubectl describe ingress ingress2 
Name:             ingress2
Labels:           <none>
Namespace:        default
Address:          192.168.10.10
Ingress Class:    nginx
Default backend:  <default>
Rules:
  Host                   Path  Backends
  ----                   ----  --------
  myappv1.timinglee.org  
                         /   myappv1:80 (10.244.1.23:80)
  myappv2.timinglee.org  
                         /   myappv2:80 (10.244.2.20:80)
Annotations:             nginx.ingress.kubernetes.io/rewrite-target: /
Events:
  Type    Reason  Age                From                      Message
  ----    ------  ----               ----                      -------
  Normal  Sync    30s (x2 over 66s)  nginx-ingress-controller  Scheduled for sync

#在测试主机中测试

[root@reg ~]# curl myappv1.timinglee.org
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>
[root@reg ~]# curl myappv2.timinglee.org
Hello MyApp | Version: v2 | <a href="hostname.html">Pod Name</a>

5.3.3 建立tls加密

 #建立证书

[root@k8s-master tls]# openssl req -newkey rsa:2048 -nodes -keyout tls.key -x509 -days 365 -subj "/CN=nginxsvc/O=nginxsvc" -out tls.crt
.....+..+.............+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++*..+........+....+..+.+.........+.....+...+.+......+...............+...+.....+.+...........+.+..+...+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++*....+...............+..+...+....+..+.+............+..+...............+....+..+.............+.....+....+.....+...+....+...+.....+.+...........+.+..+......+.........+......+.+.........+.....+.......+.....+.......+......+.....+.......+..+......+.+......+..+.+..............+.......+......+..+...+.........+....+.........+..+.+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
....+...............+...+.+..+.......+.....+.+..+.......+...+..+.+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++*.........+...+........+.........+...+....+...+.....+......+.......+...+.....+....+...+...+.........+..+...+..........+...+..+......+.........+.+............+..+.......+.....+......+...+.+......+...+..+.......+...+.................+.+..+...+....+......+..+.........+....+...........+.+..+.+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++*.+............+..+...+.+......+...........+...+.........+.+...........+...+...+....+.....+.........+....+..+.........+.......+.........+...+...............+...+..+...+...+.+...+...........+......+......+...+....+...+..+.......+...........+..........+..+...+....+.........+.....+....+...........+..........+.....+......+.+..+......+....+.....+...+....+...+..+.........+......+..........+.........+..+..........+..+.+.....+.+.....+.+..................+......+...+..+...+......+..........+...............+.........+........+...+.+...+......+.....+.+......+..............+.........+.+......+.......................+.........+...+....+.........+..............+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
-----
 

#建立加密资源类型secret

[root@k8s-master tls]# ls
tls.crt  tls.key
[root@k8s-master tls]# kubectl create secret tls web-tls-secret --key tls.key --cert tls.crt 
secret/web-tls-secret created
[root@k8s-master tls]# kubectl get secrets 
NAME             TYPE                DATA   AGE
web-tls-secret   kubernetes.io/tls   2      12s

注意：

secret通常在kubernetes中存放敏感数据，他并不是一种加密方式，在后面课程中会有专门讲解

#建立ingress3基于tls认证的yml文件

[root@k8s-master tls]# vim ingress3.yml 
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
  name: ingress3
spec:
  tls:
  - hosts:
    - myapp-tls.timinglee.org
    secretName: web-tls-secret
  ingressClassName: nginx
  rules:
  - host: myapp-tls.timinglee.org
    http:
      paths:
      - backend:
          service:
            name: myappv1
            port:
              number: 80
        path: /
        pathType: Prefix


[root@k8s-master tls]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.10    k8s-node
192.168.10.20    k8s-node2
192.168.10.100    k8s-master
192.168.10.130    reg.timinglee.org
192.168.10.50 www.timinglee.org myapp-tls.timinglee.org 

[root@k8s-master tls]# kubectl apply -f ingress3.yml 
ingress.networking.k8s.io/ingress3 created
 

#测试

[root@k8s-master tls]# curl -k https://myapp-tls.timinglee.org
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>

5.3.4 建立auth认证

#建立认证文件

[root@k8s-master tls]# yum install httpd-tools.x86_64 -y
[root@k8s-master tls]# htpasswd -cm auth lee
New password:                 #密码是123
Re-type new password: 
Adding password for user lee
[root@k8s-master tls]# cat auth 
lee:$apr1$BgZiZC5c$UZ559xczgGxU0ejRWypgs0

#建立认证类型资源

[root@k8s-master tls]# kubectl create secret generic auth-web --from-file auth 
secret/auth-web created
[root@k8s-master tls]# kubectl describe secrets auth-web 
Name:         auth-web
Namespace:    default
Labels:       <none>
Annotations:  <none>

Type:  Opaque

Data
====
auth:  42 bytes

#建立ingress4基于用户认证的yaml文件

[root@k8s-master tls]# vim ingress4.yml 
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/auth-type: basic
    nginx.ingress.kubernetes.io/auth-secret: auth-web
    nginx.ingress.kubernetes.io/auth-realm: "Please input username and password" 
  name: ingress4
spec:
  tls:
  - hosts:
    - myapp-tls.timinglee.org
    secretName: web-tls-secret
  ingressClassName: nginx
  rules:
  - host: myapp-tls.timinglee.org
    http:
      paths:
      - backend:
          service:
            name: myappv1
            port:
              number: 80
        path: /
        pathType: Prefix


#建立ingress4

[root@k8s-master tls]# kubectl apply -f ingress4.yml 
ingress.networking.k8s.io/ingress4 created
[root@k8s-master tls]# kubectl describe ingress ingress4
Name:             ingress4
Labels:           <none>
Namespace:        default
Address:          
Ingress Class:    nginx
Default backend:  <default>
TLS:
  web-tls-secret terminates myapp-tls.timinglee.org
Rules:
  Host                     Path  Backends
  ----                     ----  --------
  myapp-tls.timinglee.org  
                           /   myappv1:80 (10.244.1.23:80)
Annotations:               nginx.ingress.kubernetes.io/auth-realm: Please input username and password
                           nginx.ingress.kubernetes.io/auth-secret: auth-web
                           nginx.ingress.kubernetes.io/auth-type: basic
Events:
  Type    Reason  Age   From                      Message
  ----    ------  ----  ----                      -------
  Normal  Sync    30s   nginx-ingress-controller  Scheduled for sync


#测试：

[root@k8s-master tls]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.10    k8s-node
192.168.10.20    k8s-node2
192.168.10.100    k8s-master
192.168.10.130    reg.timinglee.org
192.168.10.50 www.timinglee.org myapp-tls.timinglee.org 

[root@k8s-master tls]# curl -k https://myapp-tls.timinglee.org
<html>
<head><title>401 Authorization Required</title></head>
<body>
<center><h1>401 Authorization Required</h1></center>
<hr><center>nginx</center>
</body>
</html>

[root@k8s-master tls]# curl -k https://myapp-tls.timinglee.org -ulee:123
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>

5.3.5 rewrite重定向

#指定默认访问的文件到hostname.html上

[root@k8s-master tls]# vim ingress5.yml 
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/app-root: /hostname.html
    nginx.ingress.kubernetes.io/auth-type: basic
    nginx.ingress.kubernetes.io/auth-secret: auth-web
    nginx.ingress.kubernetes.io/auth-realm: "Please input username and password" 
  name: ingress5
spec:
  tls:
  - hosts:
    - myapp-tls.timinglee.org
    secretName: web-tls-secret
  ingressClassName: nginx
  rules:
  - host: myapp-tls.timinglee.org
    http:
      paths:
      - backend:
          service:
            name: myappv1
            port:
              number: 80
        path: /
        pathType: Prefix

[root@k8s-master tls]# kubectl apply -f ingress5.yml 
ingress.networking.k8s.io/ingress5 created


[root@k8s-master tls]# kubectl describe ingress ingress5 
Name:             ingress5
Labels:           <none>
Namespace:        default
Address:          
Ingress Class:    nginx
Default backend:  <default>
TLS:
  web-tls-secret terminates myapp-tls.timinglee.org
Rules:
  Host                     Path  Backends
  ----                     ----  --------
  myapp-tls.timinglee.org  
                           /   myappv1:80 (10.244.1.23:80)
Annotations:               nginx.ingress.kubernetes.io/app-root: /hostname.html
                           nginx.ingress.kubernetes.io/auth-realm: Please input username and password
                           nginx.ingress.kubernetes.io/auth-secret: auth-web
                           nginx.ingress.kubernetes.io/auth-type: basic
Events:
  Type    Reason  Age   From                      Message
  ----    ------  ----  ----                      -------
  Normal  Sync    57s   nginx-ingress-controller  Scheduled for sync


#测试：

[root@k8s-master tls]# curl -Lk https://myapp-tls.timinglee.org -ulee:123
myappv1-78ff74589d-mqm6k

[root@k8s-master tls]# curl -Lk https://myapp-tls.timinglee.org/hostname.html -ulee:123
myappv1-78ff74589d-mqm6k

[root@k8s-master tls]# curl -Lk https://myapp-tls.timinglee.org/lee/hostname.html -ulee:123
<html>
<head><title>404 Not Found</title></head>
<body bgcolor="white">
<center><h1>404 Not Found</h1></center>
<hr><center>nginx/1.12.2</center>
</body>
</html>

#解决重定向路径问题

[root@k8s-master tls]# vim ingress6.yml 
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /$2
    nginx.ingress.kubernetes.io/use-regex: "true"
    nginx.ingress.kubernetes.io/auth-type: basic
    nginx.ingress.kubernetes.io/auth-secret: auth-web
    nginx.ingress.kubernetes.io/auth-realm: "Please input username and password" 
  name: ingress6
spec:
  tls:
  - hosts:
    - myapp-tls.timinglee.org
    secretName: web-tls-secret
  ingressClassName: nginx
  rules:
  - host: myapp-tls.timinglee.org
    http:
      paths:
      - backend:
          service:
            name: myappv1
            port:
              number: 80
        path: /
        pathType: Prefix

      - backend:
          service:
            name: myappv1
            port:
              number: 80
        path: /lee(/|$)(.*)
        pathType: ImplementationSpecific


[root@k8s-master tls]# kubectl apply -f ingress6.yml 
ingress.networking.k8s.io/ingress6 created
[root@k8s-master tls]# curl -Lk https://myapp-tls.timinglee.org/lee/hostname.html -ulee:123
myappv1-78ff74589d-mqm6k

六 Canary金丝雀发布

6.1 什么是金丝雀发布

金丝雀发布（Canary Release）也称为灰度发布，是一种软件发布策略。

主要目的是在将新版本的软件全面推广到生产环境之前，先在一小部分用户或服务器上进行测试和验证，以降低因新版本引入重大问题而对整个系统造成的影响。

是一种Pod的发布方式。金丝雀发布采取先添加、再删除的方式，保证Pod的总量不低于期望值。并且在更新部分Pod后，暂停更新，当确认新Pod版本运行正常后再进行其他版本的Pod的更新。

6.2 Canary发布方式

其中header和weiht中的最多

6.2.1 基于header（http包头）灰度

  • 通过Annotaion扩展
  • 创建灰度ingress，配置灰度头部key以及value
  • 灰度流量验证完毕后，切换正式ingress到新版本
  • 之前我们在做升级时可以通过控制器做滚动更新，默认25%利用header可以使升级更为平滑，通过key 和vule 测试新的业务体系是否有问题。

示例：

#建立版本1的ingress

[root@k8s-master tls]# vim ingress7.yml 
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
  name: myapp-v1-ingress
spec:
  ingressClassName: nginx
  rules:
  - host: myapp.timinglee.org
    http:
      paths:
      - backend:
          service:
            name: myappv1
            port:
              number: 80
        path: /
        pathType: Prefix

[root@k8s-master tls]# kubectl apply -f ingress7.yml 
ingress.networking.k8s.io/myapp-v1-ingress created
[root@k8s-master tls]# kubectl describe ingress myapp-v1-ingress 
Name:             myapp-v1-ingress
Labels:           <none>
Namespace:        default
Address:          
Ingress Class:    nginx
Default backend:  <default>
Rules:
  Host                 Path  Backends
  ----                 ----  --------
  myapp.timinglee.org  
                       /   myappv1:80 (10.244.1.23:80)
Annotations:           <none>
Events:
  Type    Reason  Age   From                      Message
  ----    ------  ----  ----                      -------
  Normal  Sync    15s   nginx-ingress-controller  Scheduled for sync

#测试：

[root@k8s-master tls]# curl myapp.timinglee.org
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>

#建立基于header的ingress

[root@k8s-master tls]# vim ingress8.yml 
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/canary: "true"
    nginx.ingress.kubernetes.io/canary-by-header: version
    nginx.ingress.kubernetes.io/canary-by-header-value: "2"  
  name: myapp-v2-ingress
spec:
  ingressClassName: nginx
  rules:
  - host: myapp.timinglee.org
    http:
      paths:
      - backend:
          service:
            name: myappv2
            port:
              number: 80
        path: /
        pathType: Prefix

[root@k8s-master tls]# kubectl apply -f ingress8.yml 
ingress.networking.k8s.io/myapp-v2-ingress created
[root@k8s-master tls]# kubectl describe ingress myapp-v2-ingress 
Name:             myapp-v2-ingress
Labels:           <none>
Namespace:        default
Address:          192.168.10.10
Ingress Class:    nginx
Default backend:  <default>
Rules:
  Host                 Path  Backends
  ----                 ----  --------
  myapp.timinglee.org  
                       /   myappv2:80 (10.244.2.20:80)
Annotations:           nginx.ingress.kubernetes.io/canary: true
                       nginx.ingress.kubernetes.io/canary-by-header: version
                       nginx.ingress.kubernetes.io/canary-by-header-value: 2
Events:
  Type    Reason  Age                From                      Message
  ----    ------  ----               ----                      -------
  Normal  Sync    24s (x2 over 53s)  nginx-ingress-controller  Scheduled for sync


#测试：

[root@k8s-master tls]# curl -H "version: 2"  myapp.timinglee.org
Hello MyApp | Version: v2 | <a href="hostname.html">Pod Name</a>

6.2.2 基于权重的灰度发布

  • 通过Annotaion拓展

  • 创建灰度ingress，配置灰度权重以及总权重

  • 灰度流量验证完毕后，切换正式ingress到新版本

示例

#基于权重的灰度发布

[root@k8s-master tls]# vim ingress9.yml 
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/canary: "true"
    nginx.ingress.kubernetes.io/canary-weight: "10"        #更改权重值
    nginx.ingress.kubernetes.io/canary-weight-total: "100"  
  name: myapp-v2-ingress
spec:
  ingressClassName: nginx
  rules:
  - host: myapp.timinglee.org
    http:
      paths:
      - backend:
          service:
            name: myappv2
            port:
              number: 80
        path: /
        pathType: Prefix

[root@k8s-master tls]# kubectl apply -f ingress9.yml 
ingress.networking.k8s.io/myapp-v2-ingress created


#测试：

[root@k8s-master tls]# vim check_ingress.sh 
#!/bin/bash
v1=0
v2=0

for (( i=0; i<100; i++))
do
    response=`curl -s myapp.timinglee.org |grep -c v1`

    v1=`expr $v1 + $response`
    v2=`expr $v2 + 1 - $response`

done
echo "v1:$v1, v2:$v2"
[root@k8s-master tls]# kubectl apply -f ingress7.yml 
ingress.networking.k8s.io/myapp-v1-ingress created
[root@k8s-master tls]# kubectl apply -f ingress8.yml 
ingress.networking.k8s.io/myapp-v2-ingress configured
[root@k8s-master tls]# kubectl apply -f ingress9.yml 
ingress.networking.k8s.io/myapp-v2-ingress configured

[root@k8s-master tls]# kubectl get ingress
NAME               CLASS   HOSTS                 ADDRESS         PORTS   AGE
myapp-v1-ingress   nginx   myapp.timinglee.org   192.168.10.10   80      56s
myapp-v2-ingress   nginx   myapp.timinglee.org   192.168.10.10   80      8m7s

[root@k8s-master tls]# sh check_ingress.sh 
v1:93, v2:7
[root@k8s-master tls]# sh check_ingress.sh 
v1:88, v2:12
[root@k8s-master tls]# sh check_ingress.sh 
v1:92, v2:8


#更改完毕权重后继续测试可观察变化

#更改权重值为30
[root@k8s-master tls]# sh check_ingress.sh 
v1:69, v2:31
[root@k8s-master tls]# sh check_ingress.sh 
v1:68, v2:32
[root@k8s-master tls]# sh check_ingress.sh 
v1:74, v2:26

相关文章：

kubernetes中的微服务

目录 一 什么是微服务 二 微服务的类型 三 ipvs模式 3.1 ipvs模式配置方式 四 微服务类型详解 4.1 clusterip 4.2 ClusterIP中的特殊模式headless 4.3 nodeport 4.4 loadbalancer 4.5 metalLB 4.6 externalname 五 Ingress-nginx 5.1 ingress-nginx功能 5.2 部署…...

编程日记 2024/10/16 5:27:00

Python 量子机器学习及其应用

Python 量子机器学习及其应用 目录 &#x1f300; 量子机器学习的基础概念&#x1f4a1; 量子计算的原理与经典计算的区别&#x1f511; 量子算法在机器学习中的应用潜力⚛️ 量子计算与经典机器学习算法的结合&#x1f680; 案例展示&#xff1a;量子算法提升机器学习效率&a…...

编程日记 2024/10/16 5:25:58

echarts显示隐藏柱状图柱子的背景色

showBackground: true, //控制是否显示背景色backgroundStyle: {// color: rgba(180, 180, 180, 0.4) //背景色的颜色color: red} 关键代码是 showBackground: true, //控制是否显示背景色 设置为false或者直接而不写就是不显示背景色&#xff0c;默认是不显示背景色 true的时…...

编程日记 2024/10/16 5:23:55

QT文件操作【记事本】

mainwindow.h核心函数 QFileDialog::getOpenFileName()QFileDialog::getSaveFileName() #ifndef MAINWINDOW_H #define MAINWINDOW_H#include <QMainWindow> #include<QFileDialog> #include<QMessageBox> #include<QDebug> #include<QFile> #…...

编程日记 2024/10/16 5:22:54

Linux 定时备份系统日志

Linux 定时备份系统日志 SSH跨机免密登录复制备份到另一台虚机上开启定时任务 SSH跨机免密登录 定时备份首先要实现免登入 一、scp 一个文件从其他服务器到本机&#xff0c;怎么跳过ssh登录验证呢&#xff1f; 要在使用SCP时跳过密码登录&#xff0c;你可以设置SSH密钥认证。首…...

编程日记 2024/10/16 5:21:53

音视频入门基础：FLV专题（15）——Video Tag简介

一、引言 根据《video_file_format_spec_v10_1.pdf》第75页&#xff0c;如果某个Tag的Tag header中的TagType值为9&#xff0c;表示该Tag为Video Tag&#xff1a; 这时StreamID之后紧接着的就是VideoTagHeader&#xff0c;也就是说这时Tag header之后的就是VideoTagHeader&…...

编程日记 2024/10/16 5:19:51

尚硅谷rabbitmq2024 第15-18节 springboot整合与可靠性答疑

在spring boot项目中&#xff0c;只引入了一个amqp的starter&#xff0c;为什么在写listener的时候能看到rabbitmq相关的类&#xff0c;比如RabbitListener( public void processMessage(String dataString, Message message, channel channel){ 这里的Message就是rabbitmq下面…...

编程日记 2024/10/16 5:18:50

ctfshow-web 萌新题

给她 pyload: 1.dirsearch扫描&#xff0c;发现git 2. GitHack工具得到.git文件 <?php $passsprintf("and pass%s",addslashes($_GET[pass])); $sqlsprintf("select * from user where name%s $pass",addslashes($_GET[name])); ?>addslashes函…...

编程日记 2024/10/16 5:17:49

基于RPA+AI的网页自动填写机器人 | OPENAIGC开发者大赛高校组优秀作品

在第二届拯救者杯OPENAIGC开发者大赛中&#xff0c;涌现出一批技术突出、创意卓越的作品。为了让这些优秀项目被更多人看到&#xff0c;我们特意开设了优秀作品报道专栏&#xff0c;旨在展示其独特之处和开发者的精彩故事。 无论您是技术专家还是爱好者&#xff0c;希望能带给…...

编程日记 2024/10/16 5:14:46

Tmux常用操作--云GPU版

Tmux是什么&#xff0c;作用&#xff1f; Tmux是一个终端复用器&#xff08;terminal multiplexer&#xff09;&#xff0c;属于常用的开发工具。 作用 使用Tmux创建守护进程&#xff0c;可以使得关闭PyCharm或者其他终端的情况下&#xff0c;远程服务器&#xff08;云GPU&a…...

编程日记 2024/10/16 5:13:45

股市入门常见术语介绍

鉴于最近行情讨论火热&#xff0c;我也想借此平台&#xff0c;结合我大学时期身边同学老师的投资经历&#xff0c;写一篇交易入门术语简介。内容不多但是足以达到科普之用。 ​ 希望大家能谨慎对待投资&#xff0c;始终保持谦虚学习的态度。不要迷失在瞬息万变的金融市场&…...

编程日记 2024/10/16 5:11:43

专栏十九：单细胞大数据时代使用scvi和scanpy整合数据

慢更ing，主要是记录自己在分析中的一些困惑 一、基础知识和解惑 放在最前面，是因为scvi整合不像harmony，傻瓜式操作，很多地方还是要注意一下的。 1.如何正确的寻找HVGs 一般我们使用的函数就是scanpy.pp.highly_variable_genes，里面的参数较为复杂。 Q：输入数据的格…...

编程日记 2024/10/16 5:10:42

C语言编程必备知识

C语言是编程领域中基础且广泛使用的语言之一&#xff0c;掌握C语言编程需要一些核心知识&#xff0c;涵盖基本语法、内存管理、数据结构等方面。以下是C语言编程中的一些必备知识点&#xff1a; 1. **基础语法** - **变量声明**&#xff1a;所有变量都需要在使用前声明&…...

编程日记 2024/10/16 5:09:41

k8s 1.28 集群部署

文章目录 环境配置安装docker安装cri-dockerd(Docker与Kubernetes通信的中间程序)&#xff1a; 部署kubernetes 环境配置 关闭Selinux #永久 sed -i s/enforcing/disabled/ /etc/selinux/config #临时 setenforce 0 关闭Swap #临时 swapoff-a #永久 sed -ri s/.*swap.*/#&a…...

编程日记 2024/10/16 5:06:38

python入门教程

Python 是一种非常流行的编程语言&#xff0c;因其简单易学的语法和广泛的应用领域&#xff08;如数据分析、人工智能、Web 开发等&#xff09;而备受欢迎。以下是一个入门级 Python 教程&#xff0c;适合初学者快速掌握 Python 的基础知识。 1. 安装 Python 你可以从 Python…...

编程日记 2024/10/16 5:05:36

bat(批处理脚本学习)

输出banner echo off echo () echo JL echo ^|^| echo LJ echo _,--"""""""---. echo , …...

编程日记 2024/10/16 5:04:35

【JAVA毕业设计】基于Vue和SpringBoot的渔具租赁系统

本文项目编号 T 005 &#xff0c;文末自助获取源码 \color{red}{T005&#xff0c;文末自助获取源码} T005&#xff0c;文末自助获取源码 目录 一、系统介绍二、演示录屏三、启动教程四、功能截图五、文案资料5.1 选题背景5.2 国内外研究现状5.3 可行性分析 六、核心代码6.1 渔…...

编程日记 2024/10/16 5:03:34

Maven和Gradle的对比

Maven和Gradle都是Java项目构建工具&#xff0c;它们在帮助开发者管理项目依赖、编译、打包等方面发挥着重要作用。 Maven和Gradle的区别 1、语法与配置文件 Maven使用XML作为配置文件&#xff08;如pom.xml&#xff09;的语言&#xff0c;XML结构清晰但相对冗长。Gradle则使…...

编程日记 2024/10/16 5:02:33

Windows安装Ollama环境

在Windows环境下，可以安装Ollama，然后在其上面下载相应的大语言模式，下面是目前支持的LLM及相应的命令等信息： Model Parameters Size Download Llama 38B4.7GBollama run llama3Llama 370B40GBollama run llama3:70bPhi-33.8B2.3GBollama run phi3Mistral7B4.1GBollama ru…...

编程日记 2024/10/16 5:01:32

Java入门：11.抽象类，接口，instanceof，类关系，克隆

1 JDK中的包 JDK JRE 开发工具集&#xff08;javac.exe&#xff09; JRE JVM java类库 JVM java 虚拟机 jdk中自带了许多的包&#xff08;类&#xff09; &#xff0c; 常用的有 java.lang 该包中的类&#xff0c;不需要引用&#xff0c;可以直接使用。 例如&#xff1…...

编程日记 2024/10/16 5:00:31

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…...

编程新知 2025/7/8 22:15:29

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别，但在其他电脑上正常工作时，问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤，帮助你快速找到故障原因： 背景： 一个M-pard（铭豹）扩展坞的网卡突然无法识别了，扩展出来的三个USB接口正常。…...

编程新知 2025/7/8 23:06:54

阿里云ACP云计算备考笔记 (5)——弹性伸缩

目录 第一章 概述 第二章 弹性伸缩简介 1、弹性伸缩 2、垂直伸缩 3、优势 4、应用场景 ① 无规律的业务量波动 ② 有规律的业务量波动 ③ 无明显业务量波动 ④ 混合型业务 ⑤ 消息通知 ⑥ 生命周期挂钩 ⑦ 自定义方式 ⑧ 滚的升级 5、使用限制 第三章 主要定义 …...

编程新知 2025/7/4 12:47:34

电脑插入多块移动硬盘后经常出现卡顿和蓝屏

当电脑在插入多块移动硬盘后频繁出现卡顿和蓝屏问题时&#xff0c;可能涉及硬件资源冲突、驱动兼容性、供电不足或系统设置等多方面原因。以下是逐步排查和解决方案&#xff1a; 1. 检查电源供电问题 问题原因&#xff1a;多块移动硬盘同时运行可能导致USB接口供电不足&#x…...

编程新知 2025/6/27 0:52:23

数据链路层的主要功能是什么

数据链路层&#xff08;OSI模型第2层&#xff09;的核心功能是在相邻网络节点&#xff08;如交换机、主机&#xff09;间提供可靠的数据帧传输服务&#xff0c;主要职责包括&#xff1a; &#x1f511; 核心功能详解&#xff1a; 帧封装与解封装 封装&#xff1a; 将网络层下发…...

编程新知 2025/6/16 23:36:50

uniapp微信小程序视频实时流+pc端预览方案

方案类型技术实现是否免费优点缺点适用场景延迟范围开发复杂度​WebSocket图片帧​定时拍照Base64传输✅ 完全免费无需服务器 纯前端实现高延迟高流量 帧率极低个人demo测试 超低频监控500ms-2s⭐⭐​RTMP推流​TRTC/即构SDK推流❌ 付费方案 &#xff08;部分有免费额度&#x…...

编程新知 2025/7/9 2:44:41

现有的 Redis 分布式锁库（如 Redisson）提供了哪些便利？

现有的 Redis 分布式锁库&#xff08;如 Redisson&#xff09;相比于开发者自己基于 Redis 命令&#xff08;如 SETNX, EXPIRE, DEL&#xff09;手动实现分布式锁&#xff0c;提供了巨大的便利性和健壮性。主要体现在以下几个方面&#xff1a; 原子性保证 (Atomicity)&#xff…...

编程新知 2025/7/10 3:40:30

AI+无人机如何守护濒危物种？YOLOv8实现95%精准识别

【导读】 野生动物监测在理解和保护生态系统中发挥着至关重要的作用。然而&#xff0c;传统的野生动物观察方法往往耗时耗力、成本高昂且范围有限。无人机的出现为野生动物监测提供了有前景的替代方案&#xff0c;能够实现大范围覆盖并远程采集数据。尽管具备这些优势&#xf…...

编程新知 2025/7/9 20:37:28

人工智能--安全大模型训练计划：基于Fine-tuning + LLM Agent

安全大模型训练计划&#xff1a;基于Fine-tuning LLM Agent 1. 构建高质量安全数据集 目标&#xff1a;为安全大模型创建高质量、去偏、符合伦理的训练数据集&#xff0c;涵盖安全相关任务&#xff08;如有害内容检测、隐私保护、道德推理等&#xff09;。 1.1 数据收集 描…...

编程新知 2025/7/9 21:44:14

js 设置3秒后执行

如何在JavaScript中延迟3秒执行操作 在JavaScript中&#xff0c;要设置一个操作在指定延迟后&#xff08;例如3秒&#xff09;执行&#xff0c;可以使用 setTimeout 函数。setTimeout 是JavaScript的核心计时器方法&#xff0c;它接受两个参数&#xff1a; 要执行的函数&…...

编程新知 2025/7/7 3:39:07