k8s的对外服务---ingress

service的作用体现在两个方面：

1. 集群内部：不断追踪pod的变化。他会更新endpoint中的pod对象，基于pod的IP地址不断变化的一种服务发现机制。

2. 集群外部：类似负载均衡器，把流量IP+端口，不涉及转发url(http、https)。把请求转发到pod当中。

service有四种类型：

ClusterIP：创建service的默认类型

NodePort：容器端口 > service端口 > nodeport。 设定了nodeport后，每个节点都会有一个端口被打开。 端口范围：30000-32767。 访问：节点ip+30000-32767实现负载均衡

loadbalancer：云平台上的一种service服务。云平台提供负载均衡的IP地址

extrenal：域名映射。

什么是ingress？

ingress是一个API对象，通过yaml文件进行配置。

ingress的作用：是定义请求如何转发到service的规则。相当于一个配置模板

ingress通过http和https暴露集群内部的service。

ingress给service提供外部的URL域名，负载均衡以及ssl/tls(加密的https)的能力。实现一个基于域名的负载均衡。

ingress-controller

ingress-controller的作用就是具体的实现反向代理和负载均衡的程序。对ingress定义的规则进行解析。根据ingress的配置规则进行请求转发。

ingress-controlle是以pod的方式运行在集群中

ingress-controller不是k8s自带的组件功能。他是一个统称，只要这个组件可以实现反向代理和负载均衡可以对ingress进行解析的、可以根据规则请求转发的都是ingress-controller

nginx-ingress-controller、traefik都是开源的ingress-controller

ingress资源的定义项

1、 定义外部流量的路由规则

2、 定义了服务的暴露方式、主机名、访问路径和其他的选项。

3、 实现负载均衡。这是由ingress-controller实现的。

ingress暴露服务的方式

1、 deployment+LoadBalancer模式：这种模式是将ingress部署在公有云。例如：华为云、阿里云、腾讯云等

在ingress的配置文件内会有一个type。type会以键值对形式设置 type: LoadBalancer

公有云平台会为 LoadBalancer 的service创建一个负载均衡器。绑定一个公网地址。通过域名指向公网地址。就可以实现集群对外暴露。

2、 DaemonSet+hostnetwork+nodeSelector模式：

其中DaemonSet会在每个节点创建一个pod。

hostnetwork表示pod和节点主机共享网络命名空间。容器内可以直接使用节点主机的IP+端口。pod中的容器可以直接访问主机上的网络资源。

nodeSelector根据标签来选择部署的节点。nginx-ingress-controller部署的节点。

缺点：直接利用节点主机的网络和端口。一个node之内部署一个ingress-controller pod。

DaemonSet+hostnetwork+nodeSelector模式性能最好，比较适合大并发的生产环境。

ingress的数据流向图：

1. 客户端发起请求域名将先到DNS

2. DNS开始解析域名。映射到ingress-controller所在的节点

3. ingress-controller以pod形式运行在节点上。hostnetwork可以和节点主机共享网络

4. ingress的配置来定义URL的地址

5. 根据ingress的标签匹配将请求转发到service

6. service寻找endpoints发现匹配能够转发的pod

7. 最终还是由ingress-controller将(http/https)请求转发到不同的pod上。实现负载均衡

service和endpoints在这里起发现和监控的总用

实际的负载均衡由ingress-controller实现

DaemonSet+hostnetwork+nodeSelector模式如何实现？

实验部署：

master01  20.0.0.32
node01  20.0.0.34
node02  20.0.0.35master01--
修改ingress的yaml文件
vim mandatory.yaml 
191 #kind: Deployment
192 kind: DaemonSet
200 #  replicas: 1
215       hostNetwork: true
220         test1: "true"每台节点主机都添加nginx-ingress-controller镜像
tar -xf ingree.contro-0.30.0.tar.gz
docker load -i ingree.contro-0.30.0.tarmaster01--
kubectal get pod -n ingress-nginxkubectl label nodes node02 ingress=truekubectl apply -f mandatory.yamlmaster01---
vim nginx.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: nfs-pvc
spec:accessModes:- ReadWriteManystorageClassName: nfs-client-storageclassresources:requests:storage: 2Gi---
#定义pod
apiVersion: apps/v1
kind: Deployment
metadata:name: nginx-applabels:app: nginx1
spec:replicas: 3selector:matchLabels:app: nginx1template:metadata:labels:app: nginx1spec:containers:- name: nginximage: nginx:1.22volumeMounts:- name: nfs-pvcmountPath: /usr/share/nginx/htmlvolumes:- name: nfs-pvcpersistentVolumeClaim:claimName: nfs-pvc---
#定义serviceapiVersion: v1
kind: Service
metadata:name: nginx-app-svc
spec:ports:- protocol: TCPport: 80targetPort: 80selector:app: nginx1---
#定义ingressapiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: nginx-app-ingress
spec:rules:- host: www.test1.comhttp:paths:- path: /
#匹配工作目录的根目录pathType: Prefix
#根据前缀进行匹配 只要是/开头的都可以匹配到例如/ www.test1.com/www1/www2/www3backend:
#指定后台服务器service:name: nginx-app-svcport:number: 80
vim /etc/hosts
20.0.0.32 master01
20.0.0.34 node01
20.0.0.35 node02 www.test1.com
20.0.0.36 hub.test.com k8s5 
#做域名和地址映射k8s5---
进入挂载卷之后
echo 123 > index.htmlmaster01---
curl www.test1.com
#测试网页是否可以访问
实验完成！

创建地址映射

 回到k8s主机查看共享目录是否生成

测试访问是否成功

8181端口，nginx-controller默认配置的一个bachend。反向代理的端口。

所有请求当中。只要是不符合ingress配置的请求就会转发到8181端口

deployment+NodePort模式

deployment+NodePort的数据流向图：

实验部署：

master01---
vim mandatory.yaml 
191 kind: Deployment
215       #hostNetwork: true
200   replicas: 1
219         kubernetes.io/os: linux
220         #test1: "true"kubectl apply -f mandatory.yaml wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/provider/baremetal/service-nodeport.yaml
#获取service.yaml文件vim service-nodeport.yaml
apiVersion: v1
kind: Service
metadata:name: ingress-nginxnamespace: ingress-nginxlabels:app.kubernetes.io/name: ingress-nginxapp.kubernetes.io/part-of: ingress-nginx
spec:type: NodePortports:- name: httpport: 80targetPort: 80protocol: TCP- name: httpsport: 443targetPort: 443protocol: TCPselector:app.kubernetes.io/name: ingress-nginxapp.kubernetes.io/part-of: ingress-nginx
#执行这个yaml文件，会生成一个service。在ingress-nginx这个命名空间生成一个service。
#所有的controller的请求都会从这个定义的service的nodeport的端口。
#把请求转发到自定义的service的podkubectl apply -f service-nodeport.yamlvim nodeport.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: nfs-pvc2
spec:accessModes:- ReadWriteManystorageClassName: nfs-client-storageclassresources:requests:storage: 2Gi---
apiVersion: apps/v1
kind: Deployment
metadata:name: nginx-app2labels:app: nginx2
spec:replicas: 3selector:matchLabels:app: nginx2template:metadata:labels:app: nginx2spec:containers:- name: nginximage: nginx:1.22volumeMounts:- name: nfs-pvc2mountPath: /usr/share/nginx/htmlvolumes:- name: nfs-pvc2persistentVolumeClaim:claimName: nfs-pvc2
---
apiVersion: v1
kind: Service
metadata:name: nginx-app-svc1
spec:ports:- protocol: TCPport: 80targetPort: 80selector:app: nginx2
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: nginx-app-ingress
spec:rules:- host: www.test2.comhttp:paths:- path: /pathType: Prefixbackend:service:name: nginx-app-svc1port:number: 80kubectl apply -f nodeport.yamlk8s5---
查看挂载目录
echo 123 > index.htmlmaster01---
vim /etc/hosts
20.0.0.32 master01
20.0.0.34 node01
20.0.0.35 node02 www.test1.com www.test2.com
20.0.0.36 hub.test.com k8s5 www.test1.comcurl www.test2.com:31456
实验完成！

 

nodeport不再是deployment的service创建的

而是由ingress创建的

1. url请求先到ingress

1. ingress根据标签匹配ingress-nodeport

1. 通过标签寻找指定的service

1. 最终由service找到deployment

核心的控制组件时nginx-ingress-controller

host----ingress的配置找到pod----controller----把请求发到pod

nodeport-----controller-----ingress----service----pod

nodeport暴露端口的方式是最简单的。nodeport多了一层net(地址转换)

并发量大的对性能会有一定影响。内部都会用nodeport

通过虚拟主机的方式实现http代理

通过ingress的方式实现：一个ingress可以访问不同的主机

实验举例：

vim pod1.yaml
apiVersion: apps/v1
kind: Deployment
metadata:name: deployment1labels:test: nginx1
spec:replicas: 1selector:matchLabels:test: nginx1template:metadata:labels:test: nginx1spec:containers:- name: nginx1image: nginx:1.22---
apiVersion: v1
kind: Service
metadata:name: svc-1
spec:ports:- port: 80targetPort: 80protocol: TCPselector:test: nginx1vim pod2.yaml
apiVersion: apps/v1
kind: Deployment
metadata:name: deployment1labels:test2: nginx2
spec:replicas: 1selector:matchLabels:test2: nginx2template:metadata:labels:test2: nginx2spec:containers:- name: nginx2image: nginx:1.22---
apiVersion: v1
kind: Service
metadata:name: svc-2
spec:ports:- port: 80targetPort: 80protocol: TCPselector:test2: nginx2vim pod-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: ingress1
spec:rules:- host: www.test1.comhttp:paths:- path: /pathType: Prefixbackend:service:name: svc-1port:number: 80---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: ingress2
spec:rules:- host: www.test2.comhttp:paths:- path: /pathType: Prefixbackend:service:name: svc-2port:number: 80
kubectl apply -f pod.yaml
kubectl apply -f pod2.yaml
kubectl apply -f pod-ingress.yamlvim /etc/hosts
20.0.0.32 master01
20.0.0.34 node01 www.test1.com www.test2.com
20.0.0.35 node02 www.test1.com www.test2.com
20.0.0.36 hub.test.com k8s5 www.test1.comcurl www.test1.com:31456
curl www.test2.com:31456
访问成功实验完成！

daemonset+hostnetwork+nodeselector实现访问多个主机

实验举例：

vim daemoset-hostnetwork-nodeselector1.yamlapiVersion: v1
kind: PersistentVolumeClaim
metadata:name: nfs-pvc1
spec:accessModes:- ReadWriteManystorageClassName: nfs-client-storageclassresources:requests:storage: 2Gi---
apiVersion: apps/v1
kind: Deployment
metadata:name: nginx-app1labels:app: nginx1
spec:replicas: 1selector:matchLabels:app: nginx1template:metadata:labels:app: nginx1spec:containers:- name: nginximage: nginx:1.22volumeMounts:- name: nfs-pvc1mountPath: /usr/share/nginx/htmlvolumes:- name: nfs-pvc1persistentVolumeClaim:claimName: nfs-pvc1
---
apiVersion: v1
kind: Service
metadata:name: nginx-app-svc1
spec:ports:- protocol: TCPport: 80targetPort: 80selector:app: nginx1
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: nginx-app-ingress1
spec:rules:- host: www.test1.comhttp:paths:- path: /pathType: Prefixbackend:service:name: nginx-app-svc1port:number: 80kubectl apply -f daemoset-hostnetwork-nodeselector1.yamlvim daemoset-hostnetwork-nodeselector2.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: nfs-pvc2
spec:accessModes:- ReadWriteManystorageClassName: nfs-client-storageclassresources:requests:storage: 2Gi---
apiVersion: apps/v1
kind: Deployment
metadata:name: nginx-app2labels:app: nginx2
spec:replicas: 1selector:matchLabels:app: nginx2template:metadata:labels:app: nginx2spec:containers:- name: nginximage: nginx:1.22volumeMounts:- name: nfs-pvc2mountPath: /usr/share/nginx/htmlvolumes:- name: nfs-pvc2persistentVolumeClaim:claimName: nfs-pvc2
---
apiVersion: v1
kind: Service
metadata:name: nginx-app-svc2
spec:ports:- protocol: TCPport: 80targetPort: 80selector:app: nginx2
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: nginx-app-ingress2
spec:rules:- host: www.test2.comhttp:paths:- path: /pathType: Prefixbackend:service:name: nginx-app-svc2port:number: 80kubectl apply -f daemoset-hostnetwork-nodeselector2.yamlvim mandatory.yaml
192 kind: DaemonSet
200   #replicas: 1
215       hostNetwork: true
219         #kubernetes.io/os: linux
220         test1: "true"kubectl apply -f mandatory.yamlcurl www.test1.com
curl www.test2.com
实验完成！！

 

 

通过虚拟主机的方式实现http代理

通过ingress的方式实现：一个ingress可以访问不同的主机

实验举例：

vim pod1.yaml
apiVersion: apps/v1
kind: Deployment
metadata:name: deployment1labels:test: nginx1
spec:replicas: 1selector:matchLabels:test: nginx1template:metadata:labels:test: nginx1spec:containers:- name: nginx1image: nginx:1.22---
apiVersion: v1
kind: Service
metadata:name: svc-1
spec:ports:- port: 80targetPort: 80protocol: TCPselector:test: nginx1vim pod2.yaml
apiVersion: apps/v1
kind: Deployment
metadata:name: deployment1labels:test2: nginx2
spec:replicas: 1selector:matchLabels:test2: nginx2template:metadata:labels:test2: nginx2spec:containers:- name: nginx2image: nginx:1.22---
apiVersion: v1
kind: Service
metadata:name: svc-2
spec:ports:- port: 80targetPort: 80protocol: TCPselector:test2: nginx2vim pod-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: ingress1
spec:rules:- host: www.test1.comhttp:paths:- path: /pathType: Prefixbackend:service:name: svc-1port:number: 80---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: ingress2
spec:rules:- host: www.test2.comhttp:paths:- path: /pathType: Prefixbackend:service:name: svc-2port:number: 80
kubectl apply -f pod.yaml
kubectl apply -f pod2.yaml
kubectl apply -f pod-ingress.yamlvim /etc/hosts
20.0.0.32 master01
20.0.0.34 node01 www.test1.com www.test2.com
20.0.0.35 node02 www.test1.com www.test2.com
20.0.0.36 hub.test.com k8s5 www.test1.comcurl www.test1.com:31456
curl www.test2.com:31456
访问成功实验完成！

ingress实现https代理访问

https拥有证书和密钥。

需要创建证书和密钥

secrets保存密钥信息。部署pod时把secrets挂载到pod

实验举例：

openssl req -x509 -sha256 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/CN=nginxsvc/O=nginxsvc"
#req：生成证书文件命令
#x509：生成x.509自签名的证书
#-sha256：表示使用shaa-256的散列算法
#-nodes：表示生成的密钥不加密
#-days 365：证书有效期是365天
#-newkey rsa:2048：表示使用RSA的密钥队，长度是2048位
#-keyout tls.key：生成密钥文件
#-out tls.crt：生成证书文件
#-subj "/CN=nginxsvc/O=nginxsvc"：表示添加一个主题
#CN：common name 名称
#O：表示organization组织kubectl create secret tls tls-secret --key tls.key --cert tls.crt
#创建secret保存密钥和证书vim ingress-https.yaml
#定义pod
apiVersion: apps/v1
kind: Deployment
metadata:name: nginx-httpslabels:app: https
spec:replicas: 3selector:matchLabels:app: httpstemplate:metadata:labels:app: httpsspec:containers:- name: nginximage: nginx:1.22---
#定义service
apiVersion: v1
kind: Service
metadata:name: nginx-svc
spec:ports:- port: 80targetPort: 80protocol: TCPselector:app: https---
#定义ingress和加密key
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: nginx-ingress-https
spec:tls:- hosts:- www.123ccc.comsecretName: tls-secret
#加密的配置保存在ingress当中
#请求---ingress-controller---ingress---转发到service
#目的是为了先验证通过，再实现转发到service对应的pod
#在代理进行时就要先验证密钥队，然后再把请求转发到service对应的podrules:- host: www.123ccc.comhttp:paths:- path: /pathType: Prefixbackend:
#定义使用那个service的名称service:name: nginx-svc
#定义使用那个pod的名称port:number: 80kubectl apply -f ingress-https.yamlkubectl get svc -n ingress-nginx -o widecurl -k https://www.123ccc.com:端口号

https方式同样可以实现负载均衡轮询

内部：DNS解析、地址映射

外部：收费

nginx的登录账户认证

实验举例：

htpasswd -c auth zyg
New password: 123456
Re-type new password: 123456kubectl create secret generic basic-auth --from-file=authvim basic-auth.yamlapiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: ingress-authannotations:
#开启认证模块的配置nginx.ingress.kubernetes.io/auth-type: basic
#设置认证类型为basic。是k8s自带的认证加密模块nginx.ingress.kubernetes.io/auth-secret: basic-auth
#把认证的加密模块导入到ingress当中nginx.ingress.kubernetes.io/auth-realm: 'Authentication Required-zyg'
#设置认证窗口的提示信息。
spec:rules:- host: www.zyg.comhttp:paths:- path: /pathType: Prefixbackend:service:name: nginx-svcport:number: 80
#使用http创建basic-auth
#开启认证加密的文件
#创建ingress开启认证模式
#将auth配置文件导入ingress当中
在虚拟机访问测试

nginx的重写重定向

实验举例：

vim nginx-rewite.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: nginx-rewriteannotation:nginx.ingress.kubernetes.io/rewrite-target: https://www.123ccc.com:30416
#访问页面会跳转到指定页面
spec:rules:- host: www.zyg1.comhttp:paths:- path: /pathType: Prefixbackend:service:name: nginx-svcport:number: 80
#只要访问www.zyg.com:端口号就可以跳转到www.123ccc.com:端口号
kubectl apply -f nginx-rewite.yaml

traefik ingress controller

traefik是一个为了让部署微服务更加快捷而诞生的http的反向代理，负载均衡。是七层代理工作在应用层和nginx-ingress-controller一样

traefik可以实时的和k8s的api进行交互可以感知后端servic以及pod的变化。可以自动更新配置和重载。

traefik它可以自动感知后端的变化

traefik的部署方式

1. daemonset方式

2. deployment方式

daemonset方式的特点

daemonset方式一般用于对外集群

因为对外的业务经常变更使用daemonset可以自动发现服务配置所以用于对外

设置对外服务的标签：traefik-type: external

1. 每个节点都会部署一个traefik

2. 具有节点感知功能。可以自动发现、更新容器的配置。不需要手动重载。可以直接生效

缺点：资源占用较多。资源利用率不是很好。无法扩缩容。

大型的集群中daemonset可能会运行多个traefik的实例。尤其是在节点上不需要大量容器运行的情况下。

deployment方式的特点

deployment方式一般用于对内集群

因为集群内部相对稳定，更新和变化也比较少，适合deployment

设置对内服务标签：traefik-type: internal

1. 集中办公控制，可以使用少量的实例来运行处理整个集群的流量

2. 容易升级和维护

缺点：deployment的负载均衡不会均分到每个节点。

他无法感知容器内部配置的变化，需要手动更新

nginx-ingress和traefik-ingress的区别

相同点：

1. 工作原理一样。都是七层代理

2. 都可以动态更新配置

3. 都可以自动发现服务

traefik-ingress的自动更新重载更快，更方便

nginx-ingress相对较慢

traefik-ingress的并发能力只有nginx-ingress的6成 60%

deployment方式

实验举例：

先启动rbac权限再启动deployment最后启动uivim traefik-ingress-nginx.yaml
apiVersion: apps/v1
kind: Deployment
metadata:name: nginx-traefiklabels:nginx: traefik
spec:replicas: 3selector:matchLabels:nginx: traefiktemplate:metadata:labels:nginx: traefikspec:containers:- name: nginximage: nginx:1.22---
apiVersion: v1
kind: Service
metadata:name: nginx-traefik-svc1
spec:ports:- port: 80targetPort: 80protocol: TCPselector:nginx: traefik---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: nginx-traefik-test1
spec:rules:- host: www.yyw.comhttp:paths:- path: /pathType: Prefixbackend:service:name: nginx-traefik-svc1port:number: 80到浏览器访问测试：20.0.0.32:31095

测试自动发现机制

修改yaml文件中的副本数测试

总结

ingress的类型：

1. nginx-ingress-controller

2. traefik-ingress-controller

这两个都是开源的控制器

nginx-ingress-controller控制器三种模式：

1. deployment+loadbalancer：公有云提供负载均衡的公网地址

2. daemonset+hostnetwork+nodeselector：和节点服务共享网络，一个节点一个controller pod。使用宿主机的端口性能最好，适合大并发

3. deployment+nodeport：最常见也是最常用，也是最简单的方法。但是性能不太好，多了一层nat地址转发。

适用于高并发、大集群使用

traefik-ingress-controller控制器模式：

daemonset：对外，开源自动更新容器配置。使用hostnetwork模式 使用节点网络

deployment：对内 无法自动更新配置。使用nodeport模式。

适用于小集群

https：

1. 生成证书和密钥

2. 创建secret保存证书和密钥

加密认证：

1. htpasswd -c auth：认证文件只能是auth

2. 创建ingress时指定认证的类型、导入密钥文件、最后加上密钥信息

3. 定义ingress的规则

  annotations:
#开启认证模块的配置nginx.ingress.kubernetes.io/auth-type: basic
#设置认证类型为basic。是k8s自带的认证加密模块nginx.ingress.kubernetes.io/auth-secret: basic-auth
#把认证的加密模块导入到ingress当中nginx.ingress.kubernetes.io/auth-realm: 'Authentication Required-zyg'
#设置认证窗口的提示信息。

重定向：

在指定的ingres文件当中声明的url都会跳转到这个地址

    nginx.ingress.kubernetes.io/rewrite-target: https://www.123ccc.com:30416
#在指定的ingres文件当中声明的url都会跳转到这个地址