华为云kubernetes基于keda自动伸缩deployment副本（监听redis队列长度）

1 概述

KEDA（Kubernetes-based Event-Driven Autoscaler，网址是https://keda.sh）是在 Kubernetes 中事件驱动的弹性伸缩器，功能非常强大。不仅支持根据基础的CPU和内存指标进行伸缩，还支持根据各种消息队列中的长度、数据库中的数据统计、QPS、Cron 定时计划以及您可以想象的任何其他指标进行伸缩。KEDA支持的所有scaler，可从如下网址里查询：

https://keda.sh/docs/2.16/scalers

该项目于2020年3月被 CNCF 接收，并于2021年8月开始孵化，最终在2023年8月宣布毕业，目前已经非常成熟，可放心在生产环境中使用。

本文介绍在华为云kubernetes中部署keda v2.16.1，keda监听redis队列中的长度来伸缩目标deployment的副本数。

2 架构图

KEDA 并不是要替代HPA，而是作为HPA的补充或者增强。实际上，KEDA 经常与 HPA 一起协同工作。以下是 KEDA 官方的架构图

• 当要将工作负载的副本数缩到闲时副本数，或从闲时副本数开始扩容时，由KEDA通过修改工作负载的副本数实现（闲时副本数小于 minReplicaCount，包括0，即可以缩到0）。
• 其他情况下的扩缩容过程都由Kubernetes HPA实现，HPA被KEDA管理，HPA使用External Metrics作为数据源，而External Metrics实际的数据由KEDA提供。
• KEDA 各种Scalers的目的其实就是为HPA暴露External Metrics格式的数据，KEDA会将各种外部事件转换为所需的External Metrics数据，最终实现HPA读取这些External Metrics数据进行自动伸缩，因此KEDA直接复用了HPA 已有的能力，如果需要控制扩缩容的行为细节（例如快速扩容、缓慢缩容），可以直接通过配置 HPA 的 behavior 字段来实现（要求 Kubernetes 版本 ≥1.18）。
  
  

3 环境准备

3.1 华为云kubernetes集群

准备一个kubernetes集群，如下图所示：

如果你需要KEDA基于传统的CPU和内存来伸缩工作负载，则需要为kubernetes集群开启metrics插件。
如果你需要KEDA基于传统的CPU和内存来伸缩工作负载，则需要为kubernetes集群开启metrics插件。
如果你需要KEDA基于传统的CPU和内存来伸缩工作负载，则需要为kubernetes集群开启metrics插件。
开启metrics插件只需要在华为云kubernetes控制台的插件中心里安装即可，如下图：

3.2 redis服务

准备一个redis实例，如下图所示：

4 部署

4.1 部署keda

为helm添加新的repo，命令如下：

helm repo add kedacore https://kedacore.github.io/charts
helm repo update

下载values.yaml，命令如下：

helm show values kedacore/keda > values.yaml

修改values.yaml文件中的容器镜像，方便在国内环境拉取，如下所示：

image:keda:registry: docker.iorepository: imroc/kedatag: "2.16.1"metricsApiServer:registry: docker.iorepository: imroc/keda-metrics-apiserver tag: "2.16.1"webhooks:registry: docker.iorepository: imroc/keda-admission-webhookstag: "2.16.1"

部署keda，命令如下所示：

helm upgrade --install keda kedacore/keda \
--namespace keda --create-namespace \
-f values.yaml

4.2 部署待被伸缩的目标deployment

创建一个零副本的服务，如下所示：

apiVersion: apps/v1
kind: Deployment
metadata:name: php-apachenamespace: default
spec:replicas: 0selector:matchLabels:run: php-apachetemplate:metadata:labels:run: php-apachespec:containers:- image: deis/hpa-exampleimagePullPolicy: Alwaysname: php-apacheports:- containerPort: 80protocol: TCPresources:limits:cpu: 100mrequests:cpu: 20m

5 创建伸缩对象ScaledObject

创建如下对象：

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:name: hpa-appnamespace: default
spec:scaleTargetRef:                           # 扩容目标对象name: php-apachekind: DeploymentapiVersion: apps/v1minReplicaCount: 1                        # 最小副本数maxReplicaCount: 6                        # 最大副本数triggers:                                 # 触发规则- metadata:address: redis-****.cn-south-1.dcs.myhuaweicloud.com:6379    # Redis地址listName: keda-hpa-demo-list                               # Redis的列表的key名称listLength: "10"                                        # 触发伸缩的队列长度password: "********your-redis-password********"type: redis                                             # 事件源类型为redis

6 往redis中的队列添加元素

队列名称为keda-hpa-demo-list，往里面添加20个元素，命令如下：

RPUSH keda-hpa-demo-list value1 value2 value3 value4 value5 value6 value7 value8 value9 value10
RPUSH keda-hpa-demo-list value11 value12 value13 value14 value15 value16 value17 value18 value19 value20
LRANGE keda-hpa-demo-list 0 -1

7 伸缩现象

查看kubernetes event，可见副本数量伸缩为2了。

kubectl get event

31m         Normal    SuccessfulRescale         horizontalpodautoscaler/keda-hpa-hpa-app   New size: 2; reason: external metric s0-redis-keda-hpa-demo-list(&LabelSelector{MatchLabels:map[string]string{scaledobject.keda.sh/name: hpa-app,},MatchExpressions:[]LabelSelectorRequirement{},}) above target

仔细发现，keda自动创建了HPA对象，这个对象里的一些字段是来自，如下所示：

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:annotations:kubectl.kubernetes.io/last-applied-configuration: |{"apiVersion":"keda.sh/v1alpha1","kind":"ScaledObject","metadata":{"annotations":{},"name":"hpa-app","namespace":"default"},"spec":{"maxReplicaCount":6,"minReplicaCount":1,"scaleTargetRef":{"apiVersion":"apps/v1","kind":"Deployment","name":"php-apache"},"triggers":[{"metadata":{"address":"redis-6482e5d4-6f37-4138-ab01-64f7ca6a4a6d.cn-south-1.dcs.myhuaweicloud.com:6379","listLength":"10","listName":"keda-hpa-demo-list","password":"iloveredis@2025"},"type":"redis"}]}}creationTimestamp: "2025-02-12T14:28:56Z"labels:app.kubernetes.io/managed-by: keda-operatorapp.kubernetes.io/name: keda-hpa-hpa-appapp.kubernetes.io/part-of: hpa-appapp.kubernetes.io/version: 2.16.1scaledobject.keda.sh/name: hpa-appname: keda-hpa-hpa-appnamespace: defaultownerReferences:- apiVersion: keda.sh/v1alpha1blockOwnerDeletion: truecontroller: truekind: ScaledObjectname: hpa-appuid: 795e92f1-da13-4281-a460-9cfe750ec753resourceVersion: "99768"uid: 629c14c2-b0a0-4007-8c38-eaa104dc20a2
spec:maxReplicas: 6metrics:- external:metric:name: s0-redis-keda-hpa-demo-listselector:matchLabels:scaledobject.keda.sh/name: hpa-apptarget:averageValue: "10"type: AverageValuetype: ExternalminReplicas: 1scaleTargetRef:apiVersion: apps/v1kind: Deploymentname: php-apache
status:conditions:- lastTransitionTime: "2025-02-12T14:29:11Z"message: the HPA controller was able to get the target's current scalereason: SucceededGetScalestatus: "True"type: AbleToScale- lastTransitionTime: "2025-02-12T15:34:36Z"message: 'the HPA was unable to compute the replica count: unable to get externalmetric default/s0-redis-keda-hpa-demo-list/&LabelSelector{MatchLabels:map[string]string{scaledobject.keda.sh/name:hpa-app,},MatchExpressions:[]LabelSelectorRequirement{},}: unable to fetch metricsfrom external metrics API: rpc error: code = Unknown desc = error when gettingmetric values error getting scalers connection to redis failed: dial tcp: lookupredis-6482e5d4-6f37-4138-ab01-64f7ca6a4a6d.cn-south-1.dcs.myhuaweicloud.comon 169.254.1.1:53: no such host'reason: FailedGetExternalMetricstatus: "False"type: ScalingActive- lastTransitionTime: "2025-02-12T14:29:11Z"message: the desired count is within the acceptable rangereason: DesiredWithinRangestatus: "False"type: ScalingLimitedcurrentMetrics:- type: ""currentReplicas: 2desiredReplicas: 2lastScaleTime: "2025-02-12T14:30:11Z"

同时，还创建了external metrics对象，如下所示：

kubectl get apiservices | grep external.metrics.k8s.io

kubectl get apiservice v1beta1.external.metrics.k8s.io -o yaml

apiVersion: apiregistration.k8s.io/v1
kind: APIService
metadata:annotations:meta.helm.sh/release-name: kedameta.helm.sh/release-namespace: kedacreationTimestamp: "2025-02-12T07:52:48Z"labels:app.kubernetes.io/component: operatorapp.kubernetes.io/instance: kedaapp.kubernetes.io/managed-by: Helmapp.kubernetes.io/name: v1beta1.external.metrics.k8s.ioapp.kubernetes.io/part-of: keda-operatorapp.kubernetes.io/version: 2.16.1helm.sh/chart: keda-2.16.1name: v1beta1.external.metrics.k8s.ioresourceVersion: "47073"uid: 0428df85-50ed-4363-9799-f3c03dee88e9
spec:caBundle: LS0tLS1CRUdJTiBDRVJUSUZJQ0************************DdBPQotLS0tLUVORCBDRVJUSUZJQ0FURS0tLS0tCg==group: external.metrics.k8s.iogroupPriorityMinimum: 100service:name: keda-operator-metrics-apiservernamespace: kedaport: 443version: v1beta1versionPriority: 100
status:conditions:- lastTransitionTime: "2025-02-12T13:26:19Z"message: all checks passedreason: Passedstatus: "True"type: Available

kubectl get --raw "/apis/external.metrics.k8s.io/v1beta1/namespaces/default/s0-redis-keda-hpa-demo-list?labelSelector=scaledobject.keda.sh%2Fname%3Dhpa-app" | jq .

可见keda namespace下的keda-operator-metrics-apiserver服务是kube-apiserver的指标类接口的后端，也是keda各个scaler的前端网关。

8 小结

通过内置很多scaler的伸缩神器keda，以redis队列的长度为依据对目标工作负载deployment进行伸缩，开箱即用，解决了以往的HPA Controller + Prometheus Adaptor + Prometheus + Exporter的自定义流程。