【实战ES】实战 Elasticsearch：快速上手与深度实践-7.2.2自动扩缩容策略（基于HPA）

👉 点击关注不迷路
👉 点击关注不迷路
👉 点击关注不迷路

---

7.2.2 基于HPA的Elasticsearch自动扩缩容深度实践

• HPA（Horizontal Pod Autoscaling，水平 Pod 自动伸缩）

1. 云原生时代弹性伸缩的核心价值

• 云原生是一种适应云计算时代的应用开发和运行模式，是一种构建和运行应用程序的方法，旨在充分利用云计算的优势，使应用程序能够更好地适应云环境的特点和需求。
• **关键概念和技术：**容器化、微服务架构、服务网格、自动化编排、持续集成 / 持续交付（CI/CD）、声明式 API（例如，在 Kubernetes 中，用户可以通过 YAML 文件声明应用程序的部署、配置等信息，Kubernetes 会自动将系统调整到期望的状态，这种方式使得系统管理更加简单和直观。）

1.1 业务负载特征分析

负载类型	峰值/谷值比例	波动频率	典型案例
电商大促	10:1	突发性	双11/黑色星期五
日志分析	3:1	周期性	每日业务高峰
实时监控	5:1	持续性	故障期间的指标激增
内容搜索	2:1	随机性	热点事件引发的搜索潮

• 数据洞察：根据Gartner（一家极具影响力的美国技术研究和咨询公司，主要业务：研究与咨询服务、咨询服务、评测服务、社区服务）统计，合理实施自动扩缩容可带来的收益
  • 资源利用率提升40-60%
  • 运维人力成本降低55%
  • 业务连续性保障提高80%

1.2 传统扩缩容方式的局限性

# 人工扩容操作示例
# 使用 kubectl 工具对 Kubernetes 集群中的资源进行操作
# scale 命令用于调整资源的副本数量，也就是改变资源的实例数量
# statefulset 明确了要操作的资源类型是 StatefulSet
# StatefulSet 是 Kubernetes 中用于管理有状态应用的一种工作负载类型，适合那些需要稳定网络标识和持久存储的应用，比如 Elasticsearch 集群
# elasticsearch-data 是具体要操作的 StatefulSet 的名称，通常这个名称对应着 Elasticsearch 集群中负责数据存储的组件
# --replicas=5 是设置参数，指定将该 StatefulSet 的副本数量调整为 5
# 这意味着 Kubernetes 会根据这个设置，创建或删除相应数量的 Pod 实例，以保证 Elasticsearch 数据存储组件有 5 个副本在运行kubectl scale statefulset elasticsearch-data --replicas=5

• 人工干预模式的问题矩阵：

问题类型	发生频率	影响范围	平均修复时间
响应延迟	高(65%)	用户体验下降	30分钟
过度配置	中(45%)	资源浪费严重	N/A
扩容不及时	高(70%)	服务不可用	45分钟
配置错误	低(15%)	集群不稳定	2小时

2. HPA核心机制深度解析

2.1 HPA工作原理流程图

2.2 核心算法解析

• 期望副本数计算公式：

期望副本数 = ceil[当前副本数 * (当前指标值 / 目标指标值)]

• 弹性伸缩参数矩阵：

参数	默认值	推荐值	说明
–horizontal-pod-autoscaler-downscale-stabilization	5m	10m	缩容冷却时间
–horizontal-pod-autoscaler-upscale-stabilization	3m	5m	扩容冷却时间
–horizontal-pod-autoscaler-cpu-initialization-period	5m	2m	CPU指标初始化等待周期
–horizontal-pod-autoscaler-initial-readiness-delay	30s	60s	Pod就绪状态检测延迟

• 参数详情说明

# --horizontal-pod-autoscaler-downscale-stabilization 用于设置 HPA 进行缩容操作时的稳定时间窗口
# 该参数的作用是避免 HPA 因为短时间内指标的波动而频繁进行缩容操作
# 当 HPA 检测到需要缩容时，它会等待这个指定的时间窗口
# 在这个时间窗口内，如果指标持续满足缩容条件，HPA 才会真正执行缩容操作
# 例如设置为 5m 表示 5 分钟，即 HPA 检测到可以缩容后，会等待 5 分钟，若这期间指标一直支持缩容，才会减少 Pod 数量
--horizontal-pod-autoscaler-downscale-stabilization=5m# --horizontal-pod-autoscaler-upscale-stabilization 用于设置 HPA 进行扩容操作时的稳定时间窗口
# 其目的是防止 HPA 由于短时间的指标峰值而过度扩容
# 当 HPA 检测到需要扩容时，会在这个指定的时间窗口内持续观察指标
# 只有在整个时间窗口内指标都持续满足扩容条件，HPA 才会执行扩容操作
# 例如设置为 3m 表示 3 分钟，即 HPA 检测到需要扩容后，会等待 3 分钟，若这期间指标一直需要扩容，才会增加 Pod 数量
--horizontal-pod-autoscaler-upscale-stabilization=3m# --horizontal-pod-autoscaler-cpu-initialization-period 用于定义新创建的 Pod 在开始计算 CPU 使用率之前的初始化时间
# 在 Pod 刚创建时，可能会有一些初始化操作，这些操作可能会导致 CPU 使用率出现异常的高峰或低谷
# 为了避免 HPA 基于这些不稳定的 CPU 使用率数据进行错误的扩缩容决策
# 会设置这个初始化时间，在这个时间内，HPA 不会将该 Pod 的 CPU 使用率纳入计算
# 例如设置为 300s 表示 300 秒，即新创建的 Pod 在 300 秒内其 CPU 使用率不会影响 HPA 的决策
--horizontal-pod-autoscaler-cpu-initialization-period=300s# --horizontal-pod-autoscaler-initial-readiness-delay 用于设置新创建的 Pod 在准备就绪后，HPA 开始考虑其指标的延迟时间
# 当一个 Pod 被创建并标记为就绪状态后，可能还需要一些时间来稳定运行
# 为了确保 HPA 基于稳定的指标数据进行决策
# 会设置这个延迟时间，在该时间内，HPA 不会考虑该 Pod 的指标数据
# 例如设置为 60s 表示 60 秒，即新创建的 Pod 就绪后，在 60 秒内其指标不会被 HPA 用于扩缩容计算
--horizontal-pod-autoscaler-initial-readiness-delay=60s

3. Elasticsearch HPA集成方案

3.1 监控指标体系构建

# apiVersion 字段指定了该资源所遵循的 API 版本
# autoscaling/v2beta2 是 Kubernetes 中水平 Pod 自动扩缩器（HPA）相关 API 的版本号
# 不同版本可能包含不同的功能和特性
apiVersion: autoscaling/v2beta2
# kind 字段定义了资源的类型
# 这里是 HorizontalPodAutoscaler，表示这是一个水平 Pod 自动扩缩器资源
kind: HorizontalPodAutoscaler
# metadata 部分包含了该资源的元数据信息
metadata:# name 字段指定了 HPA 资源的名称# 这里名称为 elasticsearch-data-hpa，用于在 Kubernetes 集群中唯一标识该 HPAname: elasticsearch-data-hpa
# spec 部分是 HPA 的具体规格和配置信息
spec:# scaleTargetRef 字段指定了要进行自动扩缩容的目标资源scaleTargetRef:# apiVersion 字段指定目标资源所遵循的 API 版本# apps/v1 表示目标资源（StatefulSet）的 API 版本apiVersion: apps/v1# kind 字段指定目标资源的类型# StatefulSet 是 Kubernetes 中用于管理有状态应用的一种资源类型kind: StatefulSet# name 字段指定目标资源的名称# 这里目标资源是名为 elasticsearch-data 的 StatefulSetname: elasticsearch-data# minReplicas 字段设置了目标资源（StatefulSet）的最小副本数# 即无论指标如何变化，该 StatefulSet 至少会有 3 个 Pod 副本运行minReplicas: 3# maxReplicas 字段设置了目标资源（StatefulSet）的最大副本数# 即该 StatefulSet 最多可以扩展到 10 个 Pod 副本maxReplicas: 10# metrics 字段定义了用于自动扩缩容的指标和目标值metrics:# 第一个指标类型为 Pods，表示基于 Pod 的特定指标进行扩缩容- type: Podspods:# metric 字段指定了具体的指标名称# 这里是 elasticsearch_query_latency，表示 Elasticsearch 查询延迟metric:name: elasticsearch_query_latency# target 字段指定了该指标的目标值和目标类型target:# type 字段指定目标类型为 AverageValue，表示目标值是 Pod 的平均指标值type: AverageValue# averageValue 字段指定了具体的目标值# 这里平均查询延迟目标值为 500 毫秒，当平均查询延迟超过或低于该值时，HPA 可能会进行扩缩容操作averageValue: 500ms# 第二个指标类型为 Resource，表示基于资源（如 CPU、内存）的指标进行扩缩容- type: Resourceresource:# name 字段指定了具体的资源名称# 这里是 cpu，表示基于 CPU 资源指标进行扩缩容name: cpu# target 字段指定了该资源指标的目标值和目标类型target:# type 字段指定目标类型为 Utilization，表示目标值是资源的利用率type: Utilization# averageUtilization 字段指定了具体的目标利用率# 这里 CPU 的平均利用率目标值为 70%，当 CPU 平均利用率超过或低于该值时，HPA 可能会进行扩缩容操作averageUtilization: 70

• 指标选择决策矩阵：

指标类型	采集方式	优点	缺点
CPU利用率	Metrics Server	简单直接	不能反映ES真实负载
JVM堆内存使用率	Prometheus Exporter	反映内存压力	存在GC干扰
搜索延迟	自定义指标	直接关联用户体验	需要额外监控设施
索引速率	Elasticsearch API	反映写入压力	需考虑分片均衡

3.2 典型配置模板

# 注释：以下配置用于定义一个用于数据节点自动扩缩容的水平 Pod 自动扩缩器（HPA）
# apiVersion 字段指定该资源所使用的 API 版本，autoscaling/v2beta2 是 Kubernetes 中关于 HPA 的 API 版本
apiVersion: autoscaling/v2beta2
# kind 字段明确资源的类型，这里是 HorizontalPodAutoscaler，即水平 Pod 自动扩缩器
kind: HorizontalPodAutoscaler
# metadata 部分包含资源的元数据信息
metadata:# name 字段定义了 HPA 的名称为 es-data-hpa，用于在集群中唯一标识该 HPAname: es-data-hpa# namespace 字段指定了该 HPA 所属的命名空间为 elastic，用于资源隔离namespace: elastic
# spec 部分是 HPA 的具体规格和配置
spec:# scaleTargetRef 字段指定了要进行自动扩缩容的目标资源scaleTargetRef:# apiVersion 字段指定目标资源（StatefulSet）的 API 版本为 apps/v1apiVersion: apps/v1# kind 字段指定目标资源的类型为 StatefulSet，用于管理有状态应用kind: StatefulSet# name 字段指定目标 StatefulSet 的名称为 es-data-nodes，即对该 StatefulSet 进行扩缩容操作name: es-data-nodes# minReplicas 字段设置了目标 StatefulSet 的最小副本数量为 3，即至少会有 3 个 Pod 运行minReplicas: 3# maxReplicas 字段设置了目标 StatefulSet 的最大副本数量为 12，即最多可扩展到 12 个 PodmaxReplicas: 12# behavior 字段定义了扩缩容的行为策略behavior:# scaleDown 部分定义了缩容时的策略scaleDown:# policies 字段包含了一系列缩容策略policies:# 第一个缩容策略，type 为 Pods，表示基于 Pod 数量进行策略制定- type: Pods# value 字段表示每次缩容时减少的 Pod 数量为 1value: 1# periodSeconds 字段表示每次执行缩容操作的时间间隔为 600 秒（10 分钟）periodSeconds: 600# stabilizationWindowSeconds 字段表示缩容操作的稳定时间窗口为 900 秒（15 分钟）# 在这个时间内，如果指标满足缩容条件也不会再次缩容，避免频繁缩容stabilizationWindowSeconds: 900# scaleUp 部分定义了扩容时的策略scaleUp:# policies 字段包含了一系列扩容策略policies:# 第一个扩容策略，type 为 Pods，表示基于 Pod 数量进行策略制定- type: Pods# value 字段表示每次扩容时增加的 Pod 数量为 2value: 2# periodSeconds 字段表示每次执行扩容操作的时间间隔为 300 秒（5 分钟）periodSeconds: 300# stabilizationWindowSeconds 字段表示扩容操作的稳定时间窗口为 600 秒（10 分钟）# 在这个时间内，如果指标满足扩容条件也不会再次扩容，避免频繁扩容stabilizationWindowSeconds: 600# metrics 字段定义了用于自动扩缩容的指标和目标值metrics:# 第一个指标类型为 Resource，表示基于资源指标进行扩缩容- type: Resourceresource:# name 字段指定资源为 cpu，即基于 CPU 资源指标进行扩缩容name: cpu# target 字段指定 CPU 指标的目标类型和值target:# type 字段指定目标类型为 Utilization，表示目标值是 CPU 利用率type: Utilization# averageUtilization 字段指定 CPU 的平均利用率目标值为 75%，当 CPU 平均利用率超过或低于该值时，可能触发扩缩容averageUtilization: 75# 第二个指标类型为 Pods，表示基于 Pod 的特定指标进行扩缩容- type: Podspods:# metric 字段指定具体指标名称为 es_search_latency_p99，即 Elasticsearch 搜索延迟的 P99 指标metric:name: es_search_latency_p99# target 字段指定该指标的目标类型和值target:# type 字段指定目标类型为 AverageValue，表示目标值是 Pod 的平均指标值type: AverageValue# averageValue 字段指定平均 P99 搜索延迟的目标值为 800（未明确单位，可能是毫秒等），当该指标超过或低于目标值时，可能触发扩缩容averageValue: 800

• 参数详解表：

配置项	值	作用说明
minReplicas	3	保证集群最低可用性
maxReplicas	12	防止资源过度消耗
scaleDown.periodSeconds	600	每次缩容最多减少1个Pod，间隔10分钟
scaleUp.periodSeconds	300	每次扩容最多增加2个Pod，间隔5分钟
stabilizationWindow	900/600	防止指标抖动造成的频繁扩缩容

4. 高级扩缩容策略

4.1 多指标联合决策机制

# metrics 字段用于定义一组用于水平 Pod 自动扩缩器（HPA）进行自动扩缩容决策的指标
metrics:# 第一个指标，类型为 Resource，表示基于资源指标进行扩缩容判断- type: Resourceresource:# 具体资源名称为 cpu，即使用 CPU 资源的相关指标name: cputarget:# 目标类型为 Utilization，表示目标是 CPU 的利用率type: Utilization# averageUtilization 字段指定了 CPU 的平均利用率目标值为 70%# 当所有 Pod 的平均 CPU 利用率超过或低于这个值时，HPA 可能会触发扩缩容操作averageUtilization: 70# 第二个指标，类型为 Pods，表示基于 Pod 级别的特定指标进行扩缩容判断- type: Podspods:metric:# 具体指标名称为 es_pending_tasks，代表 Elasticsearch 待处理任务的数量name: es_pending_taskstarget:# 目标类型为 AverageValue，表示目标是所有 Pod 该指标的平均值type: AverageValue# averageValue 字段指定了 es_pending_tasks 指标的平均目标值为 100# 当所有 Pod 的 es_pending_tasks 指标的平均值超过或低于这个值时，HPA 可能会进行扩缩容averageValue: 100# 第三个指标，类型为 Object，表示基于特定对象（如服务、自定义资源等）的指标进行扩缩容判断- type: Objectobject:metric:# 具体指标名称为 es_indexing_rate，代表 Elasticsearch 的索引速率name: es_indexing_ratedescribedObject:# 该指标所关联的对象的 API 版本为 v1apiVersion: v1# 该指标所关联的对象类型为 Service，即一个 Kubernetes 服务kind: Service# 该指标所关联的具体服务名称为 elasticsearchname: elasticsearchtarget:# 目标类型为 Value，表示直接使用一个固定的目标值type: Value# value 字段指定了 es_indexing_rate 指标的目标值为 5000# 当 elasticsearch 服务的 es_indexing_rate 指标值超过或低于这个值时，HPA 可能会触发扩缩容操作value: 5000

• 指标权重分配策略：

指标名称	权重	触发条件	优先级
CPU利用率	40%	>75%持续3分钟	高
搜索延迟P99	30%	>800ms持续5分钟	中
索引队列积压	20%	>200持续2分钟	中
JVM GC时间	10%	>1s/次持续5次	低

4.2 分片再平衡优化

// 向 Elasticsearch 集群发送一个 PUT 请求，用于更新集群的设置
// _cluster/settings 是 Elasticsearch 用于管理集群设置的 API 端点
PUT _cluster/settings
{// "persistent" 部分定义的设置会被持久化存储在集群状态中// 即使集群重启，这些设置仍然会生效"persistent": {// "cluster.routing.allocation.node_concurrent_recoveries" 控制每个节点上同时进行的分片恢复操作的最大数量// 分片恢复通常发生在节点加入或离开集群、分片重新分配等情况下// 这里将其设置为 5，表示每个节点最多同时进行 5 个分片恢复操作// 适当调整这个值可以平衡节点资源的使用和分片恢复的速度// 如果设置得过大，可能会导致节点资源过度使用，影响集群性能// 如果设置得过小，分片恢复的速度会变慢"cluster.routing.allocation.node_concurrent_recoveries": 5,// "cluster.routing.allocation.cluster_concurrent_rebalance" 控制整个集群中同时进行的分片再平衡操作的最大数量// 分片再平衡是为了确保集群中各个节点的负载均衡// 这里将其设置为 3，表示整个集群中最多同时进行 3 个分片再平衡操作// 合理设置这个值可以避免集群在进行再平衡时对性能产生过大影响// 若设置得过大，可能会导致集群资源紧张，影响正常的读写操作// 若设置得过小，分片再平衡的过程会比较缓慢"cluster.routing.allocation.cluster_concurrent_rebalance": 3}
}

• 扩缩容前后分片分布对比：

节点数	分片总数	平均分片数	标准差	再平衡时间
3	1500	500	32.4	-
5	1500	300	15.8	28分钟
8	1500	187.5	9.2	41分钟

5. 性能基准测试

5.1 测试环境配置

组件	版本	配置
Kubernetes	v1.22.3	3 Master/6 Worker
Elasticsearch	7.15.1	数据节点：4核8G
Prometheus	v2.30.3	独立监控集群
Locust	1.6.0	5000并发用户模拟

• Locust
  • 是一个用 Python 编写的开源性能测试工具，用于对网站或其他系统进行负载测试和性能测试。
  • 支持多种协议：不仅支持常见的 HTTP/HTTPS 协议，还可以通过插件等方式支持其他协议，如 MQTT、WebSocket 等，满足不同类型系统的测试需求。
  • 分布式测试：支持分布式部署，可以在多个节点上同时运行测试，模拟大量用户并发访问，从而更真实地反映系统在高并发情况下的性能表现。

5.2 测试结果对比

• 场景：突发搜索流量处理

指标	静态集群(6节点)	HPA弹性集群(3-8节点)
峰值QPS处理能力	12,000	18,500
第99百分位延迟	680ms	420ms
资源成本（按需计费）	$48/小时	$32/小时
异常请求率	8.7%	0.3%
自动扩容耗时	N/A	5分12秒

6. 生产环境最佳实践

6.1 阈值设定经验公式

CPU目标阈值 = 基础负载平均值 × 1.5内存阈值 = JVM最大堆内存 × 0.75搜索延迟阈值 = SLA承诺值 × 0.8

• 典型行业SLA参考：
  • SLA 通常指服务级别协议（Service Level Agreement），是一种在用户（或客户）与服务提供商（这里指 ES 服务的提供者或运维团队）之间达成的协议或约定，用于明确 ES 服务应达到的性能和质量标准等。

行业	可接受P99延迟	最大故障恢复时间
电子商务	500ms	15分钟
金融服务	300ms	5分钟
物联网	800ms	30分钟
日志分析	2s	1小时

6.2 防抖动策略配置

# behavior 字段用于定义 Horizontal Pod Autoscaler (HPA) 在进行扩缩容操作时的具体行为策略
behavior:# scaleUp 部分定义了 HPA 进行扩容操作时的相关策略scaleUp:# stabilizationWindowSeconds 字段指定了扩容操作的稳定时间窗口，单位为秒# 这里设置为 300 秒（即 5 分钟），意味着在 HPA 检测到需要扩容后# 会等待 300 秒，若在这个时间内指标仍然满足扩容条件，才会真正执行扩容操作# 这可以避免因指标的短暂波动而导致的频繁扩容stabilizationWindowSeconds: 300# policies 字段包含了一系列扩容策略，这里可以定义多个策略，HPA 会根据这些策略综合判断是否扩容policies:# 第一个扩容策略，type 字段指定策略类型为 Percent# 表示按照当前副本数量的百分比来确定每次扩容的数量- type: Percent# value 字段指定了每次扩容的百分比，这里设置为 50# 即每次扩容时，会增加当前副本数量的 50%# 例如当前有 4 个副本，按照此策略扩容时会增加 4 * 50% = 2 个副本value: 50# periodSeconds 字段指定了该扩容策略的执行周期，单位为秒# 这里设置为 600 秒（即 10 分钟），意味着每 600 秒会检查一次是否满足该扩容策略periodSeconds: 600# scaleDown 部分定义了 HPA 进行缩容操作时的相关策略scaleDown:# stabilizationWindowSeconds 字段指定了缩容操作的稳定时间窗口，单位为秒# 这里设置为 900 秒（即 15 分钟），意味着在 HPA 检测到需要缩容后# 会等待 900 秒，若在这个时间内指标仍然满足缩容条件，才会真正执行缩容操作# 这可以避免因指标的短暂波动而导致的频繁缩容stabilizationWindowSeconds: 900# policies 字段包含了一系列缩容策略，这里可以定义多个策略，HPA 会根据这些策略综合判断是否缩容policies:# 第一个缩容策略，type 字段指定策略类型为 Pods# 表示按照固定的 Pod 数量来确定每次缩容的数量- type: Pods# value 字段指定了每次缩容的 Pod 数量，这里设置为 1# 即每次缩容时，会减少 1 个 Podvalue: 1# periodSeconds 字段指定了该缩容策略的执行周期，单位为秒# 这里设置为 1800 秒（即 30 分钟），意味着每 1800 秒会检查一次是否满足该缩容策略periodSeconds: 1800

• 策略效果对比：

策略类型	扩缩容次数/天	资源浪费率	服务中断率
激进策略	28	12%	3.5%
保守策略	9	8%	1.2%
混合策略	15	6%	0.8%

7. 故障诊断手册

7.1 常见异常场景处理

故障现象	诊断步骤	解决方案
HPA不触发扩容	1. 检查指标采集 2. 验证HPA配置 3. 查看事件日志	修复Metrics Server 调整目标值
频繁震荡伸缩	1. 分析指标波动 2. 检查冷却时间 3. 评估阈值设置	增加稳定窗口 优化指标权重
新节点加入后性能下降	1. 检查分片分配 2. 监控网络吞吐量 3. 验证存储性能	手动触发分片平衡 优化副本设置

7.2 关键日志分析

# HPA事件日志示例Events:Type     Reason             Age   From                       Message----     ------             ----  ----                       -------Warning  FailedGetScale     2m    horizontal-pod-autoscaler  unable to get scale for target elasticsearch-data: no matches for kind "StatefulSet" in group "apps"Normal   SuccessfulRescale  5m    horizontal-pod-autoscaler  New size: 5; reason: cpu utilization above target

• 日志分析矩阵：

错误类型	关键字	处理建议
指标不可达	FailedGetResourceMetric	检查Prometheus exporter状态
权限问题	unauthorized	更新RBAC配置
目标资源不支持	no matches for kind	验证apiVersion配置
达到最大副本数	desired replica count is more	评估maxReplicas设置

---

• 实践建议：

  • 1. 在预生产环境进行压力测试验证阈值设置
  • 2. 为不同节点角色（data/ingest/master）配置差异化HPA策略
  • 3. 定期审查扩缩容历史记录优化参数
  • 4. 结合集群级自动伸缩（如CA）实现多维弹性

• 实施HPA后集群负载与节点数量的动态关系