文章三：Elasticsearch 集群恢复和索引分布

集群恢复网关与集群索引分布必要性了解在 Elasticsearch简称 ES集群运维中集群重启恢复、残余索引处理、索引分片分布是保障集群稳定性、数据完整性、读写性能的三大核心基础能力。多数集群故障、数据丢失、分片异常、读写卡顿问题根源均来自这三个模块的认知不足与配置不当。本文将聚焦Cluster Gateway 集群恢复网关、Dangling Index 残余索引挂载、Cluster Allocation 集群索引分布三大核心通俗讲解其核心价值、工作原理、适用场景并搭配完整实战操作让读者彻底搞懂「为什么需要、是什么作用、怎么落地操作」。Cluster Gateway 集群恢复网关实战操作1.1 核心问题为什么需要集群恢复网关ES 集群所有节点全部重启、机房断电、集群整体宕机后会面临一个核心问题集群重启后如何找回原有集群状态、索引信息、分片分配规则如果没有网关机制集群重启后会初始化全新空集群所有历史索引、模板、分片配置、集群元数据全部丢失直接造成业务数据不可用。而 Cluster Gateway集群恢复网关是 ES 内置的集群元数据与持久化恢复模块是集群整体重启后数据与状态恢复的唯一核心载体所有生产集群必须依赖该机制实现故障自愈。1.2 核心作用网关到底做什么ES 默认使用Local Gateway 本地网关核心职责只有两个贯穿集群全生命周期持久化集群元数据实时记录集群所有状态包括索引列表、索引分片配置、副本数、映射模板、集群权限、分片分配记录等将动态集群状态落地到节点本地磁盘持久化存储而非仅内存缓存。集群重启状态恢复集群整体重启、故障恢复后新选举的 Master 节点会读取各节点磁盘中持久化的网关数据还原完整集群状态、索引结构、分片分布保证集群重启后数据不丢失、配置不重置。简单总结Gateway 是 ES 集群的“记忆硬盘”保存集群所有历史状态保证集群断电重启后不失忆、不丢数据。1.3 核心原理与关键特性1. 持久化机制集群元数据发生变更新建/删除索引、修改分片配置、调整模板时网关会同步落地到磁盘而非异步缓存保证数据可靠性。2. 恢复触发机制集群重启后不会立即恢复数据而是等待指定数量节点上线后再统一触发分片恢复与状态同步避免节点未完全启动导致的分片错乱、数据丢失问题。3. 生效范围仅针对全集群重启生效单节点重启、局部故障不会触发网关恢复逻辑。1.4 核心配置参数生产必备所有网关配置为静态配置需写入所有主候选节点的elasticsearch.yml重启生效核心参数如下gateway.expected_nodes集群预期在线节点数达到该数量后启动集群恢复生产建议配置集群总节点数避免节点未齐全就恢复导致分片异常。gateway.recover_after_nodes最小恢复节点数满足该节点数即可触发恢复防止少数节点启动后提前恢复引发数据不一致。gateway.recover_after_time等待恢复超时时间若节点数未达标超时后强制触发恢复保障集群不会一直阻塞。1.5 集群恢复网关实战操作步骤1配置网关恢复规则以 3 节点集群为例修改所有主节点配置文件# 集群网关恢复配置 gateway.expected_nodes: 3 # 预期3个节点全部上线 gateway.recover_after_nodes: 2 # 至少2个节点上线即可启动恢复 gateway.recover_after_time: 5m # 最长等待5分钟超时强制恢复步骤2全集群重启模拟故障依次停止所有 ES 节点模拟机房断电、全集群宕机场景之后逐一启动所有节点。步骤3验证集群恢复状态查询集群健康状态确认集群恢复正常、索引全部存在# 查看集群健康 GET _cat/health?v # 查看所有恢复的索引 GET _cat/indices?v # 查看分片恢复进度 GET _cat/recovery?v #查看集群的健康程度 GET _cluster/health步骤4核心现象验证节点刚启动时集群状态为 yellow/red等待达标后自动恢复为 green所有历史索引、分片配置完全保留证明网关恢复生效。1.6 Elasticsearch 索引恢复速度调优参数详解我们在进行索引设置的时候可以通过参数调优加快索引恢复的速度下面为大家展示两个参数恢复网络带宽限制indices.recovery.max_bytes_per_sec该参数用于限制单个节点在进行分片恢复Recovery时的最大网络传输速率。Elasticsearch 为了防止数据恢复过程通常涉及大量的磁盘读取和网络传输占满整个集群的带宽从而影响正常的搜索和写入业务默认对此进行了严格的限速。默认值40mb即每秒 40MB。这是一个非常保守的值旨在保证业务稳定性但在急需恢复数据时会显得过慢。调优建议加快恢复在业务低峰期或集群急需恢复健康状态时可以显著调大该值例如设置为100mb、200mb甚至500mb以充分利用内网的高带宽资源。保护业务如果恢复过程导致业务查询延迟增加应适当调小该值为正常业务留出网络资源。恢复并发操作数indices.recovery.max_concurrent_operations该参数控制在分片恢复过程中并行发送的操作请求数量主要指 Lucene 段文件的传输和操作并发度。简单来说它决定了恢复线程在搬运数据时的“并发力度”。数值越大同一时间内处理的恢复任务片段越多。起使也是可以理解成就是他的单位指的就是分片默认值2。这也是一个相对保守的默认设置旨在避免过高的 I/O 压力。调优建议加快恢复如果节点的 CPU 和磁盘 I/O特别是 SSD性能较强可以将此值调大例如4或8通过提高并发度来加速恢复流程。资源权衡调大此参数会增加 CPU 和磁盘 I/O 的负载。如果节点负载已经很高盲目调大可能会导致节点响应变慢甚至不稳定。PUT /_cluster/settings { transient: { indices.recovery.max_concurrent_operations: 2, indices.recovery.max_bytes_per_sec: 40mb } }indices.recovery.max_concurrent_operations 在100个节点内设置成8就已经很足够了indices.recovery.max_bytes_per_sec设置成40mb的倍数在200MB之内就可以了Dangling Index 静态索引挂载实战操作核心问题什么是残余索引为什么需要处理在 ES 集群运维中残余索引的产生分为常规故障场景和集群迁移场景覆盖日常故障和集群迭代两大核心运维场景。节点离线故障数据节点长时间脱离集群期间集群内索引被删除、分片重新分配节点重新上线后本地留存的老旧数据无法被集群识别形成残余索引。旧集群数据迁移老旧集群停止下线业务数据需要迁移复用。将旧集群磁盘索引文件迁移至全新空集群新集群无对应元数据原有数据自动判定为残余索引可通过挂载恢复数据残余索引挂载与清理实战操作前置步骤在废弃集群的数据copy到当前的集群的文件中之后通过执行下面的命令可以找到和将索引数据进行挂载。拷贝文件过程中为了方式文件损坏最好两个es集群都停机。步骤1查询集群残余索引通过 API 查看集群识别到的所有悬空残余索引GET _dangling返回结果会展示残余索引名称、UUID、分片数、所在节点、创建时间等核心信息用于判断是否需要恢复。步骤2场景1挂载恢复有效残余索引若确认该残余索引是误删的有效数据执行挂载操作将其重新纳入集群管理# 挂载残余索引替换为实际索引UUIDPOST _dangling/索引UUID?accept_data_losstrue参数说明accept_data_losstrue表示确认接受本次手动挂载规避数据版本冲突风险生产操作需确认数据有效性。步骤3场景2清理无效残余索引若残余索引为过期冗余数据直接删除清理脏数据# 删除无效残余索引DELETE _dangling/索引UUID步骤4验证操作结果重新查询残余索引列表确认无残留查看集群索引列表挂载的索引正常展示、分片正常分配。Cluster Allocation 集群索引分布实战操作核心问题为什么需要索引分布调度ES 的性能、可用性、容灾能力完全依赖主副分片的分布规则。如果无调度规则会出现严重问题主副分片分配在同一节点单节点故障直接导致索引数据丢失、读写异常分片集中在少数节点节点负载不均出现热点节点引发查询卡顿、写入超时新增节点后分片无法自动均衡集群资源利用率极低机房、机架同机房分片集中机房故障整体数据不可用。Cluster Allocation集群分片分配/索引分布就是 ES 的分片调度核心机制用于管控所有索引主副分片的分配位置、均衡规则、故障迁移逻辑。核心作用简单来说Allocation 决定「每一个索引的每一个分片放在哪个节点」核心价值三点保障高可用强制主分片与副本分片异地部署避免单节点故障导致数据丢失实现负载均衡均匀分散所有索引分片避免热点节点最大化利用集群CPU、磁盘、IO资源控制分片调度逻辑支持自定义机架、机房、节点属性调度支持分片冻结、强制迁移、禁止分配、恢复分配等精细化管控。集群索引分片分布核心配置# ------------------------------ 分片分布设置 ------------------------------ # 允许索引分片自动分布默认值 cluster.routing.allocation.enable: all # 仅允许索引主分片分配 cluster.routing.allocation.enable: primaries # 仅允许新创建的主分片分配 cluster.routing.allocation.enable: new_primaries # 禁止集群分片自动分布 cluster.routing.allocation.enable: none # ------------------------------ 分片分布移进移出 ------------------------------ # 分片分布移进移出节点并发限制默认2 cluster.routing.allocation.node_concurrent_recoveries: 2 # 分片分布移进节点并发限制默认2 cluster.routing.allocation.node_concurrent_incoming_recoveries: 2 # 分片分布移出节点并发限制默认2 cluster.routing.allocation.node_concurrent_outgoing_recoveries: 2 # 节点主分片恢复并发控制默认4 cluster.routing.allocation.node_initial_primaries_recoveries: 4 # ------------------------------ 限制相同分片分布在同一节点 ------------------------------ # 限制相同分片分布在同一节点 true/false默认false不限制 cluster.routing.allocation.same_shard.host: false上面的配置都是动态的配置我们可以在dvl tool中直接设置PUT _cluster/settings { persistent: { cluster.routing.allocation.enable: all, cluster.routing.allocation.node_concurrent_recoveries: 2, cluster.routing.allocation.node_concurrent_incoming_recoveries: 2, cluster.routing.allocation.node_concurrent_outgoing_recoveries: 2, cluster.routing.allocation.node_initial_primaries_recoveries: 4, cluster.routing.allocation.same_shard.host: false } }在 ES 分片恢复并发参数配置中node_concurrent_recoveries 管控单节点分片恢复总并发上限incoming 与 outgoing 分别约束分片迁入、迁出的单向并发数量配置时遵循逐级约束逻辑若将总并发设置为 6迁入迁出并发均配置为 2单向阈值会优先限制迁移规模节点实际最多仅能同时完成 2 个迁入、2 个迁出任务无法触达总并发上限参数配置失去扩容意义日常调优需保证总并发数值不低于单向并发数值才能让整体配额规则正常生效。Cluster Rebalance集群索引分片分布平衡配置#----------------集群分片自动平衡设置----------------# #以下设置4选1 #容许所有分片自动感知平衡默认 cluster.routing.rebalance.enable: all #容许主分片自动感知平衡分布 cluster.routing.rebalance.enable: primaries #容许副本分片感知平衡分布 cluster.routing.rebalance.enable: replicas #禁止所有分片自动感知平衡 cluster.routing.rebalance.enable: none #----------------集群分片分布自动平衡策略设置----------------# ##以下设置3选1 #一直容许所有分片分布自动平衡 cluster.routing.allocation.allow_rebalance: always #仅容许主分片 并且是 在线能提供服务的比如关闭的索引分片就不在此范围 cluster.routing.allocation.allow_rebalance: indices_primaries_active #容许所有分片包括主分片与副本分片默认值 cluster.routing.allocation.allow_rebalance: indices_all_active #集群分片分布自动平衡并发现集群层面限制默认2 cluster.routing.allocation.cluster_concurrent_rebalance: 2以上的配置也都是可以动态进行设置PUT _cluster/settings { persistent: { cluster.routing.rebalance.enable: all, cluster.routing.allocation.allow_rebalance: indices_all_active, cluster.routing.allocation.cluster_concurrent_rebalance: 2 } }启发式分片分布平衡策略设置#定义分配在该节点的分片数的因子 阈值因子*当前节点的分片数-集群的总分片数/节点数即每个节点平均分片数 #节点的分片数因子默认0.45f cluster.routing.allocation.balance.shard: 0.45f #定义分配在该节点某个索引的分片数的因子阈值因子*保存当前节点的某个索引的分片数-每个节点某个索引的平均分片数 #节点索引数分片数因子默认值0.55f cluster.routing.allocation.balance.index: 0.55f #以上计算的值若超出此下面的 阀值则启动自动平衡 cluster.routing.allocation.balance.threshold: 1.0fPUT _cluster/settings { persistent: { cluster.routing.allocation.balance.shard: 0.45, cluster.routing.allocation.balance.index: 0.55, cluster.routing.allocation.balance.threshold: 1.0 } }这些数据其实很少用到使用默认的就行了。物理磁盘感知平衡策略# 是否启用磁盘感知平衡策略, true/false, 默认true启用 cluster.routing.allocation.disk.threshold_enabled: true # 磁盘空间限制, 低水位线, 默认值85%, 磁盘高于85%就不再分配新的分片数据 # 此值设置, 可以是固定值, 如10GB, 也可以是百分比 cluster.routing.allocation.disk.watermark.low: 85% # 磁盘空间限制, 高水位线, 默认90%, 超过此值, 分片数据不再分配到此节点 # 此值设置, 可以是固定值, 如10GB, 也可以是百分比 cluster.routing.allocation.disk.watermark.high: 90% # 是否容许单节点集群启用此配置, 默认true cluster.routing.allocation.disk.watermark.enable_for_single_data_node: true # 磁盘空间限制, 洪水水位线, 超过此值, 磁盘所在索引, 不再接受数据写入, 仅只读 # 此值设置, 可以是固定值, 如10GB, 也可以是百分比 cluster.routing.allocation.disk.watermark.flood_stage: 95% # 数据超过空间限制后, 是否启用自动平衡机制, 允许所有分片自动移出, 默认true cluster.routing.allocation.disk.include_relocations: true # 磁盘空间检查间隔, 默认30s cluster.info.update.interval: 30sPUT _cluster/settings { persistent: { cluster.routing.allocation.disk.threshold_enabled: true, cluster.routing.allocation.disk.watermark.low: 85%, cluster.routing.allocation.disk.watermark.high: 90%, cluster.routing.allocation.disk.watermark.enable_for_single_data_node: true, cluster.routing.allocation.disk.watermark.flood_stage: 95%, cluster.routing.allocation.disk.include_relocations: true, cluster.info.update.interval: 30s } }水位线默认值触发行为业务影响低水位线low85%1. 新分片包括新建索引、副本分配、恢复的分片不再分配到该节点2. 已存在的分片读写不受影响几乎无感知只是不再 “增重”高水位线high90%1. 不接收新分片2. 已有的分片会被自动迁移到其他磁盘充足的节点会有少量分片迁移 IO但业务读写基本不受影响洪水水位线flood_stage95%1. 节点上的所有索引会被强制设置为read_only_allow_delete只读模式2. 禁止写入、更新、删除仅允许读和删除操作业务写入直接报错必须立刻扩容或清理磁盘索引分片分布机架感知配置#设置自定义机架属性 #节点1 node.attr.rack_id: rack_01 #节点2 node.attr.rack_id: rack_02 #集群感知属性名称: rack_id cluster.routing.allocation.awareness.attributes: rack_id #机架感知范围, 此处: rack_01,rack_02 cluster.routing.allocation.awareness.force.rack_id.values: rack_01,rack_02PUT _cluster/settings { persistent: { cluster.routing.allocation.awareness.attributes: rack_id, cluster.routing.allocation.awareness.force.rack_id.values: rack_01,rack_02 } }说明node.attr.rack_id是节点级配置需要写在每个节点的elasticsearch.yml中不能通过集群 DSL 修改。只有cluster.routing.allocation.awareness.attributes和cluster.routing.allocation.awareness.force.rack_id.values这两个配置支持通过_cluster/settings动态修改。索引分片分布过滤# ES自定义属性 node.attr.attr01: xyz01 # 案例设置数据分布不包含其中一个IP节点 PUT _cluster/settings { transient: { cluster.routing.allocation.exclude._ip: 192.168.86.102, cluster.routing.allocation.exclude.attr01: xyz01 } }这组配置的作用是给节点打上自定义标签attr01: xyz01通过exclude规则让集群分片不分配到指定 IP 的节点也不分配到带有attr01xyz01标签的节点常用于节点下线维护临时排除节点避免分片分配到目标节点上上面的配置都是非必要不修改的配置对于实际开发大家使用默认的数值就可以了。