【Elasticsearch从入门到精通】第08篇：Elasticsearch集群扩展与运维——水平扩展与节点管理

上一篇【第07篇】Elasticsearch集群安全配置——TLS/SSL与密钥库管理下一篇【第09篇】Elasticsearch API规范详解——多索引、日期数学与通用选项摘要Elasticsearch天生为分布式设计其高扩展性和高可用性是核心优势。但在实际生产中如何合理规划节点角色、何时扩展集群、如何安全地执行运维操作是每个ES运维人员必须掌握的技能。本文从节点类型详解开始介绍master-eligible、data、coordinating、ingest、remote_cluster_client等五种节点的职责与配置方式接着演示从单节点扩展到三节点集群的完整实战过程然后详解滚动重启Rolling Restart的标准操作流程分享分片数量和副本数的规划原则与经验值最后讲解监控日志配置和JSON日志格式的解析方法。掌握这些知识读者可以自信地管理生产级ES集群的日常运维工作。一、节点类型详解在Elasticsearch集群中每个节点都可以承担一种或多种角色。合理划分节点职责是保证集群稳定性和性能的关键。1.1 五种节点类型一览节点类型配置属性职责资源需求Master-eligiblenode.roles: [master]管理集群状态、索引创建/删除、分片分配低CPU/内存/IODatanode.roles: [data]存储索引数据、执行CRUD和聚合操作高CPU/内存/IOCoordinatingnode.roles: []接收请求、分发查询、合并结果、负载均衡中等CPU/内存Ingestnode.roles: [ingest]索引前预处理文档管道处理中等CPURemote Cluster Clientnode.roles: [remote_cluster_client]跨集群连接和通信低1.2 各节点类型详细说明Master-eligible节点候选主节点主节点是从候选主节点列表中选举产生的。主节点负责创建或删除索引跟踪集群中所有节点的状态决定分片分配到哪些节点维护集群元数据重要主节点不处理数据读写请求除非同时配置为数据节点。一个稳定的master节点对集群健康至关重要。# 7.x配置node.master:truenode.data:falsenode.ingest:false# 8.x配置node.roles:[master]Data节点数据节点数据节点负责存储索引数据执行文档的增删改查和聚合操作。这是资源消耗最大的节点类型。# 7.x配置node.master:falsenode.data:truenode.ingest:false# 8.x配置node.roles:[data]Coordinating节点协调节点协调节点既不竞选主节点也不存储数据专门负责接收客户端请求、将请求路由到相关分片、合并各分片返回的结果。在请求量大的场景下配置专用协调节点可以实现负载均衡。# 7.x配置node.master:falsenode.data:falsenode.ingest:false# 8.x配置node.roles:[]# 空数组即为纯协调节点Ingest节点预处理节点在文档索引之前进行预处理类似于Logstash的filter功能。通过定义Pipeline来执行一系列处理器。# 7.x配置node.ingest:true# 8.x配置node.roles:[ingest]Remote Cluster Client节点用于跨集群搜索和跨集群复制功能负责与远程集群建立连接。# 8.x配置node.roles:[remote_cluster_client]1.3 节点角色组合规则节点可以同时承担多种角色但生产环境中建议角色分离# 开发环境单节点承担所有角色默认配置node.roles:[master,data,ingest]# 生产环境小规模master与data混合node.roles:[master,data]# 生产环境大规模严格角色分离# master节点node.roles:[master]# data节点node.roles:[data]# coordinating节点node.roles:[]角色选择对比表部署规模推荐策略节点角色配置开发/测试1-2节点全角色节点[master, data, ingest]小型生产3-5节点masterdata分离3个master 2个data中型生产10-20节点三层分离3个master N个data M个coordinating大型生产20节点完全分离3个master N个data M个coordinating K个ingest二、从单节点到三节点集群的扩展实战下面以实际操作演示如何从单节点扩展到三节点集群。2.1 单节点配置回顾单节点的elasticsearch.yml配置cluster.name:es-devnode.name:es-node1path.data:/opt/elasticsearch/datapath.logs:/opt/elasticsearch/logsnetwork.host:0.0.0.0discovery.type:single-nodexpack.security.enabled:falsediscovery.type: single-node告诉ES这是单节点模式跳过集群发现过程。2.2 三节点集群配置假设三台机器IP分别为192.168.1.101、192.168.1.102、192.168.1.103。节点1192.168.1.101cluster.name:es-productionnode.name:es-node1path.data:/opt/elasticsearch/datapath.logs:/opt/elasticsearch/logsnetwork.host:192.168.1.101# 集群发现配置discovery.seed_hosts:[192.168.1.102,192.168.1.103]cluster.initial_master_nodes:[es-node1,es-node2,es-node3]# 安全配置xpack.security.enabled:truexpack.security.transport.ssl.enabled:truexpack.security.transport.ssl.verification_mode:certificatexpack.security.transport.ssl.keystore.path:elastic-certificates.p12xpack.security.transport.ssl.truststore.path:elastic-certificates.p12节点2192.168.1.102cluster.name:es-productionnode.name:es-node2path.data:/opt/elasticsearch/datapath.logs:/opt/elasticsearch/logsnetwork.host:192.168.1.102discovery.seed_hosts:[192.168.1.101,192.168.1.103]cluster.initial_master_nodes:[es-node1,es-node2,es-node3]xpack.security.enabled:truexpack.security.transport.ssl.enabled:truexpack.security.transport.ssl.verification_mode:certificatexpack.security.transport.ssl.keystore.path:elastic-certificates.p12xpack.security.transport.ssl.truststore.path:elastic-certificates.p12节点3192.168.1.103cluster.name:es-productionnode.name:es-node3path.data:/opt/elasticsearch/datapath.logs:/opt/elasticsearch/logsnetwork.host:192.168.1.103discovery.seed_hosts:[192.168.1.101,192.168.1.102]cluster.initial_master_nodes:[es-node1,es-node2,es-node3]xpack.security.enabled:truexpack.security.transport.ssl.enabled:truexpack.security.transport.ssl.verification_mode:certificatexpack.security.transport.ssl.keystore.path:elastic-certificates.p12xpack.security.transport.ssl.truststore.path:elastic-certificates.p122.3 关键配置参数说明参数说明cluster.name集群名称所有节点必须相同node.name节点名称每个节点唯一discovery.seed_hosts用于发现其他节点的地址列表cluster.initial_master_nodes首次启动时参与主节点选举的候选列表network.host节点绑定地址注意cluster.initial_master_nodes只在集群首次启动时生效。集群形成后可以也应该从配置中移除该参数。2.4 启动集群与验证依次启动三个节点验证集群状态curl-uelastic:password https://192.168.1.101:9200/_cluster/health?pretty{cluster_name:es-production,status:green,timed_out:false,number_of_nodes:3,number_of_data_nodes:3,active_primary_shards:5,active_shards:10,relocating_shards:0,initializing_shards:0,unassigned_shards:0}查看节点列表GET_cat/nodes?v ip heap.percent ram.percent cpu load_1m load_5m load_15m node.direct os version192.168.1.101359250.120.150.10mdi*7.17.0192.168.1.102288830.080.100.09mdi-7.17.0192.168.1.103309040.100.120.11mdi-7.17.0其中*标记表示该节点是当前主节点。三、滚动重启Rolling Restart在生产环境中经常需要重启节点升级版本、修改配置、调整JVM参数等。滚动重启可以保证在重启过程中集群始终可用。3.1 滚动重启标准步骤步骤1禁用分片分配 → 防止节点关闭时触发不必要的分片重新分配 步骤2执行同步刷新 → 将内存中的索引数据刷写到磁盘 步骤3重启节点 → 执行实际的节点重启操作 步骤4等待节点恢复 → 确认节点重新加入集群分片恢复完成 步骤5重新启用分片分配 → 恢复正常的分片分配机制 步骤6等待集群恢复绿色 → 确认所有分片分配完毕3.2 具体操作命令步骤1禁用分片分配PUT_cluster/settings{persistent:{cluster.routing.allocation.enable:primaries}}步骤2执行同步刷新# 对所有索引执行同步刷新curl-XPOSThttps://localhost:9200/_flush/synced?pretty-uelastic:password-k如果索引包含时间序列数据可能需要执行force merge以减少段数量。步骤3关闭并重启节点# 关闭节点kill-SIGTERM$(pidofjava)# 等待进程完全退出后重新启动./bin/elasticsearch-d步骤4等待节点加入集群# 持续检查节点是否恢复curl-uelastic:password-khttps://localhost:9200/_cat/nodes?v# 检查分片恢复状态curl-uelastic:password-khttps://localhost:9200/_cat/recovery?v步骤5重新启用分片分配PUT_cluster/settings{persistent:{cluster.routing.allocation.enable:all}}步骤6等待集群恢复# 持续监控直到状态变为greencurl-uelastic:password-khttps://localhost:9200/_cluster/health?wait_for_statusgreentimeout60spretty3.3 滚动重启注意事项每次只重启一个节点等其完全恢复后再重启下一个使用SIGTERM而非SIGKILL优雅关闭确保正常清理资源如果集群状态为yellow有副本滚动重启期间集群仍然可用重启过程中监控磁盘IO和CPU避免影响在线服务四、分片与副本规划原则分片Shard和副本Replica的设计直接影响Elasticsearch的性能、可用性和资源消耗。4.1 分片数量的规划核心原则分片大小建议30-50GB指标推荐值说明单分片大小30-50GB超过50GB性能下降低于10GB开销比例高单节点分片数≤ 20个/GB堆内存如32GB堆内存建议不超过640个分片单索引分片数根据数据量预估预估数据量 / 分片大小集群总分片数每个节点不超过1000Elasticsearch的软限制分片数量计算示例场景日志索引每天产生50GB数据保留30天 方式一按天建索引推荐 单索引分片数 50GB / 30GB ≈ 2个分片 副本数 1 每个索引总分片数 2 × (1 1) 4个 总索引数 30天 集群总分片数 30 × 4 120个 方式二按月建索引适合数据量较小的场景 单月数据量 50GB × 30 1500GB 分片数 1500GB / 30GB 50个分片 总分片数 50 × 2 100个含1个副本4.2 副本数量规划场景推荐副本数说明开发/测试0节省资源单副本即可普通生产环境1提供1份数据冗余可容忍1节点宕机高可用生产环境2可容忍2节点宕机搜索密集型2更多副本提升搜索并发能力4.3 分片规划的常见错误错误做法后果正确做法单分片过小 5GB段文件太多搜索效率低合并小索引或调整分片策略单分片过大 100GB恢复慢内存压力大提前规划分片数使用Rollover集群总分片过多元数据膨胀master压力大控制索引生命周期定期删除旧数据忽略副本对存储的影响磁盘空间不足实际存储 数据量 × (1 副本数)五、监控与日志配置5.1 集群监控APIElasticsearch提供了丰富的监控API# 查看集群健康状态GET _cluster/health?pretty# 查看节点信息GET _nodes?pretty GET _nodes/stats?pretty# 查看索引统计GET _stats?pretty GET _cat/indices?v# 查看分片分配GET _cat/shards?v GET _cat/allocation?v# 查看pending tasksGET _cluster/pending_tasks?pretty关键监控指标对比指标API关注点集群健康_cluster/healthstatus应为greenJVM堆内存_nodes/statsheap_used_percent应 85%磁盘使用_cat/allocationdisk.percent应 85%分片状态_cat/shards应无UNASSIGNED分片线程池队列_nodes/statsrejected数应为05.2 日志配置详解Elasticsearch使用Log4j2进行日志记录配置文件为log4j2.properties。可用的日志属性变量变量说明示例值${sys:es.logs.base_path}日志目录/var/log/elasticsearch${sys:es.logs.cluster_name}集群名称es-production${sys:es.logs.node_name}节点名称es-node1默认日志配置部分# 控制台输出 status error appender.console.type Console appender.console.name console appender.console.layout.type PatternLayout appender.console.layout.pattern [%d{ISO8601}][%-5p][%-25c{1.}] [%node_name]%marker %m%n # 滚动文件输出 appender.rolling.type RollingFile appender.rolling.name rolling appender.rolling.fileName ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}.log appender.rolling.layout.type PatternLayout appender.rolling.layout.pattern [%d{ISO8601}][%-5p][%-25c{1.}] [%node_name]%marker %m%n # 文件滚动策略 appender.rolling.filePattern ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}-%d{yyyy-MM-dd}-%i.log.gz appender.rolling.policies.type Policies appender.rolling.policies.time.type TimeBasedTriggeringPolicy appender.rolling.policies.time.interval 1 appender.rolling.policies.time.modulate true appender.rolling.policies.size.type SizeBasedTriggeringPolicy appender.rolling.policies.size.size 128MB5.3 启用JSON日志格式在生产环境中推荐使用JSON格式的日志便于日志收集系统如Filebeat、Logstash解析# 修改log4j2.properties appender.console.layout.type ECSJsonLayout appender.rolling.layout.type ECSJsonLayoutJSON格式日志输出示例{timestamp:2026-05-22T10:30:45.123Z,log.level:INFO,message:cluster state updated, version [42], source [elected-d],process.thread.name:masterService#updateTask,log.logger:org.elasticsearch.cluster.service.ClusterApplierService,node.name:es-node1,cluster.name:es-production,elasticsearch.node.version:7.17.0}5.4 日志级别调整# 降低某个包的日志级别如用于调试 logger.deprecation.name org.elasticsearch.deprecation logger.deprecation.level critical # 调高某个包的日志级别如减少噪音 logger.action.name org.elasticsearch.action logger.action.level warn六、总结与最佳实践核心要点回顾运维主题关键配置/命令说明节点角色node.roles严格分离master/data/coordinating集群发现discovery.seed_hosts配置候选主节点地址列表滚动重启禁用分配→刷新→重启→恢复保证集群零停机分片规划30-50GB/分片根据数据量提前规划监控_cluster/health持续监控集群状态日志log4j2.properties使用JSON格式便于收集运维最佳实践Master节点独立生产环境至少3个专用master节点确保选举的稳定性分片提前规划索引分片数一旦确定无法修改务必在创建前合理规划磁盘监控告警设置磁盘使用率告警建议阈值85%预留充足空间滚动重启是标配任何需要重启的场景都应使用滚动重启流程JVM堆内存规则设置为物理内存的50%不超过32GB同时不超过物理内存减去预留空间定期检查集群健康通过_cluster/health和_cat/indices定期巡检上一篇【第07篇】Elasticsearch集群安全配置——TLS/SSL与密钥库管理下一篇【第09篇】Elasticsearch API规范详解——多索引、日期数学与通用选项