当前位置: 首页 > news >正文

深入解析 Elasticsearch 集群配置文件参数

在自建 Elasticsearch 集群时,我们需要通过 elasticsearch.yml 文件对节点角色、网络设置、集群发现和数据存储路径等进行灵活配置。配置项的合理设置对集群的稳定性、性能与扩展性影响深远。本文将以一个示例配置文件为蓝本,逐条解析各参数的含义与建议用法。

以下为示例配置文件片段(IP 地址与节点名称使用泛指占位,实际部署中请根据实际情况替换):

cluster.name: my-application
node.name: node-2
path.data: /data/data
path.logs: /data/logs
network.host: 0.0.0.0
network.publish_host: <NODE_IP>
node.attr.ip: <NODE_IP>
http.port: 9200
discovery.seed_hosts: ['<IP_1>', '<IP_2>', '<IP_3>', ...]
cluster.initial_master_nodes: ['node-1', 'node-2', 'node-3']
action.destructive_requires_name: true
node.roles: [master]

下面我们将逐项进行说明。


1. 集群与节点命名

cluster.name: my-application

  • 作用:定义集群的名称。
  • 含义:Elasticsearch 在同一网络中可以存在多个集群,通过给定独立的 cluster.name,可使节点只加入对应名称的集群。
  • 建议:为集群选择有意义的命名方案,便于在多集群环境中识别。

node.name: node-2

  • 作用:指定该节点在集群中的唯一名称。
  • 含义:人类可读的节点名称有助于在运维与监控中快速定位问题节点。
  • 建议:为节点名称使用统一规则(如 node-1、node-2)或使用有意义的别名。

2. 存储与日志路径

path.data: /data/data

  • 作用:定义存储 Elasticsearch 索引数据的目录。
  • 含义:此目录应有足够的磁盘容量和高 IO 性能。
  • 建议:在生产环境中使用独立存储卷(如 SSD),并确保权限和磁盘空间充足。

path.logs: /data/logs

  • 作用:定义 Elasticsearch 日志文件的存放路径。
  • 含义:日志有助于故障排查与审计分析。
  • 建议:单独的日志目录便于日志轮转和监控,确保不与数据目录混用,以便更好地管理。

3. 网络配置

network.host: 0.0.0.0

  • 作用:设置 Elasticsearch 监听的网络接口地址。
  • 含义:0.0.0.0 表示监听所有网卡的 IP 地址,以便节点对集群内或外部请求开放访问。
  • 建议:生产中可能希望更严格的访问控制,可设置为内网 IP 或使用防火墙限制访问。

network.publish_host: <NODE_IP>

  • 作用:节点将该 IP 通告给集群中的其他节点作为其可访问地址。
  • 含义:当集群节点相互通信时,将使用 publish_host 指定的地址来连接。
  • 建议:确保此 IP 为集群内其他节点可访问的稳定内网地址。

node.attr.ip: <NODE_IP>

  • 作用:为节点添加自定义属性(如 ip 属性),在做 shard 分配或路由策略时可利用该属性。
  • 含义:属性标签可在 Elasticsearch 中用于 shard 分配过滤(allocation filtering),从而把数据分配到特定节点上。
  • 建议:仅在有高级调度和部署策略需求时使用此特性。

http.port: 9200

  • 作用:指定 Elasticsearch HTTP 接口监听的端口(用于查询、索引和 REST API 访问)。
  • 建议:默认是 9200,可根据需要更改。确保安全组/防火墙已开放此端口。

4. 集群发现与初始配置

discovery.seed_hosts: ['<IP_1>', '<IP_2>', '<IP_3>', ...]

  • 作用:定义最初用于集群发现的节点列表。
  • 含义:当新加入的节点启动时,会连接此列表中的种子节点以获取集群信息,并与主节点通信。
  • 建议:列出集群中多个已知节点的内网 IP 地址,可提升集群发现的可靠性。

cluster.initial_master_nodes: ['node-1', 'node-2', 'node-3']

  • 作用:在首次启动集群或全新集群节点时定义初始主节点投票成员。
  • 含义:通过此配置,Elasticsearch 能在第一次启动时选举出主节点,避免集群处于无主状态。
  • 建议:只在全新部署集群时设置,一旦集群形成后,通常无需再次修改。

5. 安全与危险操作限制

action.destructive_requires_name: true

  • 作用:防止在执行删除索引操作时使用通配符(如 _all*)导致误删所有索引。
  • 含义:要求对 destructive 操作(如 DELETE /index*)明确指定索引名称,提升数据安全性。
  • 建议:在生产环境中务必开启该设置,以减少误操作风险。

6. 节点角色配置

node.roles: [master]

  • 作用:指定节点角色,如 masterdataingest 等。此处仅以 master 为例。
  • 含义:主节点负责集群元数据管理、节点故障检测和分片分配决策,而数据节点负责存储和查询数据,ingest 节点负责预处理数据管道。
  • 建议:将节点角色分离有助于提升集群稳定性和性能(如在大型集群中,有专门的 master-only 节点)。根据实际需求设置适合的角色组合。

总结

通过上面的参数解析,我们可以看出 elasticsearch.yml 文件对 Elasticsearch 集群运行行为有着关键影响。从基础的集群和节点命名,到数据和日志存储,再到网络配置和集群发现机制,每个参数都与集群的稳定性、可扩展性和安全性息息相关。

在实践中,请根据以下建议进行配置:

  1. 清晰定义集群和节点名称:易于识别和管理。
  2. 独立存储数据与日志:为数据提供高性能与安全的持久化存储。
  3. 安全的网络设置:使用内网 IP 作为 publish_host,根据需要限制访问。
  4. 合理的发现和主节点配置:确保集群在初次启动时能正常选举主节点,并有足够的 seed 节点进行自动发现。
  5. 安全保护措施:开启 action.destructive_requires_name 避免误操作。
  6. 明确分配节点角色:根据业务规模和查询/索引需求进行角色分离,提升集群性能和可靠性。

通过理解并合理配置这些参数,您将能够搭建一个高效、稳定且易于扩展的 Elasticsearch 集群,为上层应用和数据分析业务提供坚实基础。

相关文章:

深入解析 Elasticsearch 集群配置文件参数

在自建 Elasticsearch 集群时&#xff0c;我们需要通过 elasticsearch.yml 文件对节点角色、网络设置、集群发现和数据存储路径等进行灵活配置。配置项的合理设置对集群的稳定性、性能与扩展性影响深远。本文将以一个示例配置文件为蓝本&#xff0c;逐条解析各参数的含义与建议…...

WebMvcConfigurer和WebMvcConfigurationSupport(MVC配置)

一:基本介绍 WebMvcConfigurer是接口&#xff0c;用于配置全局的SpringMVC的相关属性&#xff0c;采用JAVABean的方式来代替传统的XML配置文件&#xff0c;提供了跨域设置、静态资源处理器、类型转化器、自定义拦截器、页面跳转等能力。 WebMvcConfigurationSupport是webmvc的…...

用 javascript 来回答宇宙外面是什么

宇宙外面是什么呢? 估计这个问题要困扰很多人, 让我们用一段 javascript 代码来回答一下. 一, 从一段代码说起 var 地球 {名字 : "地球",女友 : "月亮",外面 : {名字 : "太阳系",老大 : "太阳",老二 : {名字 : "木星",二…...

我的性能优化经验

专业方向&#xff1a;App cpu/memory/gpu/流畅度/响应时间的优化&#xff0c;Anr&#xff0c;Framework CarPowerManagementService模块的&#xff08;STR&#xff09;&#xff0c;从0~1完成性能监控体系搭建&#xff0c;完成3大版本迭代高质量性能交付 响应时间&#xff1a; …...

XSLT 编辑 XML

XSLT 编辑 XML 介绍 XSLT&#xff08;可扩展样式表语言转换&#xff09;是一种用于转换XML文档的语言。它允许开发人员将XML数据转换为其他格式&#xff0c;如HTML、PDF或纯文本。XSLT通过使用XPath查询来定位XML文档中的元素&#xff0c;并对这些元素应用转换规则。在本教程…...

数智读书笔记系列010 生命3.0:人工智能时代 人类的进化与重生

书名&#xff1a;生命3.0 生命3.0&#xff1a;人工智能时代,人类的进化与重生 著者&#xff1a;&#xff3b;美&#xff3d;迈克斯•泰格马克 迈克斯・泰格马克 教育背景与职业 教育背景&#xff1a;迈克斯・泰格马克毕业于麻省理工学院&#xff0c;获物理学博士学位。职业经…...

Transfomer的各层矩阵

一、输入 输入一句话&#xff1a;Hello CYZLAB the inspired world 每个单词为一个token 二、Embedding 这里的词向量维度为6&#xff0c;矩阵的行数为token数&#xff0c;列数是词向量的维度 这列是注释不算hello122694CYZLAB222372the222596inspired132440world431273 …...

代码随想录第51天

99.岛屿数量 深搜 import java.util.*;class Main{static int[][] directions {{0, 1}, {1, 0}, {0, -1}, {-1, 0}};static boolean[][] visited;public static void main(String[] args) {Scanner sc new Scanner(System.in);int n sc.nextInt();int m sc.nextInt();int…...

基础库httpx的使用

urllib 库和 requests 库的使用&#xff0c;已经可以爬取绝大多数网站的数据&#xff0c;但对于某些网站依然无能为力。什么情况?这些网站强制使用HTTP/2.0协议访问&#xff0c;这时 urllib 和requests 是无法爬取数据的&#xff0c;因为它们只支持 HTTP/1.1&#xff0c;不支持…...

c++中如何保持结构体的线程安全?3D坐标的线程安全:从理论到最优解

使用mutex的困扰 struct Point3d {std::mutex mtx;double x, y, z;void set(double nx, double ny, double nz) {std::lock_guard<std::mutex> lock(mtx);x nx; y ny; z nz;} };这种方案虽然安全&#xff0c;但性能开销确实不小。每次访问都需要加锁解锁&#xff0c;…...

Zabbix6.0升级为6.4

为了体验一些新的功能&#xff0c;比如 Webhook 和问题抑制等&#xff0c;升级个小版本。 一、环境信息 1. 版本要求 一定要事先查看官方文档&#xff0c;确认组件要求的版本&#xff0c;否则版本过高或者过低都会出现问题。 2. 升级前后信息 环境升级前升级后操作系统CentOS…...

答题考试系统v1.6.1高级版源码分享+uniapp+搭建测试环境

一.系统介绍 一款基于FastAdminThinkPHPUniapp开发的小程序答题考试系统&#xff0c;支持多种试题类型、多种试题难度、练题、考试、补考模式&#xff0c;提供全部前后台无加密源代码&#xff0c;支持私有化部署 二.测试环境 系统环境&#xff1a;CentOS、 运行环境&#x…...

【Lua热更新】下篇 -- 更新中

上篇链接&#xff1a;【Lua热更新】上篇 文章目录 三、xLua热更新&#x1f4d6;1.概述&#x1f4da;︎2.导入xLua框架&#x1f516;3. C#调用Lua3.1Lua解析器3.2Lua文件夹的重定向3.3Lua解析器管理器3.4全局变量获取3.5全局函数获取3.6映射到List和Dictionary3.7映射到类3.8映…...

射频测试入门学习(三)——程控仪器是怎样和电脑连接通信的

目录 一、程控仪器需要哪些条件 二、可程控仪器 三、专业的仪器通信软件、驱动 四、编程语言 五、电脑控制仪器条件汇总 六、仪器指令查询 七、结语 一、程控仪器需要哪些条件 1、需要具备硬件条件(可程控的仪器、个人计算机(PC)) 2、专业的仪器通信软件、驱动 3、…...

并发控制之Semaphore

Semaphore 作用 信号量&#xff0c;用于控制同时访问特定资源的线程数量&#xff0c;通过协调各个线程&#xff0c;以确保对共享资源的访问不会导致冲突或数据不一致等问题&#xff0c;有点类似令牌桶&#xff0c;内部维护一组许可证&#xff0c; acquire获取许可证&#xf…...

第R3周:RNN-心脏病预测

&#x1f368; 本文为&#x1f517;365天深度学习训练营 中的学习记录博客&#x1f356; 原作者&#xff1a;K同学啊 &#x1f37a;要求&#xff1a; 1 本地读取并加载数据。 2 了解循环神经网络&#xff08;RNN&#xff09;的构建过程 3 测试集accuracy到达87% &#x1f37b;拔…...

【数值特性库】入口文件

数值特性库入口文件为lib.rs。该文件定义一系列数字特性的trait&#xff08;特征&#xff09;&#xff0c;这些特性可以被不同的数字类型实现&#xff0c;从而提供一套通用的数值操作方法。下面是对代码中关键部分的解释&#xff1a; 一、基础设置 #![doc(html_root_url “h…...

RestTemplate实时接收Chunked编码传输的HTTP Response

学习调用AI接口的时候&#xff0c;流式响应都是使用的 Transfer-Encoding: chunked&#xff0c;图方便想用RestTemplate&#xff0c;但是平时用到的都是直接返回响应对象的类型。使用bing搜索到一种方式&#xff0c;使用下面的代码来读取&#xff0c;于是掉这个坑里了&#xff…...

GIT区域介绍及码云+GIt配置仓库

GIT区域介绍 创建文件夹git init 1、git有3个区域 工作区&#xff08;working directory&#xff09;&#xff1a;项目的根目录&#xff0c;不包 括.git在内的其他文件暂存区&#xff08;stage area&#xff09;&#xff1a;是一个看不见的区域&#xff0c;git add 命令就是将文…...

网络安全怎么学习

当我们谈论网络安全时&#xff0c;我们正在讨论的是保护我们的在线空间&#xff0c;这是我们所有人的共享责任。网络安全涉及保护我们的信息&#xff0c;防止被未经授权的人访问、披露、破坏或修改。 一、网络安全的基本概念 网络安全是一种保护&#xff1a;它涉及保护我们的设…...

PugiXML,一个高效且简单的 C++ XML 解析库!

嗨&#xff0c;大家好&#xff01;我是一行。今天要给大家介绍 PugiXML&#xff0c;这可是 C 里处理 XML 数据的得力助手。它能轻松地读取、修改和写入 XML 文件&#xff0c;就像一个专业的 XML 小管家&#xff0c;不管是解析配置文件&#xff0c;还是处理网页数据&#xff0c;…...

Linux设备树的驱动开发

概述 本文介绍了platform框架下的设备驱动开发流程和方法&#xff0c;主要包括设备树、驱动程序和应用程序的开发。以随机数驱动为例&#xff0c;实现了应用程序调用库函数&#xff0c;通过系统调用陷入内核&#xff0c;最后执行硬件驱动&#xff0c;获取真随机数的过程。 添…...

连锁?下沉?AI?2025年餐饮新活力!

如果要用几个词来形容 2024 年的餐饮业&#xff0c;这些词大概率会是「卷、难、惨」&#xff0c;用著名商业顾问刘润的话来说就是「卷到极致」。虽然餐饮人在社交平台上叫苦连天&#xff0c;但当我们查看餐饮大盘数据时发现&#xff0c;大盘在涨&#xff0c;与个体餐饮人的实感…...

Javascript中如何实现函数缓存?函数缓存有哪些应用场景?

今天要聊的一个很经典的问题——如何在JavaScript中实现函数缓存&#xff0c;以及它有哪些应用场景。 我们先来明确一下&#xff0c;函数缓存是什么。简单来说&#xff0c;函数缓存是将函数的运算结果存储起来&#xff0c;以便下次用到相同的输入时&#xff0c;可以直接返回结…...

子页面访问父页面

子页面访问父页面的方式主要依赖于页面之间的关系&#xff0c;特别是它们是否处于同一域、是否是嵌套在 <iframe> 中、或者通过弹出窗口打开。下面是几种常见的子页面访问父页面的方法&#xff1a; 1. 通过 window.parent 访问父页面&#xff08;适用于嵌套的 iframe&am…...

芯片级IO (Pad) Ring IP Checklist

SoC top顶层数字后端实现都会涉及到IO Ring &#xff08;PAD Ring&#xff09;的设计。这里面包括VDD IO,VDDIO IO, Signal IO, Corner IO&#xff0c;Filler IO&#xff0c;IO power cut cell等等。 数字后端零基础入门系列 | Innovus零基础LAB学习Day2 数字IC后端实现TOP F…...

计算机毕业设计论文指导

计算机毕业设计论文指导 计算机毕业设计辅导一站式&#xff01;太香了&#x1f4aa; [赞R][赞R][赞R]嗨喽&#xff01;计算机专业的宝子们&#xff01; 计算机毕设辅导专业靠谱的他来了&#xff01;&#xff01; 是不是还在为选题程序不会做而感到苦难&#xff1f; 论文没思路赶…...

Electron-Vue 开发下 dev/prod/webpack server各种路径设置汇总

背景 在实际开发中&#xff0c;我发现团队对于这几个路径的设置上是纯靠猜的&#xff0c;通过一点点地尝试来找到可行的路径&#xff0c;这是不应该的&#xff0c;我们应该很清晰地了解这几个概念&#xff0c;以下通过截图和代码进行细节讲解。 npm run dev 下的路径如何处理&…...

Vue.js前端框架教程9:Vue插槽slot用法

文章目录 插槽&#xff08;Slots&#xff09;无名插槽&#xff08;默认插槽&#xff09;具名插槽reference 插槽使用 v-slot 的缩写语法 插槽&#xff08;Slots&#xff09; 在 Vue 中&#xff0c;插槽&#xff08;Slots&#xff09;是一种组件内容分发的机制&#xff0c;允许…...

初学stm32 --- NVIC中断

目录 STM32 NVIC 中断优先级管理 NVIC_Type: ISER[8]&#xff1a; ICER[8]&#xff1a; ISPR[8]&#xff1a; ICPR[8]&#xff1a; IABR[8]&#xff1a; IP[240]&#xff1a; STM32 的中断分组&#xff1a; 中断优先级分组函数 NVIC_PriorityGroupConfig 中断初始化函…...