当前位置: 首页 > news >正文

Linux上Elasticsearch 集群部署指南

Es 集群部署

  • Es 集群部署

Es 集群部署

准备好三台服务器。示例使用:110.0.5.141/142/143

1、es用户和用户组创建,使用root账号

groupadd esuseradd -g es es

2、将es安装包和ik分词器上传到:/home/es/目录下(任意目录都行),并解压

cd /home/estar -zxvf elasticsearch-7.17.5-linux-x86_64.tar.gz

3、将ik解压后目录下的整个(ik分词器插件)上传到/home/es/elasticsearch-7.17.5/plugins

4、配置es的java环境变量(ES包里自带了jdk直接使用即可)。使用es用户。

cd /home/esvim /etc/profile
export PATH
export ES_JAVA_HOME=/home/es/elasticsearch-7.17.5/jdk
export CLASSPATH=.:$ES_JAVA_HOME/lib/dt.jar:$JRE_HOME/lib/tools.jar
export PATH=$ES_JAVA_HOME/bin:$PATH

配置完刷新一下 source /etc/profile

5、修改elasticsearch.yml

cd /home/es/elasticsearch-7.17.5/config

vi elasticsearch.yml (改配置都注释了,放开注释直接配置,跨域访问配置需要添加在末尾)

141服务器:

cluster.name: my-es
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["110.0.5.141", "110.0.5.142", "110.0.5.143"]
cluster.initial_master_nodes: ["110.0.5.141"]
#允许跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"

142服务器:

cluster.name: my-es
node.name: node-2
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["110.0.5.141", "110.0.5.142", "110.0.5.143"]
cluster.initial_master_nodes: ["110.0.5.141"]
#允许跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"

143服务器:

cluster.name: my-es
node.name: node-2
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["110.0.5.141", "110.0.5.142", "110.0.5.143"]
cluster.initial_master_nodes: ["110.0.5.141"]
#允许跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"

6、配置ca证书

1.新增配置

每个集群节点都需要设置,编辑 elasticsearch.yml 文件:

cd /home/isearch/es
vi es-cluster-01/config/elasticsearch.yml
vi es-cluster-02/config/elasticsearch.yml
vi es-cluster-03/config/elasticsearch.yml
# 设置启用了X-Pack安全特性,包括身份验证、授权、加密通信和审计等功能
xpack.security.enabled: true
# 设置指定了使用基本类型的自生成许可证
xpack.license.self_generated.type: basic
# 设置启用了节点间通信的SSL/TLS加密
xpack.security.transport.ssl.enabled: true# 设置定义了SSL/TLS通信时的证书验证模式
xpack.security.transport.ssl.verification_mode: certificate
# 设置指定了包含SSL密钥和证书的PKCS#12文件(.p12)的路径
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
# 设置指定了包含受信任证书集合的PKCS#12文件的路径
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

2.生成CA证书,es的bin目录下

cd /home/isearch/es/es-cluster-01/bin./elasticsearch-certutil ca

Please enter the desired output file [elastic-stack-ca.p12]: // 设置文件生成名称(可回车跳过,默认为elastic-stack-ca.p12)

Enter password for elastic-stack-ca.p12 : // 设置证书密码(如不设置也可回车跳过)

3.对生成的CA证书进行验证

依次执行以下命令

# 依次输入上一个步骤的密码。回车(文件使用默认名),密码(建议与上一步密码相同)
./elasticsearch-certutil cert --ca elastic-stack-ca.p12  #并输入第一步输入的密码
./elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password  #并输入第一步输入的密码
./elasticsearch-keystore add xpack.security.transport.ssl.truststore.secure_password 

执行完命令后会得到三个文件,如不设置文件名称,则是elastic-certificates.p12、elasticsearch.keystore、elastic-stack-ca.p12

其中(我的设置完路径如下)elastic-certificates.p12、elastic-stack-ca.p12在es根路径,elasticsearch.keystore在config目录下

将这三个文件都拷贝到config目录下,然后在之前的xpack配置后增加:

cd /home/isearch/es/es-cluster-01mv elastic-certificates.p12 ./config/mv elastic-stack-ca.p12 ./config/

将节点 1 上的证书依次拷贝到其他节点:

配置修改完成,重启es服务

6、修改jvm配置

cd /home/es/elasticsearch-7.17.5/configvi jvm.options

内存大小按照实际情况修改。默认为4g

-Xms1g
-Xmx1g

7、文件数和句柄数修改

vim /etc/security/limits.conf

* soft nofile 65535
* hard nofile 65535
* soft nproc 65535
* hard nproc 65535

8、vm.max_map_count参数修改

vim /etc/sysctl.conf

##文件末尾添加并保存
vm.max_map_count=262144

执行一下命令刷新下配置 sysctl -p

9、配置都修改完毕后,需要将用户目录权限全部给到es用户。(因为elasticSearch不能使用root用户启动)

chown -R es:es /home/es

10、切换到es用户然后,启动es

su escd /home/es/elasticsearch-7.17.5/bin./elasticsearch (后台启动命令./elasticsearch -d)

ES 集群不启动,下面的添加密码操作执行不了,所以依次启动 3 个节点。

~/es/es-cluster-01/bin/elasticsearch -d~/es/es-cluster-02/bin/elasticsearch -d~/es/es-cluster-03/bin/elasticsearch -d

11、es设置密码访问

1)修改es根目录下的elasticsearch.yml配置文库,写入下面配置。

cd /home/es/elasticsearch-7.17.5/config/elasticsearch.yml

xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true

修改完成后重启elastic

2)设置密码,进入bin目录下执行命令。在任意一台es机器执行设置用户名和密码(uxun2024)的命令

cd /home/isearch/es/es-cluster-01/bin./elasticsearch-setup-passwords interactive

浏览器访问:168.165.34.44:9200;

用户密码登录=> 用户名:elastic 密码:自己设置的密码(2025);

13、创建ES索引,有三种方式;

  1. postman直接请求;
  2. cur请求
  3. kibana请求

1.通过postman请求Elasticsearch 的 RESTFul API 创建索引;

2.登录es,账号:elastic 密码:2025;

3.复制登陆后Authorization信息使用postman的PUT请求ES;

4.找到索引文件,只需要执行mapping类文件,复制里面内容,如果包含_doc则去掉;

5.es请求后缀如第一个文件为order,put请求内容地址为:192.168.5.142:9200/order;

6.若执行错误内容,讲put请求改为delete请求即可删除;

后记
👉👉💕💕美好的一天,到此结束,下次继续努力!欲知后续,请看下回分解,写作不易,感谢大家的支持!! 🌹🌹🌹

相关文章:

Linux上Elasticsearch 集群部署指南

Es 集群部署 Es 集群部署 Es 集群部署 准备好三台服务器。示例使用:110.0.5.141/142/143 1、es用户和用户组创建,使用root账号 groupadd esuseradd -g es es2、将es安装包和ik分词器上传到:/home/es/目录下(任意目录都行&#…...

字节Trae使用感想(后端)

前言 昨天分享了字节哥的Trae从0到1创作模式构建一个vue前端项目,今天又来试试她的后端项目能力。不是我舔,不得不说确实不错。可惜现在曾经没有好好学习,进不了字节。既然进不了字节,那我就用字节哥的产品吧。 后面有惊喜…...

国产编辑器EverEdit - 二进制模式下观察Window/Linux/MacOs换行符差异

1 换行符格式 1.1 应用场景 稍微了解计算机历史的人都知道, 计算机3大操作系统: Windows、Linux/Unix、MacOS,这3大系统对文本换行的定义各不相同,且互不相让,导致在文件的兼容性方面存在一些问题,比如它们…...

文心一言4月起全面免费,6月底开源新模型:AI竞争进入新阶段?

名人说:莫听穿林打叶声,何妨吟啸且徐行。—— 苏轼 Code_流苏(CSDN)(一个喜欢古诗词和编程的Coder😊) 目录 一、文心一言免费化的背后:AI成本与应用的双重驱动1️⃣成本下降,推动文心一言普及2…...

解锁机器学习算法 | 线性回归:机器学习的基石

在机器学习的众多算法中,线性回归宛如一块基石,看似质朴无华,却稳稳支撑起诸多复杂模型的架构。它是我们初涉机器学习领域时便会邂逅的算法之一,其原理与应用广泛渗透于各个领域。无论是预测房价走势、剖析股票市场波动&#xff0…...

如何使用Three.js制作3D月球与星空效果

目录 1. 基本设置2. 创建星空效果3. 创建月球模型4. 添加中文3D文字5. 光照与相机配置6. 动画与控制7. 响应式布局8. 结语 在本文中,我们将一起学习如何利用Three.js实现一个3D月球与星空的效果,并添加一些有趣的元素,比如中文3D文字和互动功…...

SQL语句语法

SQL数据库的结构为 库database 表table 段segment 行row 列column 或field SQL 语句主要分为以下几类: 数据定义语言(DDL):用于定义数据库对象,如数据库、表、视图、索引等。数据操作语言(DML)&…...

github上文件过大无法推送问题

GitHub 对文件大小有限制,超过 100 MB 的文件无法直接推送到仓库中。 解决思路: 使用 Git Large File Storage (Git LFS) 来管理大文件不上传对应的大文件 使用Git LFS: 1. 安装 Git LFS 首先,你需要安装 Git LFS。可以按照以…...

微信小程序的请求函数封装(ts版本,uniapp开发)

主要封装函数代码: interface HttpOptions {url: string;method?: string;headers?: { [key: string]: string };data?: any; }class Http {private timeout: number;private baseUrl: string;public constructor() { this.timeout 60 * 1000;this.baseUrl ht…...

Visual Studio Code支持WSL,直接修改linux/ubuntu中的文件

步骤1 开始通过 WSL 使用 VS Code | Microsoft Learn 点击远程开发扩展包。 步骤2 Remote Development - Visual Studio Marketplace 点击install, 允许打开Visual Studio Code。 步骤3 共有4项,一齐安装。 步骤4 在WSL Linux(Ubuntu)中&#xf…...

openAI最新o1模型 推理能力上表现出色 准确性方面提升 API如何接入?

OpenAI o1模型在回答问题前会进行深入思考,并生成一条内部推理链,使其在尝试解决问题时可以识别并纠正错误,将复杂的步骤分解为更简单的部分,并在当前方法无效时尝试不同的途径。据悉,o1不仅数学水平与美国奥林匹克竞赛…...

GC 基础入门

什么是GC(Garbage Collection)? 内存管理方式通常分为两种: 手动内存管理(Manual Memory Management)自动内存管理(Garbage Collection, GC) 手动内存管理 手动内存管理是指开发…...

Go语言协程Goroutine高级用法(一)

什么协程 在Go语言中,协程就是一种轻量的线程,是并发编程的单元,由Go来管理,所以在GO层面的协程会更加的轻量、高效、开销更小,并且更容易实现并发编程。 轻量级线程 Go语言中协程(线程)与传…...

DeepSeek处理自有业务的案例:让AI给你写一份小众编辑器(EverEdit)的语法着色文件

1 DeepSeek处理自有业务的案例:让AI给你写一份小众编辑器(EverEdit)的语法着色文件 1.1 背景 AI能力再强,如果不能在企业的自有业务上产生助益,那基本也是一无是处。将企业的自有业务上传到线上训练,那是脑子进水的做法&#xff…...

【鸿蒙HarmonyOS Next实战开发】lottie动画库

简介 lottie是一个适用于OpenHarmony和HarmonyOS的动画库,它可以解析Adobe After Effects软件通过Bodymovin插件导出的json格式的动画,并在移动设备上进行本地渲染。 下载安裝 ohpm install ohos/lottieOpenHarmony ohpm 环境配置等更多内容&#xff0c…...

PAT乙级真题 — 1084 外观数列(java)

外观数列是指具有以下特点的整数序列: d, d1, d111, d113, d11231, d112213111, ...它从不等于 1 的数字 d 开始,序列的第 n1 项是对第 n 项的描述。比如第 2 项表示第 1 项有 1 个 d,所以就是 d1;第 2 项是 1 个 d(对…...

从 ClickHouse 到 Apache Doris:在网易云音乐日增万亿日志数据场景下的落地

导读:日志数据已成为企业洞察系统状态、监控网络安全及分析业务动态的宝贵资源。网易云音乐引入 Apache Doris 作为日志库新方案,替换了 ClickHouse。解决了 ClickHouse 运维复杂、不支持倒排索引的问题。目前已经稳定运行 3 个季度,规模达到…...

STM32——HAL库开发笔记19(串口中断接收实验)(参考来源:b站铁头山羊)

本实验,我们以中断的方式使得串口发送数据控制LED的闪烁速度,发送1,慢闪;发送2,速度正常;发送3,快闪。 一、电路连接图 二、实现思路&CubeMx配置 1、实现控制LED的闪烁速度 uint32_t bli…...

清影2.0(AI视频生成)技术浅析(二):自然语言处理

清影2.0(AI视频生成)中的自然语言处理(NLP)技术是其核心组件之一,负责将用户输入的自然语言文本转化为机器可以理解的语义表示,从而指导后续的视频生成过程。 一、基本原理 1. 目标 清影2.0的NLP技术旨在将用户输入的自然语言文本转化为机器可以理解的语义表示,从而指…...

Unity序列化多态数组

文档 Json序列化 脚本序列化 问题 Unity序列化数组时,只能存储基类内容,子类内容缺少。 Unity版本 2019.4.40 原因:Unity序列化不支持多态 测试类 将testarray类序列化时,多态列表personlist只转换了基类数据,子类…...

golang循环变量捕获问题​​

在 Go 语言中,当在循环中启动协程(goroutine)时,如果在协程闭包中直接引用循环变量,可能会遇到一个常见的陷阱 - ​​循环变量捕获问题​​。让我详细解释一下: 问题背景 看这个代码片段: fo…...

Zustand 状态管理库:极简而强大的解决方案

Zustand 是一个轻量级、快速和可扩展的状态管理库,特别适合 React 应用。它以简洁的 API 和高效的性能解决了 Redux 等状态管理方案中的繁琐问题。 核心优势对比 基本使用指南 1. 创建 Store // store.js import create from zustandconst useStore create((set)…...

五年级数学知识边界总结思考-下册

目录 一、背景二、过程1.观察物体小学五年级下册“观察物体”知识点详解:由来、作用与意义**一、知识点核心内容****二、知识点的由来:从生活实践到数学抽象****三、知识的作用:解决实际问题的工具****四、学习的意义:培养核心素养…...

令牌桶 滑动窗口->限流 分布式信号量->限并发的原理 lua脚本分析介绍

文章目录 前言限流限制并发的实际理解限流令牌桶代码实现结果分析令牌桶lua的模拟实现原理总结: 滑动窗口代码实现结果分析lua脚本原理解析 限并发分布式信号量代码实现结果分析lua脚本实现原理 双注解去实现限流 并发结果分析: 实际业务去理解体会统一注…...

【python异步多线程】异步多线程爬虫代码示例

claude生成的python多线程、异步代码示例,模拟20个网页的爬取,每个网页假设要0.5-2秒完成。 代码 Python多线程爬虫教程 核心概念 多线程:允许程序同时执行多个任务,提高IO密集型任务(如网络请求)的效率…...

智能仓储的未来:自动化、AI与数据分析如何重塑物流中心

当仓库学会“思考”,物流的终极形态正在诞生 想象这样的场景: 凌晨3点,某物流中心灯火通明却空无一人。AGV机器人集群根据实时订单动态规划路径;AI视觉系统在0.1秒内扫描包裹信息;数字孪生平台正模拟次日峰值流量压力…...

如何在网页里填写 PDF 表格?

有时候,你可能希望用户能在你的网站上填写 PDF 表单。然而,这件事并不简单,因为 PDF 并不是一种原生的网页格式。虽然浏览器可以显示 PDF 文件,但原生并不支持编辑或填写它们。更糟的是,如果你想收集表单数据&#xff…...

Android第十三次面试总结(四大 组件基础)

Activity生命周期和四大启动模式详解 一、Activity 生命周期 Activity 的生命周期由一系列回调方法组成,用于管理其创建、可见性、焦点和销毁过程。以下是核心方法及其调用时机: ​onCreate()​​ ​调用时机​:Activity 首次创建时调用。​…...

HDFS分布式存储 zookeeper

hadoop介绍 狭义上hadoop是指apache的一款开源软件 用java语言实现开源框架,允许使用简单的变成模型跨计算机对大型集群进行分布式处理(1.海量的数据存储 2.海量数据的计算)Hadoop核心组件 hdfs(分布式文件存储系统)&a…...

基于TurtleBot3在Gazebo地图实现机器人远程控制

1. TurtleBot3环境配置 # 下载TurtleBot3核心包 mkdir -p ~/catkin_ws/src cd ~/catkin_ws/src git clone -b noetic-devel https://github.com/ROBOTIS-GIT/turtlebot3.git git clone -b noetic https://github.com/ROBOTIS-GIT/turtlebot3_msgs.git git clone -b noetic-dev…...