当前位置: 首页 > news >正文

【elasticsearch】使用自建证书搭建elasticsearch8.0.1集群

概述

本文将分享使用自建证书搭建加密的es集群,如果想使用rpm包安装,前期的搭建过程请参考上面一篇文章https://blog.csdn.net/margu_168/article/details/133344675。后续的操作与使用tar包安装的类似,只是需要注意目录的区别。

es8.0.1安装

环境规划

本次使用3节点的centos7安装es8.0.1版本的集群,规划如下:

hostnameIP
k8s-m1192.168.2.140
k8s-m2192.168.2.141
k8s-m3192.168.2.142

包下载安装

以下操作3个节点都需要进行。如果使用wget下载慢,可以使用其他工具下载好再上传到服务器。

[root@k8s-m1 opt]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.0.1-linux-x86_64.tar.gz
[root@k8s-m1 opt]# tar -xvf elasticsearch-8.0.1-linux-x86_64.tar.gz

环境调整
由于es服务需要服务器调整连接数,修改limits.conf文件,如下:

vim /etc/security/limits.conf  
* soft nofile 655350
* hard nofile 655350

调整vm.max_map_coun,检查当前的 vm.max_map_count 值:如果当前的值小于 262144,需要调整。否则,如果当前的值已经达到或超过 262144,那么可以不进行任何更改,当然也可以适量调大一点。

[root@k8s-m1 ~]# sysctl vm.max_map_count
[root@k8s-m1 ~]# echo "vm.max_map_count=655360" >> /etc/sysctl.conf 
[root@k8s-m1 ~]# sysctl -p

默认情况下,es不能使用root用户运行,需要自行创建一个用户。

[root@k8s-m1 ~]# useradd es

jvm使用内存大小调整,默认情况下,es配置使用的是-Xms4g和-Xmx4g,可以按照自己所需进行调整。

证书配置

注意,在es8.0.1版本中,默认情况下,证书文件已经默认自己生成。可以先删除或者后面进行覆盖。

创建CA

[root@k8s-m1 elasticsearch-8.0.1]# pwd
/opt/elasticsearch-8.0.1[root@k8s-m2 elasticsearch-8.0.1]# ./bin/elasticsearch-certutil ca
warning: ignoring JAVA_HOME=/opt/jdk1.8.0_65; using bundled JDK
This tool assists you in the generation of X.509 certificates and certificate
signing requests for use with SSL/TLS in the Elastic stack.The 'ca' mode generates a new 'certificate authority'
This will create a new X.509 certificate and private key that can be used
to sign certificate when running in 'cert' mode.Use the 'ca-dn' option if you wish to configure the 'distinguished name'
of the certificate authorityBy default the 'ca' mode produces a single PKCS#12 output file which holds:* The CA certificate* The CA's private keyIf you elect to generate PEM format certificates (the -pem option), then the output will
be a zip file containing individual files for the CA certificate and private keyPlease enter the desired output file [elastic-stack-ca.p12]: 
Enter password for elastic-stack-ca.p12 : 

按提示操作即可,我这里选择了不改名字、不加密码。完成后该工具会在当前目录(/opt/elasticsearch-8.0.1
)生成elastic-stack-ca.p12这个文件。这个文件将用于签署其他证书,非常重要。

启用elasticsearch节点间加密通讯(与默认的transport.p12证书类似):

创建用于节点间加密的keystore

使用上面的CA文件生成加密的传输证书文件,如下:

[root@k8s-m1 elasticsearch-8.0.1]# ./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 
##默认输出的名字为elastic-certificates.p12,如果想指定名称,可以使用--out参数,如下。
#[root@k8s-m2 elasticsearch-8.0.1]# ./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 --out transport.p12

按提示操作,为了方便,我没改默认文件名,也没有添加密码。完成后生成keystore文件elastic-certificates.p12,里面包含了节点证书,节点密钥,以及CA的证书。

修改keystore里面的密码以便本节点elasticsearch进程可以读取证书文件

注意默认情况下,生成这些文件时时添加了密码的并写入了elasticsearch.keystore文件中,但我们生成新的证书时没有添加密码,所以还需要修改elasticsearch.keystore这个文件,(大家可以测试如果生成证书时没有设置密码,而elasticsearch.keystore文件里面还有之前遗留下的密码服务是否能正常运行)方法如下:

#可以先用以下命令查看到之前的密码
[root@k8s-m1 elasticsearch-8.0.1]# ./bin/elasticsearch-keystore show xpack.security.transport.ssl.keystore.secure_password#修改,如果有可以直接覆盖。当然也可以先delete后进行添加
[root@k8s-m1 opt]# ./bin/elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password
warning: ignoring JAVA_HOME=/opt/jdk1.8.0_65; using bundled JDK
Setting xpack.security.transport.ssl.keystore.secure_password already exists. Overwrite? [y/N]y
Enter value for xpack.security.transport.ssl.keystore.secure_password: [root@k8s-m1 opt]# ./bin/elasticsearch-keystore add xpack.security.transport.ssl.truststore.secure_password

证书拷贝

在/opt/elasticsearch-8.0.1/config/文件夹里新建certs文件夹以方便后面对路径统一管理。把elastic-certificates.p12文件复制到每一个节点的certs目录。注意读取权限要分配给es用户和组(该组需要自己手动创建)。

[root@k8s-m1 elasticsearch-8.0.1]# mkdir config/certs/
# 注意我修改了一下名字与默认的保持一致
[root@k8s-m1 elasticsearch-8.0.1]# cp elastic-certificates.p12 config/certs/transport.p12 
[root@k8s-m1 elasticsearch-8.0.1]# cp elastic-stack-ca.p12 config/certs/http_ca.crt 

启用elasticsearch服务器上的http加密通讯

使用工具生成用于http加密通讯的p12及pem文件。

[root@k8s-m2 elasticsearch-8.0.1]# ./bin/elasticsearch-certutil http    

上面的命令运行后会有一堆问题,我按如下配置:
创建CSR: 否 使用已创建CA:是 CA文件路径: /opt/elasticsearch-8.0.1/elastic-stack-ca.p12 CA文件密码:无密码 设置证书过期时间:默认5y。 是否为每个节点创建独立的证书:否 (使用同一个证书。) 录入需要使用证书的机器名 (可以多个) 录入需要使用证书的IP (可以多个) 设置证书密码:无
以上完成后将生成一个名为elasticsearch-ssl-http.zip的压缩文件。

解压文件

[root@k8s-m1 elasticsearch-8.0.1]# unzip elasticsearch-ssl-http.zip
[root@k8s-m1 elasticsearch-8.0.1]# tree  elasticsearch kibana/
elasticsearch
├── http.p12
├── README.txt
└── sample-elasticsearch.yml
kibana/
├── elasticsearch-ca.pem
├── README.txt
└── sample-kibana.yml0 directories, 6 files
[root@k8s-m1 elasticsearch-8.0.1]# cp elasticsearch/http.p12 config/certs/http.p12 

解压后会生成两个文件夹,elasticsearch文件夹包含http.p12及elasticsearch.yml的配置参考,kibana文件夹包含elasticsearch-ca.pem及kibana.yml的配置参考。把http.p12复制到certs文件中。

修改keystore里面的密码

同样,把上面keystore文件的密码加入到keystore中,

[root@k8s-m1 elasticsearch-8.0.1]# ./bin/elasticsearch-keystore add xpack.security.http.ssl.keystore.secure_password

配置更改并启动

大致的配置如下,注意与自己实际环境中的一致就行。

[root@k8s-m1 elasticsearch-8.0.1]# egrep -v '^#|^$' config/elasticsearch.yml 
network.host: 192.168.2.140
http.port: 9200
discovery.seed_hosts: ["k8s-m1", "k8s-m2","k8s-m3"]
cluster.initial_master_nodes: ["k8s-m1", "k8s-m2","k8s-m3"]
xpack.security.enabled: true
xpack.security.enrollment.enabled: true
xpack.security.http.ssl:enabled: truekeystore.path: certs/http.p12
xpack.security.transport.ssl:enabled: trueverification_mode: certificatekeystore.path: certs/transport.p12truststore.path: certs/transport.p12[root@k8s-m1 elasticsearch-8.0.1]# scp -r config/ k8s-m2:/opt/elasticsearch-8.0.1
[root@k8s-m1 elasticsearch-8.0.1]# scp -r config/ k8s-m3:/opt/elasticsearch-8.0.1

将修改好的配置文件包括elasticsearch.keystore拷贝到其他两个节点,但是还需要修改配置文件中关于network.host的地址

最后三个节点都进行启动。

#注意要修改elasticsearch目录用户权限
[root@k8s-m1 elasticsearch-8.0.1]# chown -R es:es /opt/elasticsearch-8.0.1
#可以先不加-d选项,然后会直接输出日志。可以通过日志进行排错
[root@k8s-m1 elasticsearch-8.0.1]#  sudo -u   es ./bin/elasticsearch -d 

最后,可以尝试在浏览器用https://你的elasticsearch服务器的地址:9200访问一下验证安全设置是否生效。如果你没有记下内置的超级用户elastic的密码,这时可以重置一下它的密码:

./bin/elasticsearch-reset-password -u elastic

kibana访问加密的es集群

本次直接使用上面生成的pem文件访问。

kibana安装

通过yum/rpm或者tar包安装都可以。

配置更改

把上面kibana目录的elasticsearch-ca.pem复制到kibana的conf目录中。

[root@k8s-m1 elasticsearch-8.0.1]# cp  kibana/elasticsearch-ca.pem  ../kibana-8.0.1/config/

配置修改

[root@k8s-m1 elasticsearch-8.0.1]# grep -Ev '^#|^$' ../kibana-8.0.1/config/kibana.yml 
server.port: 5601
server.host: "192.168.2.141"
server.publicBaseUrl: "http://192.168.2.141:5601"
elasticsearch.hosts: ["https://192.168.2.140:9200","https://192.168.2.141:9200","https://192.168.2.142:9200"]
elasticsearch.username: "kibana"
elasticsearch.password: "qLIq2=b-JI6BRwRuoZET"
elasticsearch.ssl.certificateAuthorities: [ "config/elasticsearch-ca.pem" ]
elasticsearch.ssl.verificationMode: certificate

最后启动kibana即可。可以先前台运行,查看日志进行拍错。

[root@k8s-m1 kibana-8.0.1]#  ./bin/kibana --allow-root

kibana访问界面,IP+5601,使用超级用户elastic登录即可。

更多关于elasticsearch的知识分享,请前往博客主页。编写过程中,难免出现差错,敬请指出

相关文章:

【elasticsearch】使用自建证书搭建elasticsearch8.0.1集群

概述 本文将分享使用自建证书搭建加密的es集群,如果想使用rpm包安装,前期的搭建过程请参考上面一篇文章https://blog.csdn.net/margu_168/article/details/133344675。后续的操作与使用tar包安装的类似,只是需要注意目录的区别。 es8.0.1安…...

一篇文章带你用动态规划解决打家劫舍问题

动态规划的解题步骤可以分为以下五步,大家先好好记住 1.创建dp数组以及明确dp数组下标的含义 2.制定递推公式 3.初始化 4.遍历顺序 5.验证结果 根据打家劫舍的题意:两个直接相连的房子在同一天晚上被打劫会触发警报 所以我们制定出核心策略——偷东…...

idea中导入eclipse的javaweb项目——tomact服务(保姆级别)

idea中导入eclipse的javaweb项目——tomact服务(保姆级别) 1. 导入项目2. Project Settings下的各种配置步骤2.1 检查/修改 jdk 的引入2.2 配置Modules-Dependencies2.2.1 删掉eclipse相关的多余配置2.2.2 删掉jar包2.2.3 添加tomcat的依赖 2.3 配置Libr…...

【开源】给ChatGLM写个,Java对接的SDK

作者:小傅哥 - 百度搜 小傅哥bugstack 博客:bugstack.cn 沉淀、分享、成长,让自己和他人都能有所收获!😄 大家好,我是技术UP主小傅哥。 清华大学计算机系的超大规模训练模型 ChatGLM-130B 使用效果非常牛&…...

基于Pytest+Allure+Excel的接口自动化测试框架

1. Allure 简介 简介 Allure 框架是一个灵活的、轻量级的、支持多语言的测试报告工具,它不仅以 Web 的方式展示了简介的测试结果,而且允许参与开发过程的每个人可以从日常执行的测试中,最大限度地提取有用信息。 Allure 是由 Java 语言开发的…...

20.2 FMC驱动SDRAM的时序初始化实现及内存测试

继续上一篇的话题,写到SDRAM通过CubeMx配置后,在工程代码编写时直接引用的是我事先写好的时序初始化、内存测试文件,而未对其进行详细的解释,所以本篇文章就来娓娓道来。不多说,开始吧 SDRAM的初始化流程简述 SDRAM初…...

联想电脑一键重装系统Win10操作方法

很多用户都会利用重装系统的方法,来解决系统崩溃、病毒感染等问题。但是,很多新手用户不知道联想电脑Win10系统重装的详细方法步骤,下面小编给大家详细介绍关于联想电脑Win10系统重装的操作方法,帮助大家轻松快速地完成系统的重装…...

Mysql数据库 1.概述

Mysql内容概述 1. Mysql概述 数据库相关概念: 名称 全称 简称 数据库 存储数据的仓库,数据是有组织的进行存储 …...

Qt编程,文件操作、UDP通信

目录 1、文件类 QFile 2、 UPD/TCP网络编程 1、##UDP客户端 2、##UDP服务器端 1、文件类 QFile QFile file(filename); file.exists() file.setFileName(filename1); file.fileName() file.bytesAvailable() file.size() file.copy("2.txt") file1.errorString(…...

Docker 的数据管理和Dockerfile镜像的创建

目录 Docker 的数据管理 管理 Docker 容器中数据的方式 端口映射 容器互联(使用centos镜像) Docker 镜像的创建 Dockerfile 操作常用的指令 编写 Dockerfile 时格式 Dockerfile 案例 Docker 的数据管理 管理 Docker 容器中数据的方式 管理 Doc…...

[python] 利用 Pydoc 快速生成整个 Python 项目的文档

如何写注释 class MyClass:"""This is a simple example class.Attributes:param1 (int): The first parameter.param2 (str): The second parameter."""def __init__(self, param1, param2):"""The constructor for MyClass.:p…...

Maven 配置指南

目录 一、配置本地存储库 二、配置并行Artifact 解析 三、安全和部署设置 四、将镜像用于存储库 五、Profiles 六、可选配置 七、Settings 八、安全性 九、工具链 Maven配置发生在3个级别: 项目-大多数静态配置发生在pom.xml中安装-这是为Maven安装添加的…...

第十八章 类和对象——多态

一、多态的基本概念 多态是C面向对象三大特性之一 多态分为两类 静态多态: 函数重载 和 运算符重载属于静态多态,复用函数名 动态多态: 派生类和虚函数实现运行时多态 静态多态和动态多态区别: 静态多态的函数地址早绑定 - 编译阶段确定函数地址 动…...

京东数据平台:2023年服饰行业销售数据分析

最近看到有些消费机构分析,不少知名的运动品牌都把“主战场”放到了冲锋衣,那么羽绒服市场就比较危险了。但其实羽绒服市场也有机会点可寻。 先来说冲锋衣。的确,从今年的销售数据以及增长情况,冲锋衣的确会是今年冬天的大热门品…...

Nginx proxy_set_header参数设置

一、不设置 proxy_set_header Host 不设置 proxy_set_header Host 时,浏览器直接访问 nginx,获取到的 Host 是 proxy_pass 后面的值,即 $proxy_host 的值,参考Module ngx_http_proxy_module 1 2 3 4 5 6 7 8 # cat ngx_header.c…...

如何用 ChatGPT 的 Advanced Data Analysis 帮你采集数据?

(注:本文为小报童精选文章,已订阅小报童或加入知识星球「玉树芝兰」用户请勿重复付费) 想采集网页数据却不会写 Python 爬虫?不会就不会吧,ChatGPT 会就可以了 😂 问题描述 朋友最近遇到了一点儿…...

Linux运行环境搭建系列-Flink安装

Flink安装 ## 下载 https://archive.apache.org/dist/flink/flink-1.16.2 ## 解压 tar -zxvf flink-1.16.2-bin-scala_2.12.tgz && rm -rf flink-1.16.2-bin-scala_2.12.tgz ## 启动 cd flink-1.16.2/bin ## 修改/etc/hosts文件,把第一行的127.0.0.1改成自…...

求最大bit数(java)

题目描述 求一个int类型数字对应的二进制数字中1的最大连续数 例如3的二进制为00000011,最大连续2个1 数据范围:数据组数:11t15,11n1500000进阶: 时间复杂度: O(logn),空间复杂度: O(1) 输入: 200 输出 2 说明 200的二进制表示是11001000&am…...

【Java 进阶篇】JavaScript 与 HTML 的结合方式

JavaScript是一种广泛应用于Web开发中的脚本语言,它与HTML(Hypertext Markup Language)结合使用,使开发人员能够创建交互式和动态的网页。在这篇博客中,我们将深入探讨JavaScript与HTML的结合方式,包括如何…...

华为云云耀云服务器L实例评测 | 实例评测使用之硬件参数评测:华为云云耀云服务器下的 Linux 磁盘目录分析神器 ncdu

华为云云耀云服务器L实例评测 | 实例评测使用之硬件参数评测:华为云云耀云服务器下的 Linux 磁盘目录分析神器 ncdu 介绍华为云云耀云服务器 华为云云耀云服务器 (目前已经全新升级为 华为云云耀云服务器L实例) 华为云云耀云服务器…...

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …...

装饰模式(Decorator Pattern)重构java邮件发奖系统实战

前言 现在我们有个如下的需求&#xff0c;设计一个邮件发奖的小系统&#xff0c; 需求 1.数据验证 → 2. 敏感信息加密 → 3. 日志记录 → 4. 实际发送邮件 装饰器模式&#xff08;Decorator Pattern&#xff09;允许向一个现有的对象添加新的功能&#xff0c;同时又不改变其…...

【根据当天日期输出明天的日期(需对闰年做判定)。】2022-5-15

缘由根据当天日期输出明天的日期(需对闰年做判定)。日期类型结构体如下&#xff1a; struct data{ int year; int month; int day;};-编程语言-CSDN问答 struct mdata{ int year; int month; int day; }mdata; int 天数(int year, int month) {switch (month){case 1: case 3:…...

基于FPGA的PID算法学习———实现PID比例控制算法

基于FPGA的PID算法学习 前言一、PID算法分析二、PID仿真分析1. PID代码2.PI代码3.P代码4.顶层5.测试文件6.仿真波形 总结 前言 学习内容&#xff1a;参考网站&#xff1a; PID算法控制 PID即&#xff1a;Proportional&#xff08;比例&#xff09;、Integral&#xff08;积分&…...

大型活动交通拥堵治理的视觉算法应用

大型活动下智慧交通的视觉分析应用 一、背景与挑战 大型活动&#xff08;如演唱会、马拉松赛事、高考中考等&#xff09;期间&#xff0c;城市交通面临瞬时人流车流激增、传统摄像头模糊、交通拥堵识别滞后等问题。以演唱会为例&#xff0c;暖城商圈曾因观众集中离场导致周边…...

无法与IP建立连接,未能下载VSCode服务器

如题&#xff0c;在远程连接服务器的时候突然遇到了这个提示。 查阅了一圈&#xff0c;发现是VSCode版本自动更新惹的祸&#xff01;&#xff01;&#xff01; 在VSCode的帮助->关于这里发现前几天VSCode自动更新了&#xff0c;我的版本号变成了1.100.3 才导致了远程连接出…...

【ROS】Nav2源码之nav2_behavior_tree-行为树节点列表

1、行为树节点分类 在 Nav2(Navigation2)的行为树框架中,行为树节点插件按照功能分为 Action(动作节点)、Condition(条件节点)、Control(控制节点) 和 Decorator(装饰节点) 四类。 1.1 动作节点 Action 执行具体的机器人操作或任务,直接与硬件、传感器或外部系统…...

(二)原型模式

原型的功能是将一个已经存在的对象作为源目标,其余对象都是通过这个源目标创建。发挥复制的作用就是原型模式的核心思想。 一、源型模式的定义 原型模式是指第二次创建对象可以通过复制已经存在的原型对象来实现,忽略对象创建过程中的其它细节。 📌 核心特点: 避免重复初…...

C++.OpenGL (10/64)基础光照(Basic Lighting)

基础光照(Basic Lighting) 冯氏光照模型(Phong Lighting Model) #mermaid-svg-GLdskXwWINxNGHso {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-GLdskXwWINxNGHso .error-icon{fill:#552222;}#mermaid-svg-GLd…...

Spring Boot+Neo4j知识图谱实战:3步搭建智能关系网络!

一、引言 在数据驱动的背景下&#xff0c;知识图谱凭借其高效的信息组织能力&#xff0c;正逐步成为各行业应用的关键技术。本文聚焦 Spring Boot与Neo4j图数据库的技术结合&#xff0c;探讨知识图谱开发的实现细节&#xff0c;帮助读者掌握该技术栈在实际项目中的落地方法。 …...