elasticsearch-6.8.23的集群搭建过程

三个节点的 ElasticSearch 集群搭建步骤

准备三台机器：28.104.87.98、28.104.87.100、28.104.87.101 和 ElasticSearch 的安装包 elasticsearch-6.8.23.tar.gz

----------------------------- 28.104.87.98，使用 root 用户操作 ---------------------------
上传 elasticsearch-6.8.23.tar.gz 到 28.104.87.98，比如上传到 /opt/es 目录下

进入到 /opt/es 目录，执行 tar -zxvf elasticsearch-6.8.23.tar.gz 命令，解压安装包到本目录

进入到 ElasticSearch 的配置目录 cd /opt/es/elasticsearch-6.8.23/config

执行 cp elasticsearch-6.8.23.yml elasticsearch-6.8.23.yml.backup 命令，对配置文件进行备份。（此步骤可选）

执行 vi elasticsearch-6.8.23.yml 命令，编辑配置文件

cluster.name: elasticsearch # 集群的名字
node.master: true # 是不是有作为 Master 节点的资格
node.name: node-1 # 节点的名字，集群内要唯一不可重复
node.data: true # 是否存储数据
path.data: /opt/es/data # 存储数据的路径，这个要自己创建
path.logs: /opt/es/logs # 存储日志的路径，这个要自己创建
network.host: 28.104.87.98 # 设置节点的 ip
http.port: 9200 #设置端口号
discovery.zen.ping.unicast.hosts:["28.104.87.98","28.104.87.100","28.104.87.101"] # 集群里所有节点的 ip
discovery.zen.minimum_master_nodes: 2 # 选举 Master 节点时需要参与的最少的候选主节点，计算方式：节点数/2+1
discovery.zen.ping_timeout: 10s # 超时时间
path.repo: ["/mnt/databackup/ElasticSearchBackupSet"] # 使用 NFS 共享的方式进行 Elasticsearch 备份的目录，这个要自己创建。（此配置项可选）

创建三个目录 /opt/es/data、/opt/es/logs、/mnt/databackup/ElasticSearchBackupSet（此目录可选）

创建启动当前节点的 ElasticSearch 用户和设置密码
useradd esUser
passwd esUser

把 /opt/es、/mnt 目录及其子目录授权给 esUser
chown -R esUser:esUser /opt/es
chown -R esUser:esUser /mnt

给 /mnt 目录及其子目录授权 750 权限
chmod -R 750 /mnt

切换用户 esUser
su - esUser
----------------------------- 28.104.87.98，使用 esUser 用户操作 ------------------------------------------------------
进入到 /opt/es/elasticsearch-6.8.23/bin 目录下
cd /opt/es/elasticsearch-6.8.23/bin
启动 ElasticSearch 服务，下面的命令二选一，./elasticesearch 命令能看到启动日志，但是会占用一个窗口。
./elasticesearch
./elasticesearch -d

----------------------------- 28.104.87.100，使用 root 用户操作 ------------------------------------------------------
上传 elasticsearch-6.8.23.tar.gz 到 28.104.87.100，比如上传到 /opt/es 目录下

进入到 /opt/es 目录，执行 tar -zxvf elasticsearch-6.8.23.tar.gz 命令，解压安装包到本目录

进入到 ElasticSearch 的配置目录 cd /opt/es/elasticsearch-6.8.23/config

执行 cp elasticsearch-6.8.23.yml elasticsearch-6.8.23.yml.backup 命令，对配置文件进行备份（此步骤可选）

执行 vi elasticsearch-6.8.23.yml 命令，编辑配置文件

cluster.name: elasticsearch # 集群的名字
node.master: true # 是不是有作为 Master 节点的资格
node.name: node-2 # 节点的名字，集群内要唯一不可重复
node.data: true # 是否存储数据
path.data: /opt/es/data # 存储数据的路径，这个要自己创建
path.logs: /opt/es/logs # 存储日志的路径，这个要自己创建
network.host: 28.104.87.100 # 设置节点的 ip
http.port: 9200 #设置端口号
discovery.zen.ping.unicast.hosts:["28.104.87.98","28.104.87.100","28.104.87.101"] # 集群里所有节点的 ip
discovery.zen.minimum_master_nodes: 2 # 选举 Master 节点时需要参与的最少的候选主节点，计算方式：节点数/2+1
discovery.zen.ping_timeout: 10s # 超时时间
path.repo: ["/mnt/databackup/ElasticSearchBackupSet"] # 使用 NFS 共享的方式进行 Elasticsearch 备份的目录，这个要自己创建。（此配置项可选）

创建三个目录 /opt/es/data、/opt/es/logs、/mnt/databackup/ElasticSearchBackupSet（此目录可选）

创建启动当前节点的 ElasticSearch 用户和设置密码
useradd esUser
passwd esUser

把 /opt/es、/mnt 目录及其子目录授权给 esUser
chown -R esUser:esUser /opt/es
chown -R esUser:esUser /mnt

给 /mnt 目录及其子目录授权 750 权限
chmod -R 750 /mnt

切换用户 esUser
su - esUser
----------------------------- 28.104.87.100，使用 esUser 用户操作 ------------------------------------------------------
进入到 /opt/es/elasticsearch-6.8.23/bin 目录下
cd /opt/es/elasticsearch-6.8.23/bin
启动 ElasticSearch 服务，下面的命令二选一，./elasticesearch 命令能看到启动日志，但是会占用一个窗口。
./elasticesearch
./elasticesearch -d

----------------------------- 28.104.87.101，使用 root 用户操作 ------------------------------------------------------
上传 elasticsearch-6.8.23.tar.gz 到 28.104.87.101，比如上传到 /opt/es 目录下

进入到 /opt/es 目录，执行 tar -zxvf elasticsearch-6.8.23.tar.gz 命令，解压安装包到本目录

进入到 ElasticSearch 的配置目录 cd /opt/es/elasticsearch-6.8.23/config

执行 cp elasticsearch-6.8.23.yml elasticsearch-6.8.23.yml.backup 命令，对配置文件进行备份（此步骤可选）

执行 vi elasticsearch-6.8.23.yml 命令，编辑配置文件

cluster.name: elasticsearch # 集群的名字
node.master: true # 是不是有作为 Master 节点的资格
node.name: node-3 # 节点的名字，集群内要唯一不可重复
node.data: true # 是否存储数据
path.data: /opt/es/data # 存储数据的路径，这个要自己创建
path.logs: /opt/es/logs # 存储日志的路径，这个要自己创建
network.host: 28.104.87.101 # 设置节点的 ip
http.port: 9200 #设置端口号
discovery.zen.ping.unicast.hosts:["28.104.87.98","28.104.87.100","28.104.87.101"] # 集群里所有节点的 ip
discovery.zen.minimum_master_nodes: 2 # 选举 Master 节点时需要参与的最少的候选主节点，计算方式：节点数/2+1
discovery.zen.ping_timeout: 10s # 超时时间
path.repo: ["/mnt/databackup/ElasticSearchBackupSet"] # 使用 NFS 共享的方式进行 Elasticsearch 备份的目录，这个要自己创建。（此配置项可选）

创建三个目录 /opt/es/data、/opt/es/logs、/mnt/databackup/ElasticSearchBackupSet（此目录可选）

创建启动当前节点的 ElasticSearch 用户和设置密码
useradd esUser
passwd esUser

把 /opt/es、/mnt 目录及其子目录授权给 esUser
chown -R esUser:esUser /opt/es
chown -R esUser:esUser /mnt

给 /mnt 目录及其子目录授权 750 权限
chmod -R 750 /mnt

切换用户 esUser
su - esUser
----------------------------- 28.104.87.101，使用 esUser 用户操作 ------------------------------------------------------
进入到 /opt/es/elasticsearch-6.8.23/bin 目录下
cd /opt/es/elasticsearch-6.8.23/bin
启动 ElasticSearch 服务，下面的命令二选一，./elasticesearch 命令能看到启动日志，但是会占用一个窗口。
./elasticesearch
./elasticesearch -d

三台机器上的 ElasticSearch 成功启动以后，在浏览器输入以下地址查看集群健康状态、集群里的所有节点、集群里的所有索引
http://28.104.87.101:9200/_cluster/health?pretty
http://28.104.87.101:9200/_cat/nodes?pretty
http://28.104.87.101:9200/_cat/indices?pretty

--------------------------- 使用 NFS 共享的方式进行 Elasticsearch 备份过程中可能遇到的问题 ------------------------

java -version 命令查看三台机器的 jdk 版本，如果不是 OpenJDK 需要在 java.security 文件里面取消 crypto.policy=unlimited 的注释

cat /etc/passwd | grep esUser 命令查看三台机器 esUser 的 uid 和 gid 是否一致，不一致需要修改为一致

---------------------------------------------- 设置集群的账户和密码（可选） -------------------------------------------------------
如果集群搭建成功了，就可以开始设置账户和密码。注意：设置了账户和密码以后，节点内部的通信需要各个节点配置相同的证书。
1、集群启动以后，新开启一个 Linux 登录窗口，选择 28.104.87.98、28.104.87.100、28.104.87.101 中的任何一个都可以，以 28.104.87.98 为例

2、进入到 ElasticSearch 的配置目录 cd /opt/es/elasticsearch-6.8.23/config

3、执行 vi elasticsearch-6.8.23.yml 命令，编辑配置文件，添加下面内容

http.cors.enabled: true # 是否支持跨域
http.cors.allow-origin: "*" # 当设置允许跨域，默认为 *，表示支持所有域名，如果我们只是允许某些网站能访问，那么可以使用正则表达式。比如只允许本地地址。 /https?:\/\/localhost(:[0-9]+)?/
http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type # 跨域允许设置的头信息，默认为 X-Requested-With,Content-Type,Content-Length
http.cors.allow-methods: OPTIONS,HEAD,GET,POST,PUT,DELETE # 允许跨域的请求方式，默认OPTIONS,HEAD,GET,POST,PUT,DELETE
http.cors.allow-credentials: true # 是否返回设置的跨域 Access-Control-Allow-Credentials 头，如果设置为 true，那么会返回给客户端xpack.security.enabled: true # # 设置启用了 xpack 安全特性。请注意，启用安全特性后，还需要设置用户名和密码
xpack.security.transport.ssl.enabled: true # 设置启用了节点间通信的SSL/TLS 来加密 Elasticsearch 节点之间的通信。
xpack.license.self_generated.type: basic # 设置指定了使用基本类型的自生成许可证
xpack.security.transport.ssl.verification_mode: certificate # 设置定义了 SSL/TLS 通信时的证书验证模式
xpack.security.transport.ssl.keystore.path: /opt/es/elasticsearch-6.8.23/config/elastic-certificates.p12 # 设置指定了包含 SSL 密钥和证书的 PKCS#12 文件（.p12）的路径
xpack.security.transport.ssl.truststore.path: /opt/es/elasticsearch-6.8.23/config/elastic-certificates.p12 # 设置指定了包含受信任证书集合的 PKCS#12 文件（.p12）的路径

4、配置 x-pack 生成 p12 格式证书（用来加密 Elasticsearch 节点之间的通信）
cd /opt/es/elasticsearch-6.8.23/bin 进入到 bin 目录下，执行下面的命令,把生成的证书放到 /opt/es/elasticsearch-6.8.23/config 目录下
./elasticsearch-certutil cert -out …/config/elastic-certificates.p12 -pass “”

5、修改证书的权限
cd /opt/es/elasticsearch-6.8.23/config
chmod 640 elastic-certificates.p12

6、把生成的证书复制到其他节点的 /opt/es/elasticsearch-6.8.23/config 目录下。可以通过命令完成；也可以先下载下来，再上传的方式完成

7、集群剩余的节点复制证书到 /opt/es/elasticsearch-6.8.23/config 目录下后，需要在 elasticsearch-6.8.23.yml 文件中添加配置。

http.cors.enabled: true # 是否支持跨域
http.cors.allow-origin: "*" # 当设置允许跨域，默认为 *，表示支持所有域名，如果我们只是允许某些网站能访问，那么可以使用正则表达式。比如只允许本地地址。 /https?:\/\/localhost(:[0-9]+)?/
http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type # 跨域允许设置的头信息，默认为 X-Requested-With,Content-Type,Content-Length
http.cors.allow-methods: OPTIONS,HEAD,GET,POST,PUT,DELETE # 允许跨域的请求方式，默认OPTIONS,HEAD,GET,POST,PUT,DELETE
http.cors.allow-credentials: true # 是否返回设置的跨域 Access-Control-Allow-Credentials 头，如果设置为 true，那么会返回给客户端xpack.security.enabled: true # # 设置启用了 xpack 安全特性。请注意，启用安全特性后，还需要设置用户名和密码
xpack.security.transport.ssl.enabled: true # 设置启用了节点间通信的SSL/TLS 来加密 Elasticsearch 节点之间的通信。
xpack.license.self_generated.type: basic # 设置指定了使用基本类型的自生成许可证
xpack.security.transport.ssl.verification_mode: certificate # 设置定义了 SSL/TLS 通信时的证书验证模式
xpack.security.transport.ssl.keystore.path: /opt/es/elasticsearch-6.8.23/config/elastic-certificates.p12 # 设置指定了包含 SSL 密钥和证书的 PKCS#12 文件（.p12）的路径
xpack.security.transport.ssl.truststore.path: /opt/es/elasticsearch-6.8.23/config/elastic-certificates.p12 # 设置指定了包含受信任证书集合的 PKCS#12 文件（.p12）的路径

8、停止集群的服务，重新启动集群

9、集群启动以后，新开启一个 Linux 登录窗口，选择 28.104.87.98、28.104.87.100、28.104.87.101 中的任何一个都可以，以 28.104.87.98 为例

10、进入到 ElasticSearch 的 bin 目录 cd /opt/es/elasticsearch-6.8.23/bin 目录，执行下面的命令。按照提示，设置账号 elastic、apm_system、kibana、logstash_system、beats_system、remote_monitoring_user 的账号和密码

./elasticsearch-setup-passwords interactive

11、三台机器上的 ElasticSearch 成功启动以后，在浏览器输入以下地址查看集群健康状态、集群里的所有节点、集群里的所有索引，此时会要求输入账号和密码
http://28.104.87.101:9200/_cluster/health?pretty
http://28.104.87.101:9200/_cat/nodes?pretty
http://28.104.87.101:9200/_cat/indices?pretty

---------------------------------------------- 使用 NFS 共享的方式进行 Elasticsearch 备份过程中可能遇到的问题 -------------------------------------------------------

java -version 命令查看三台机器的 jdk 版本，如果不是 OpenJDK 需要在 java.security 文件里面取消 crypto.policy=unlimited 的注释

cat /etc/passwd | grep esUser 命令查看三台机器 esUser 的 uid 和 gid 是否一致，不一致需要修改为一致