基于Docker搭建ES集群,并设置冷热数据节点

1.背景

存在三台服务器分别是 192.168.2.91(master节点、data-content节点、data-hot节点)、192.168.2.92(data-cold节点、ingest节点)、192.168.2.93(master节点、data-content节点、data-hot节点)

冷热数据分离搭建教程

2.搭建91节点 热数据节点

（1）获取到elasticsearch.tar包，使用

docker load -i elasticsearch.tar

命令生成elasticsearch镜像。

（2）执行命令

 docker run -t -d --name node-database -p 19200:19200/tcp -p 19201:19201/tcp --restart always 镜像ID 

生成 elasticsearch 容器

（3）进入当前生成的容器内部

docker exec -it 容器ID bash

（4）进入config目录

cd config/

（5）修改elasticsearch.yml 配置文件

#绑定ip地址
network.host: 0.0.0.0#绑定端口
http.port: 19200
transport.port: 19201#索引目录
path.data: /自定义目录/elasticsearch#日志目录
path.logs: /自定义目录/logs/elasticsearch
####### 集群信息 #######
network.publish_host: 192.168.2.91  集群内部互相暴露出地址 便于互相发现
http.publish_host: 192.168.2.91    集群内部互相暴露出地址 便于互相发现
transport.publish_host: 192.168.2.91  集群内部互相暴露出地址 便于互相发现
transport.publish_port: 19201   集群内部互相暴露出地址 便于互相发现
#集群名称
cluster.name: group

节点角色，master,data_hot,data_content 热数据节点 以及 master节点

node.roles: [master,data_hot,data_content]
node.attr.temperature: hot  #说明该节点是热数据节点
#节点名称
node.name: group-node-1#节点自定义属性
#node.attr.rack: r1#启动时传递节点列表
discovery.seed_hosts: ["192.168.2.91", "192.168.2.92","192.168.2.93"]#集群节点
cluster.initial_master_nodes: ["group-node-1","group-node-2","group-node-3"]####### 集群信息 #######
#设置在节点间传输数据时是否压缩，默认为 False，不压缩。
#transport.tcp.compress: true#心跳超时时间
#discovery.zen.ping_timeout: 120s
#节点检测时间
#discovery.zen.fd.ping_interval: 120s
#ping 超时时间
#discovery.zen.fd.ping_timeout: 120s
#心跳重试次数
#discovery.zen.fd.ping_retries: 6#自动创建索引
action.auto_create_index: false
#index.mapper.dynamic: false
#设置堆大小，内存占比
indices.fielddata.cache.size: 30%
#内存
indices.memory.index_buffer_size: 30%ingest.geoip.downloader.enabled: falseaction.destructive_requires_name: false
#锁定内存
bootstrap.memory_lock: falseindex.codec: best_compression#threadpool.index.type: fixed
#threadpool.index.size: 100
#threadpool.index.queue_size: 500
#threadpool.bulk.queue_size: 1000cluster.max_shards_per_node: 100000thread_pool.write.queue_size: 2000#增加新的参数，head插件可以访问es
http.cors.enabled: true
http.cors.allow-origin: "*"#Enable security features
xpack.security.enabled: true
xpack.security.enrollment.enabled: true#是否开启ssl
xpack.security.http.ssl:enabled: falsekeystore.path: certs/http.p12#节点之间数据传输加密
xpack.security.transport.ssl:enabled: trueverification_mode: certificatekeystore.path: certs/elastic-certificates.p12truststore.path: certs/elastic-certificates.p12

（7）重启当前服务器中的ES容器

docker restart 容器ID

3.搭建92节点

（1）

重复91节点所有工作，只不过在修改elasticsearch.yml 配置文件中修改为如下信息
####### 集群信息 #######
network.publish_host: 192.168.2.92
http.publish_host: 192.168.2.92
transport.publish_host: 192.168.2.92
transport.publish_port: 19201
#节点角色，冷数据节点、ingest计算节点
node.roles: [data_cold,ingest]
#标记为冷数据节点
node.attr.temperature: cold
#节点名称
node.name: group-node-2

（2）重启当前服务器中的ES容器

docker restart 容器ID

4.搭建93节点

（1）重复91节点所有工作，只不过在修改elasticsearch.yml 配置文件中修改为如下信息

#集群名称
network.publish_host: 192.168.2.93
http.publish_host: 192.168.2.93
transport.publish_host: 192.168.2.93
transport.publish_port: 19201
#节点角色，热数据节点、数据存储节点、mater节点
node.roles: [master,data_hot,data_content]
#标记为冷数据节点
node.attr.temperature: hot
#节点名称
node.name: group-node-3

（2）重启当前服务器中的ES容器

docker restart 容器ID

5.测试是否搭建成功
浏览器输入https://192.168.2.91:19200/_cluster/health 说明有一个集群产生了 包含3个节点