（17）ELK大型储存库的搭建

前言：

els是大型数据储存体系，类似于一种分片式存储方式。elasticsearch有强大的查询功能，基于java开发的工具，结合logstash收集工具，收集数据。kibana图形化展示数据，可以很好在大量的消息中准确的找到符合条件，人们想知道的信息。并且支持多种数据类型。

实验环境：

关掉selinux和防火墙，做时间同步

192.168.121.30 vm2.cluster.com elasticsearch
192.168.121.40 vm1.cluster.com logstash
192.168.121.50 vm3.cluster.com kibana

一、elasticsearch的安装

地址：https://www.elastic.co/cn/downloads

找到资源，下载，对应Linux的版本就行了

[root@vm2 ~]# vim /etc/hosts 

写入三行数据

192.168.121.30 vm2.cluster.com elasticsearch
192.168.121.40 vm1.cluster.com logstash
192.168.121.50 vm3.cluster.com kibana

#scp /etc/hosts root@192.168.121.40:/etc/hosts
 #scp /etc/hosts root@192.168.121.50:/etc/hosts    远程传到对应主机
 

# hostnamectl hostname vm2.cluster.com

# yum -y install lrzsz tar net-tools wget chrony

#timedatectl时间同步

#  yum -y install java-1.8.0*

安装java,基于es是java开发

[root@vm2 ~]# java -version
openjdk version "1.8.0_422"    查看版本，是否下载

[root@vm2 ~]# rpm -ivh elasticsearch-6.5.2.rpm   安装es

[root@vm2 ~]# vim /etc/elasticsearch/elasticsearch.yml

定义集合的名字，打开9200端口，监听所有ip，所有主机，更改三个地方

cluster.name: elk-cluster 可以自定义一个集群名称,不配置的话默认会取名为elasticsearch

path.data: /var/lib/elasticsearch

path.logs: /var/log/elasticsearch

network.host: 0.0.0.0 打开注释,并修改为监听所有

http.port: 9200 打开注释,监听端口9200

[root@vm2 ~]# systemctl restart elasticsearch.service    重启服务
[root@vm2 ~]# systemctl enable elasticsearch.service

[root@vm2 ~]# ss -anlt
State               Recv-Q              Send-Q                           Local Address:Port                            Peer Address:Port              Process              
LISTEN              0                   128                                    0.0.0.0:22                                   0.0.0.0:*                                      
LISTEN              0                   4096                                         *:9200                                       *:*                                      
LISTEN              0                   128                                       [::]:22                                      [::]:*                                      
LISTEN              0                   4096                                         *:9300                                       *:*     查看9200，9300端口启用，9200是数据传输，访问的端口，9300是集群的端口。

[root@vm2 ~]# curl http://192.168.121.30:9200/_cluster/health?pretty

查看到集群的名字为elk-cluster,只要一个节点

二、设置节点2，192.168.121.40为第二个节点，组成集群

# yum -y install lrzsz tar net-tools wget chrony

#  yum -y install java-1.8.0*

# hostnamectl hostname vm1.cluster.com

[root@vm1 ~]# java -version
openjdk version "1.8.0_422"

[root@vm1 ~]# vim /etc/elasticsearch/elasticsearch.yml   设置节点2，不为主节点

/cluster.name: elk-cluster

/node.name: 192.168.21.40 本机IP或主机名

node.master: false 指定不为master节点，这一行写道node.name下面

path.data: /var/lib/elasticsearch

path.logs: /var/log/elasticsearch

/network.host: 0.0.0.0

/http.port: 9200  开启，去掉前面的#注释

/discovery.zen.ping.unicast.hosts: ["192.168.121.30", "192.168.121.40"]    

填写两个节点的ip

[root@vm2 ~]# vim /etc/elasticsearch/elasticsearch.yml

cluster.name: elk-cluster

node.name: 192.168.121.30 本机IP或主机名

node.master: true 指定为master节点

path.data: /var/lib/elasticsearch

path.logs: /var/log/elasticsearch

network.host: 0.0.0.0

http.port: 9200

discovery.zen.ping.unicast.hosts: ["192.168.121.30", "192.168.121.40"]

vm添加主节点，192.168.121.30为主
[root@vm1 ~]# systemctl restart elasticsearch.service    //重启服务
[root@vm1 ~]# systemctl enable elasticsearch.service 

[root@vm2 ~]# systemctl restart elasticsearch.service

[root@vm2 ~]# ss -anlt 查看9200和9300端口启用

[root@vm2 ~]# curl http://192.168.121.30:9200/_cluster/health?pretty

查看有两个节点

三、es集合的基本参数查询

索引是一个

Node(节点)：运行单个ES实例的服务器

Cluster(集群)：一个或多个节点构成集群

Index(索引)：索引是多个文档的集合

Type(类型)：一个Index可以定义一种或多种类型，将Document逻辑分组

Document(文档)：Index里每条记录称为Document，若干文档构建一个Index

Field(字段)：ES存储的最小单元

Shards(分片)：ES将Index分为若干份，每一份就是一个分片 Replicas(副本)：Index的一份或多份副本

[root@vm2 ~]# curl http://192.168.121.30:9200/_cat/nodes?v  

在主机和网页都是可以查询的，主机前面加一个curl就行了。那是linux访问网站的命令

[root@vm2 ~]# curl -X PUT http://192.168.121.30:9200/nginx_access  上传索引nginx_access

[root@vm2 ~]# curl http://192.168.121.30:9200/_cat/indices?v  查看索引，只要一个

[root@vm2 ~]# curl -X DELETE http://192.168.121.30:9200/nginx_access  删除索引

索引类似于目录，更好的查询。

上传一个写有一千条数据的json文件，关于bank银行人员的，方便查询

[root@vm2 ~]# curl -H "Content-Type: application/json" -XPOST "192.168.121.30:9200/bank/_doc/_bulk?pretty&refresh" --data-binary "@accounts.json"

导入后，查看索引，有一个bank的索引

[root@vm2 ~]# curl -X GET "192.168.121.30:9200/bank/_search?pretty" -H 'Content-Type: application/json' -d '
{
"query": {"match_all": {} }
}
'
默认查询十条

[root@vm2 ~]# curl -X GET "192.168.121.30:9200/bank/_search?pretty" -H 'Content-Type:application/json' -d'
{
"query": { "match_all": {} },
"from": 0
> ,
> "size": 2
> }
> '
查看两条数据

查看500到509的十条记录

[root@vm2 ~]# curl -X GET "192.168.121.30:9200/bank/_search?pretty" -H 'Content-Type:application/json' -d'
{
"query": { "match_all": {} },
"from": 500,
"size": 10,
"sort": [
{ "account_number": "asc" }
]
}
' 2>/dev/null 
 

四、安装elasticsearch-head，可视化管理数据和查看参数

安装es-head需要先安装nodejs

网上找对应安装包就行了

[root@vm2 ~]# tar -xf node-v10.24.1-linux-x64.tar.xz -C /usr/local/
[root@vm2 ~]# cd /usr/local/
[root@vm2 local]# mv node-v10.24.1-linux-x64/ nodejs

[root@vm2 local]# ln -s /usr/local/nodejs/bin/npm /bin/npm
[root@vm2 local]# ln -s /usr/local/nodejs//bin/node /bin/node
创建软连接，使系统能使用npm命令和node命令

[root@vm2 local]# cd

[root@vm2 ~]# yum -y install unzip

[root@vm2 ~]# unzip elasticsearch-head-master.zip  解压zip文件，使用unzip命令

[root@vm2 ~]# cd elasticsearch-head-master/ 

先使用npm安装grunt 

到head目录下安装对应工具

[root@vm2 elasticsearch-head-master]# npm install -g grunt-cli --registry=http://registry.npm.taobao.org   //后面接一个淘宝的仓库，下载更快

[root@vm2 elasticsearch-head-master]# npm install phantomjs-prebuilt@2.1.16 --ignore-script --registry=http://registry.npm.taobao.org

安装npm的时候报错了，安装这个

[root@vm2 elasticsearch-head-master]# npm install --registry=http://registry.npm.taobao.org

安装完成，没有报错就行，有报错就要解决了

[root@vm2 elasticsearch-head-master]# nohup npm run start &  //在head目录下，后台启动npm

[root@vm2 ~]# ss -anlt   //查看9100端口启用

[root@vm2 ~]# vim /etc/elasticsearch/elasticsearch.yml   //两个节点都添加连接

http.cors.enabled: true后重启es服务

http.cors.allow-origin: "*"

[root@vm2 ~]# systemctl restart elasticsearch.service 

[root@vm1 ~]# vim /etc/elasticsearch/elasticsearch.yml 

http.cors.enabled: true

http.cors.allow-origin: "*"

[root@vm1 ~]# systemctl restart elasticsearch.service 

刷新网页，填写192.168.121.30的ip连接

40和30的IP都是一模一样的内容，都有bank索引，内容和数据

可以删除，操作相关内容

输入删除两个字就删除了，这里不删除，只是演示一下

不要更改/etc/hosts文件，能ping通192.168.121.30,和192.168.121.40就行了

一千多条数据，查询很快，这也是es的功能之一

五、安装logstash，结合es使用

logstash可以采集任何格式的数据,当然我们这里主要是讨论采集系统日志,服务日志等日志类型数据。主要是收集日志文件。

官方产品介绍:https://www.elastic.co/cn/products/logstash

input插件: 用于导入日志源 (配置必须)

https://www.elastic.co/guide/en/logstash/current/input-plugins.html

filter插件: 用于过滤(不是配置必须的)

output插件: 用于导出(配置必须)

在vm3.cluster.com上，IP为192.168.121.50

[root@vm3 ~]# yum -y install java-1.8.0*

[root@vm3 ~]# java -version
openjdk version "1.8.0_422"

path.data: /var/lib/logstash

path.config: /etc/logstash/conf.d/      打开注释,并加上配置目录路径

http.host: "192.168.121.50"    //本地的IP地址

http.port:9600-9700    打开端口

[root@vm3 bin]# cd /usr/share/logstash/bin/

[root@vm3 bin]# ./logstash -e 'input {stdin {}} output {stdout {}}'   运行，看到端口9600和sucess就表示运行成功了，ctrl+c结束

回车自定义输出

hi

不要更etc/hosts文件，能ping通192.168.121.30和192.168.121.40就行了

[root@vm3 bin]# vim /etc/logstash/conf.d/test.conf

input{
        file {
                path => "/var/log/messages"
                start_position => "beginning"
        }
}

output {
        elasticsearch{
                hosts => ["192.168.121.30:9200"]
                index => "test-%{+YYYY.MM.dd}"
        }
}

#cd /usr/share/logstash/bin

[root@vm3 bin]# ./logstash --path.settings /etc/logstash/ -r -f /etc/logstash/conf.d/test.conf &

后台启用

[root@vm3 bin]# ps -ef | grep java | grep -v grep
root        1750    1132  9 11:07 pts/0 

[root@vm3 bin]# kill -9 1750  杀死进程

在/usr/share/logstash/bin执行logstash命令

[root@vm3 bin]# ./logstash --path.settings /etc/logstash/ -r -f /etc/logstash/conf.d/test.conf &

刷新es的网页，可以看到添加的

六、安装kibana

找到对应的版本6.5的，对应前面的es版本和logstash版本

[root@vm1 ~]# rpm -ivh kibana-6.5.2-x86_64.rpm

[root@vm1 ~]# vim /etc/kibana/kibana.yml

改四个地方

/server.port: 5601

/server.host: "0.0.0.0"
/elasticsearch.url: "http://192.168.121.30:9200"

/logging.dest: /var/log/kibana.log

[root@vm1 log]# cat /etc/kibana/kibana.yml |grep -v "#"

[root@vm1 ~]# cd /var/log/
[root@vm1 log]# touch kibana.log
[root@vm1 log]# chown kibana.kibana kibana.log 
[root@vm1 log]# systemctl restart kibana.service 
[root@vm1 log]# systemctl enable kibana.service

网页访问192.168.121.30:5601

系统监控，不知道英文的看图标，好吧

查看节点

多出来三个索引，是kibana的

添加yum*和bank*

扩展：

filebeat工具安装在vm1,vm2和vm3上面，收集数据给logstash，更高效更快速，最重要是节省logstash的资源，filebeat使用go语言编写，简单占用内存少。

大概步骤与上面一致，开启端口，改ip.