SpringBoot+FileBeat+ELK8.x版本收集日志

一、准备环境

1、ElasticSearch：8.1.0

2、FileBeat：8.1.0

3、Kibana：8.1.0

4、logstach：8.1.0

本次统一版本：8.1.0,4个组件，划分目录，保持版本一致。

说明：elasticsearch和kibana会有版本不兼容的情况、导致kibana连接不上ES，会报错，不支持版本。

下载地址：Elastic — The Search AI Company | Elastic

二、FileBeat安装

1、解压如下,存放统一目录

2、配置filebeat.yml文件

编辑如下yaml

 修改如下配置：

filebeat.inputs:- type: logenabled: truepaths:- D:\var\logs\walk-boot\*.logfields:level: infofilebeat.config.modules:path: ${path.config}/modules.d/*.ymlreload.enabled: trueoutput.logstash:# The Logstash hostshosts: ["localhost:5044"]

• enabled改为true，必须设置成true否则找不到文件路径
• paths改成自己服务应用的日志文件路径
• reload.enabled 需要改成true，否则会启动失败
• output.logstash的host设置成自己的logstash的IP地址即可

3、运行filebeat

cmd窗口如下：

命令：.\filebeat.exe -c filebeat.yml -e

• -c filebeat.yml 指定配置文件，默认是当前目录下的filebeat.yml。
• -e 将日志输出到标准输出（命令行窗口），便于调试和监控Filebeat的运行状况。

后台方式启动：

./filebeat-c filebeat.yml >filebeat.log 2>&1 &

三、Logstash安装

1、解压如下,存放统一目录

2、配置logstash.conf文件

这里使用logstash-sample.conf文件

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.input {beats {port => 5044}
}output {elasticsearch {hosts => ["http://localhost:9200"]index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"#user => "elastic"#password => "changeme"}
}

3、启动logstash

运行命令如下：

logstash -f config/logstash-sample.conf -e

• -f logstash-sample.conf 指定配置文件。
• -e 将日志输出到标准输出（命令行窗口），便于调试和监控Filebeat的运行状况。

后台启动

./bin/logstash -f config/logstash-sample.conf >logstash.log  2>&1 &

四、ElasticSearch安装

1、解压如下,存放统一目录

2、修改配置文件

ES8.x开启了安全认证，关闭 X-Pack 安全性，测试环境可以先关闭，增加一下配置：

xpack.security.enabled: false
xpack.security.transport.ssl.enabled: false

3、启动elasticsearch

1、点击批处理文件启动

 

 2、观察启动日志：

3、验证运行状况

http://localhost:9200/

五、Kibana安装

1、解压如下,存放统一目录

2、配置kibana.yml文件

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]

3、运行kinaba

4、浏览器访问界面

http://localhost:5601/app/dev_tools#/console

六、启动服务

1、观察日志打印

2、打开kibana

 第一次打开需要创建索引模式，我这里创建的是walk-boot*，表示匹配walk-boot开头的所有日志文件。

左边是字段选择，点击+可以选择，选择的是message，更多字段可以按照需要搜索。