ELK 日志采集使用

1.安装ELK整体环境

1.1.安装docker环境

Docker 最新版Version 20.10安装_docker最新版本是多少_猿小飞的博客-CSDN博客

1.2.先安装docker compose

安装docker compose_猿小飞的博客-CSDN博客

1.3.使用 Docker Compose 搭建 ELK 环境

1.3.1.编写 docker-compose.yml 脚本启动 ELK 服务

忘记了文件在哪里，可以使用下面命令进行查找

find / -name docker-compose.yml

  

version: '3'
services:elasticsearch:image: elasticsearch:6.4.0container_name: elasticsearchenvironment:- "cluster.name=elasticsearch" #设置集群名称为elasticsearch- "discovery.type=single-node" #以单一节点模式启动- "ES_JAVA_OPTS=-Xms512m -Xmx512m" #设置使用jvm内存大小volumes:- /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins #插件文件挂载- /mydata/elasticsearch/data:/usr/share/elasticsearch/data #数据文件挂载ports:- 9200:9200kibana:image: kibana:6.4.0container_name: kibanalinks:- elasticsearch:es #可以用es这个域名访问elasticsearch服务depends_on:- elasticsearch #kibana在elasticsearch启动之后再启动environment:- "elasticsearch.hosts=http://es:9200" #设置访问elasticsearch的地址ports:- 5601:5601logstash:image: logstash:6.4.0container_name: logstashvolumes:- /mydata/logstash/upms-logstash.conf:/usr/share/logstash/pipeline/logstash.confdepends_on:- elasticsearch #kibana在elasticsearch启动之后再启动links:- elasticsearch:es #可以用es这个域名访问elasticsearch服务ports:- 4560-4600:4560-4600

1.3.2.创建对应容器挂载目录

mkdir -p /mydata/logstashmkdir -p /mydata/elasticsearch/datamkdir -p /mydata/elasticsearch/pluginschmod 777 /mydata/elasticsearch/data  # 给777权限，不然启动elasticsearch 可能会有权限问题

1.4.编写日志采集 logstash

针对微服务，我们不同的服务，会专门设置一个单独的端口进行接收。

在 /mydata/logstash目录创建 upms-logstash.conf

input {tcp {add_field => {"service" => "upms"}mode => "server"host => "0.0.0.0"port => 4560codec => json_lines}tcp {add_field => {"service" => "auth"}mode => "server"host => "0.0.0.0"port => 4561codec => json_lines}tcp {add_field => {"service" => "gateway"}mode => "server"host => "0.0.0.0"port => 4562codec => json_lines}tcp {add_field => {"service" => "register"}mode => "server"host => "0.0.0.0"port => 4563codec => json_lines}
}
output {if [service] == "upms"{elasticsearch {hosts => "192.168.2.115:9200"index => "upms-logstash-%{+YYYY.MM.dd}"}}if [service] == "auth"{elasticsearch {hosts => "192.168.2.115:9200"index => "auth-logstash-%{+YYYY.MM.dd}"}}if [service] == "gateway"{elasticsearch {hosts => "192.168.2.115:9200"index => "gateway-logstash-%{+YYYY.MM.dd}"}}if [service] == "register"{elasticsearch {hosts => "192.168.2.115:9200"index => "register-logstash-%{+YYYY.MM.dd}"}}
}

2.启动 ELK 服务

在docker-compose.yml 同级目录执行 docker-compose up -d

docker-compose up -d

注意：Elasticsearch 启动可能需要好几分钟，要耐心等待。

 3.logstash 安装 json_lines 格式插件

# 进入logstash容器
docker exec -it logstash /bin/bash
# 进入bin目录
cd /bin/
# 安装插件
logstash-plugin install logstash-codec-json_lines
# 退出容器
exit
# 重启logstash服务
docker restart logstash

访问宿主机 5601 kibana

4.微服务中整合整合 Logstash

添加 pom 依赖

<!--集成logstash-->
<dependency><groupId>net.logstash.logback</groupId><artifactId>logstash-logback-encoder</artifactId><version>5.3</version>
</dependency>

logback-spring.xml 新增 appender

 <!--输出到logstash的appender-->
<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender"><!--可以访问的logstash日志收集端口--><destination>192.168.0.31:4560</destination><encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
</appender>
<root level="INFO"><appender-ref ref="LOGSTASH"/>
</root>

特别注意：<destination>192.168.0.31:4560</destination>  这里要改为自己的。

5.在springboot通过不同的环境，配置不同的启动文件

 我们一般会在代码中，编写不同的日志文件配置，这样正式环境的时候，就可以直接指向这个文件。

参考：Spring Boot「02」日志配置_Java_Samson_InfoQ写作社区