ES+FileBeat+Kibana日志采集搭建体验

1.环境准备

   需要linux操作系统，并安装了docker环境

   此处使用虚拟机演示。（虚拟机和docker看参考我之前写的文章）

    VirtualBox安装Oracle Linux 7.9全流程-CSDN博客

    VirtualBox上的Oracle Linux虚拟机安装Docker全流程-CSDN博客

  简单演示搭建ES+FileBeat+Kibana进行日志采集、上报、展示、搜索流程。

 2.创建elk网络

    docker network create elk

3.docker拉取并启动ES

docker run -d \

   --name=elasticsearch \

   -v es-data:/usr/share/elasticsearch/data \

   -e ES_JAVA_OPTS="-Xms256m -Xmx512m"  \

   -e "discovery.type=single-node" \

   -e "xpack.security.enabled=false" \

   --net elk \

   -p 9200:9200 -p 9300:9300 \

docker.elastic.co/elasticsearch/elasticsearch:8.6.2

镜像比较大，执行需要耐心等待下。

Elasticsearch容器启动成功。

访问http://192.168.56.103:9200 显示如下

4.docker拉取并启动kibana

docker run -d \

   --name=kibana \

   -e ELASTICSEARCH_HOSTS=http://elasticsearch:9200 \

   -e I18N_LOCALE=zh-CN \

   --net elk \

   -p 5601:5601 \

docker.elastic.co/kibana/kibana:8.6.2

 kibana容器启动成功

 #查看运行的容器

 docker ps -a

 #观察kibana容器日志输出

 docker logs kibana --tail 20  -f

访问http://192.168.56.103:5601

5.安装filebeat日志采集

 5.1 安装filebeat

wget  https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.6.2-x86_64.rpm

 rpm -ivh  filebeat-8.6.2-x86_64.rpm

 5.2 修改filebeat配置

cd  /etc/filebeat

mv filebeat.yml  filebeat.yml.bak

vim  filebeat.yml

添加如下：

filebeat.inputs:

- type: log

  enabled: true

  paths:

  - /var/log/*log

  - /var/log/messages

setup.ilm.enabled: false

setup.template.name: "test"

setup.template.pattern: "test-*"

output.elasticsearch:

  hosts: ["http://localhost:9200"]

  index: "test-%{+yyyy.MM.dd}"

 5.3启动filebeat

#测试配置是否正确

filebeat test config

#测试一下 Filebeat 和 Elasticsearch 是否连接成功

#设置初始环境

filebeat setup -e

#启动filebeat

systemctl start filebeat

#查看filebeat的日志

tail -20f /var/log/messages

6.kibana配置数据视图及展示搜索日志

最终能看到日志已经加载到ES上了，在kibana上的效果如下：

 这些匹配的规则文件都会被上报到es中 

 /var/log/*log             #这个是符合log后缀的文件

 /var/log/messages   #这个是filebeat的日志文件