ELK+filebeat+kafka

无需创建logstash的端口，直接创建topic

远程收集mysql和httpd的日志

（一）安装nginx和mysql服务

1、打开mysql的日志功能

2、创建日志（创库、创表、添加数据）

（1）mysql服务器上安装http

systemctl restart httpd.service

（2）访问测试

（二）部署安装filebeat

1、编辑filebeat的配置文件

（1）启动filebeat服务

nohup ./filebeat -e -c filebeat.yml > filebeat.out &

（三）配置logstash的conf文件

codec => "json"	解析json格式的代码
auto_offset_reset => "earliest"	从头获取数据
auto_offset_reset => "latest"	实时获取
decorate_events => true	传递给es实例中的信息包含kafka的属性数据

1、启动logstash服务

2、打开消费消息

主题mysql1和httpd1已经创建

（1）打开httpd1主题

kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --topic httpd1 --from-beginning

（2）打开mysql1主题

kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --topic mysql1 --from-beginning

（四）查看索引

启动ES：npm run start &

（五）访问服务，查看能否收到日志