Docker 日志管理

一、ELK -Filebeat

Elasticsearch 数据的存储和检索 

常用端口：

9100：elasticsearch-head提供web访问

9200：elasticsearch与其他程序连接或发送消息

9300：elasticsearch集群状态

Logstash 有三个组件构成input，fileter，output

常用端口：5044

Kibana 数据的可视化

常用端口：5601

Filebeat 采集日志

       Filebeat 是 ELK 组件的新成员， 也是 Beat 成员之一。基于 Go 语言开发，无任何依赖,并且比 Logstash 更加轻量， 不会带来过高的资源占用， 非常适合安装在生产机器上。轻量意味着简单，Filebeat 并没有集成和 Logstash 一样的正则处理功能， 而是将收集的日志原样输出。
      以下是 Filebeat 的工作流程: 当开启 Filebeat 程序的时候，它会启动一个或多个检测进程(prospectors) 找到指定的日志目录或文件。对于探测器找出的每一个日志文件，Filebeat 启动读取进程(harvester)。每读取一个日志文件的新内容，便发送这些新的日志数据到处理程序(spooler) 。最后，Filebeat 会发送数据到指定的地点 (比如 logstash、elasticserach)。
       正是以上原因，目前， Filebeat 已经完全替代了 Logstash 成为新一代的日志采集器。同时，鉴于它的轻量、安全等特点，越来越多人开始使用它。

基于ELKF集群架构

Docker 日志管理缺陷 

       ELK 架构适合于日志规模比较庞大的情况。但由于 Logstash 日志解析节点和Elasticsearch 的负荷比较重，可将其配置为集群模式，以分担负荷。引入消息队列， 均衡了网络传输， 从而降低了网络闭塞， 尤其是丢失数据的可能性， 但依然存在 Logstash 占用系统资源过多的问题。

二、实验部署

实验的基本环境部署

镜像+软件包

[root@localhost ~]# vim /etc/sysctl.conf

vm.max_map_count=655360

备注：

max_map_count文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量（字节）

Vm 虚拟

Map映射

Count数量

[root@localhost ~]# sysctl -p           （立刻执行+检查语法）

[root@localhost ~]# vim /etc/security/limits.conf

* soft nofile 65535                no ：number数量

* hard nofile 65535             硬链接  文件数量限制

* soft nproc 65535                进程数量

* hard nproc 65535 

* soft memlock unlimited       是否锁定内存

* hard memlock unlimited   硬限制

[root@localhost ~]# docker network create ELK-kgc    （创建ELK-kgc，所有网络加入，利用容器名称进行访问）

[root@localhost ~]# docker network ls    （查看网络类型）

1.构建Elasticsearch

（1）创建 Elasticsearch 工作目录

[root@localhost ~]# mkdir elk

[root@localhost ~]# mkdir -p elk/elasticsearch

[root@localhost ~]# cd elk/elasticsearch

[root@localhost ]# cp elasticsearch-7.10.0-linux-x86_64.tar.gz elk/elasticsearch/      （上传 elasticsearch 的源码包到   elk/elasticsearch 目录下）

（2）修改elasticsearch.yml配置文件

[root@localhost elasticsearch]# cd elasticsearch-7.10.0
[root@localhost elasticsearch-7.10.0]# ls
bin  config  jdk  lib  LICENSE.txt  logs  modules  NOTICE.txt  plugins  README.asciidoc
[root@localhost elasticsearch-7.10.0]# cd config/
[root@localhost config]# ls
elasticsearch.yml  jvm.options.d      role_mapping.yml  users
jvm.options        log4j2.properties  roles.yml         users_roles
[root@localhost config]# vim elasticsearch.yml 

cluster.name: my-application          ##17行，群集名称

node.name: elasticsearch                  ##23行，本节点主机名：容器名称

path.data: /path/to/data                     ##33行，数据文件路径

path.logs: /path/to/logs                        ##37行，日志文件路径

network.host: 0.0.0.0                       ##55行，监听地址（容器地址）

http.port: 9200                                ##59行，监听端口

cluster.initial_master_nodes: ["elasticsearch"]                                  ##72，master主机名称，群集的初始化会将此节点选举为master 。   ["elasticsearch"] 是容器名称

[root@localhost config]# cp elasticsearch.yml /root/elk/elasticsearch/

（3）Dockerfile文件

FROM centos:7

RUN rm -rf /etc/yum.repos.d/*
RUN curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
RUN curl -o /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
RUN yum clean all

RUN yum -y install java-11 vim net-rools

ADD elasticsearch-7.10.0-linux-x86_64.tar.gz /usr/local/

RUN mkdir -p /path/to/logs
RUN mkdir -p /path/to/data

COPY elasticsearch.yml /usr/local/elasticsearch-7.10.0/config
RUN sed -i 's/-Xms1g/-Xms4g/g' /usr/local/elasticsearch-7.10.0/config/jvm.options
RUN sed -i 's/-Xmx1g/-Xmx4g/g' /usr/local/elasticsearch-7.10.0/config/jvm.options

RUN useradd es
RUN chown -R es:es /path/to/logs
RUN chown -R es:es /path/to/data
RUN chown -R es:es /usr/local/elasticsearch-7.10.0/

EXPOSE 9200
EXPOSE 9300

CMD su es /usr/local/elasticsearch-7.10.0/bin/elasticsearch
 

[root@localhost elasticsearch]# docker build -t elasticsearch .          （构建 Elasticsearch 镜像 ）

 

2.构建kibana镜像

（1）创建目录

[root@localhost elk]# mkdir kibana

[root@localhost ~]# cp kibana-7.10.0-linux-x86_64.tar.gz elk/kibana/
[root@localhost ~]# cd elk/kibana/
[root@localhost kibana]# ls
kibana-7.10.0-linux-x86_64.tar.gz
[root@localhost kibana]# tar zxvf kibana-7.10.0-linux-x86_64.tar.gz 

（2）kibana.yml文件

[root@localhost kibana]# ls
kibana-7.10.0-linux-x86_64  kibana-7.10.0-linux-x86_64.tar.gz
[root@localhost kibana]# cd kibana-7.10.0-linux-x86_64
[root@localhost kibana-7.10.0-linux-x86_64]# ls
bin     data         node          NOTICE.txt    plugins     src
config  LICENSE.txt  node_modules  package.json  README.txt  x-pack
[root@localhost kibana-7.10.0-linux-x86_64]# vim config/kibana.yml 
[root@localhost kibana-7.10.0-linux-x86_64]# cp config/kibana.yml /root/elk/kibana/

(3)Dockerfile

FROM centos:7
RUN rm -rf /etc/yum.repos.d/*
RUN curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
RUN curl -o /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
RUN yum clean all

RUN yum -y install java-11 vim net-tools

ADD kibana-7.10.0-linux-x86_64.tar.gz /usr/local/
COPY kibana.yml /usr/local/kibana-7.10.0-linux-x86_64/config

EXPOSE 5601
RUN useradd es
RUN chown -R  es:es /usr/local/kibana-7.10.0-linux-x86_64/

CMD su es /usr/local/kibana-7.10.0-linux-x86_64/bin/kibana

[root@localhost kibana]# docker build -t kibana .

3. 创建logstash镜像

（1）创建目录

[root@localhost elk]# mkdir logstash
[root@localhost ~]# cp logstash-7.10.0-linux-x86_64.tar.gz elk/logstash/
[root@localhost ~]# cd elk/logstash/
[root@localhost logstash]# ls
logstash-7.10.0-linux-x86_64.tar.gz
 

（2）创建dockerfile文件

[root@localhost logstash]# vim dockerfile

FROM centos:7
RUN rm -rf /etc/yum.repos.d/*
RUN curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
RUN curl -o /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
RUN yum clean all
RUN yum -y install vim java-11 net-tools

ADD logstash-7.10.0-linux-x86_64.tar.gz /usr/local/
ADD nginx-log.conf /opt/logstash/conf/nginx-log.conf
EXPOSE 5044
COPY run.sh /run.sh
RUN chmod +x /run.sh
CMD ["/run.sh"]
 

（3）创建 CMD 运行的脚本文件

#!/bin/bash
/usr/local/logstash-7.10.0/bin/logstash -f /opt/logstash/conf/nginx-log.conf
 

（4）编写配置文件

[root@localhost logstash]# vim nginx-log.conf

input {              （输入）

  beats {                  （日志来源是filebeat）

    port => "5044"            （该端口用来连接filebeat）

    codec => "json"      （编码格式）

 }

}

output{                

    elasticsearch {           （日志转发对象）

      hosts => ["elasticsearch:9200"]          （容器名称：端口）

      manage_template => false            （是否启用模板：否）

      index => "www-bdqn-cn-pro-access-%{+YYYY.MM.dd}"    （索引名称）

    }

}

[root@localhost logstash]# mkdir -p /opt/logstash/conf
[root@localhost conf]# cp /root/elk/logstash/nginx-log.conf  /opt/logstash/con

[root@localhost logstash]# docker build -t logstash .    (构建logstash镜像)

4.构建filebeat镜像

（1）创建目录

[root@localhost elk]# mkdir filebeat

[root@localhost ~]# cp filebeat-7.10.0-linux-x86_64.tar.gz elk/filebeat/

（2）编辑filebeat.yml文件

[root@localhost filebeat]# vim filebeat.yml

filebeat.inputs:
- type: log
  paths:
    - /var/log/nginx/access.log
  tags: ["www-kgc-access"]

output.logstash:
  hosts: ["logstash:5044"]
 

（3）编辑dockerfile

[root@localhost filebeat]# vim dockerfile

FROM centos:7
RUN rm -rf /etc/yum.repos.d/*
RUN curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
RUN curl -o /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
RUN yum clean all

RUN yum -y install java-11 net-tools vim
ADD filebeat-7.10.0-linux-x86_64.tar.gz /usr/local/
COPY filebeat.yml /usr/local/filebeat-7.10.0-linux-x86_64/

ADD run.sh /run.sh

RUN chmod 755 /*.sh

CMD ["/run.sh"]

（4）创建CMD运行脚本

[root@localhost Filebeat]# vim run.sh

#!/bin/bash

/usr/local/filebeat-7.10.0-linux-x86_64/filebeat -e -c /usr/local/filebeat-7.10.0-linux-x86_64/filebeat.yml

备注：
-c：配置文件位置
-path.logs：日志位置
-path.data：数据位置
-path.home：家位置
-e：关闭日志输出
-d 选择器：启用对指定选择器的调试。 对于选择器，可以指定逗号分隔的组件列表，也可以使用-d“*”为所有组件启用调试.例如，-d“publish”显示所有“publish”相关的消息。

启动nginx进行日志输出

[root@localhost ~]# docker run -dit -p 80:80 --network ELK-kgc -v /var/log/nginx:/var/log/nginx --name nginx-ELK nginx:latest

nginx-ELK  日志名称

nginx:latest   镜像和标签

[root@localhost ~]# curl  192.168.10.101         （访问日志）

[root@localhost ~]# cat /var/log/nginx/access.log      （查看日志）

5.启动镜像

（1）启动 Elasticsearch

[root@localhost ~]# docker run -itd -p 9200:9200 -p 9300:9300 --network ELK-kgc -v /path/to/logs:/path/to/logs --name elasticsearch elasticsearch

elasticsearch elasticsearch   （前一个elasticsearch容器名称，后者是镜像名称）

（2）启动 kibana

[root@localhost ~]# docker run -itd -p 5601:5601 --network ELK-kgc --name kibana kibana

（3）启动 logstash

[root@localhost ~]# docker run -itd -p 5044:5044 --network ELK-kgc -v /opt/logstash/conf:/opt/logstash/conf --name logstash logstash

（4）启动 Filebeat

[root@localhost ~]# docker run -itd --network ELK-kgc -v /var/log/nginx:/var/log/nginx --name filebeat filebeat

6.Kibana web访问即可

192.168.10.101：5601