每日一更 EFK日志分析系统

需要docker和docker-compose环境

下面时docker-compose.yaml文件

[root@node1 docker-EFK]# cat docker-compose.yaml 
version: '3.3'services:elasticsearch:image: "docker.elastic.co/elasticsearch/elasticsearch:7.17.5"container_name: elasticsearchrestart: alwaysenvironment:- "ES_JAVA_OPTS=-Xms512m -Xmx512m"- "discovery.type=single-node"- "cluster.name=myes"- "node.name=jeven"# - xpack.security.enabled: "false"ulimits:memlock:soft: -1hard: -1 networks:myefk:ipv4_address: 172.29.120.10aliases:- es- jevenports:- "9200:9200"- "9300:9300"volumes:- /home/docker-EFK/config/:/usr/share/elasticsearch/config- /home/docker-EFK/efk/es/data/:/usr/share/elasticsearch/datakibana:image: "docker.elastic.co/kibana/kibana:7.17.5"restart: alwaysenvironment:ELASTICSEARCH_URL: http://10.23.3.2:9200ELASTICSEARCH_HOSTS: '["http:/10.23.3.2:9200"]'I18N_LOCALE: zh-CNnetworks:myefk:ipv4_address: 172.29.120.20aliases:- kibana- kibports:- "5601:5601"links:- "elasticsearch"filebeat:image: "docker.elastic.co/beats/filebeat:7.17.5"restart: alwaysnetworks:myefk:ipv4_address: 172.29.120.30aliases:- filebeat- fbuser: rootcommand: ["--strict.perms=false"]volumes:- /home/docker-EFK/efk/filebeat.yaml:/usr/share/filebeat/filebeat.yml- /var/lib/docker:/var/lib/docker:ro- /var/run/docker.sock:/var/run/docker.socklinks:- "elasticsearch"- "kibana"elasticsearch-head:image: "tobias74/elasticsearch-head"container_name: elasticsearch-headrestart: alwaysnetworks:myefk:ipv4_address: 172.29.120.50ports:- "9100:9100"links:- "elasticsearch"networks:myefk:driver: bridgeipam:config:- subnet: 172.29.120.0/24

使用docker-compose up -d执行

使用docker ps 看容器状态。

[root@node1 docker-EFK]# docker ps
CONTAINER ID   IMAGE                                                  COMMAND                  CREATED          STATUS                          PORTS                                                                                  NAMES
42581fc03590   tobias74/elasticsearch-head                            "/bin/sh -c 'grunt s…"   5 minutes ago    Up 5 minutes                    0.0.0.0:9100->9100/tcp, :::9100->9100/tcp                                              elasticsearch-head
ce1464dc2726   docker.elastic.co/beats/filebeat:7.17.5                "/usr/bin/tini -- /u…"   19 minutes ago   Up 19 minutes                                                                                                          docker-efk_filebeat_1
fc979274d0f1   docker.elastic.co/kibana/kibana:7.17.5                 "/bin/tini -- /usr/l…"   19 minutes ago   Up 19 minutes                   0.0.0.0:5601->5601/tcp, :::5601->5601/tcp                                              docker-efk_kibana_1
f5f94ba61d0b   docker.elastic.co/elasticsearch/elasticsearch:7.17.5   "/bin/tini -- /usr/l…"   19 minutes ago   Up 18 minutes                   0.0.0.0:9200->9200/tcp, :::9200->9200/tcp, 0.0.0.0:9300->9300/tcp, :::9300->9300/tcp   elasticsearch

elasticsearch是日志存放的数据库，elasticsearch下的索引(Index)类似于关系型的一个数据库。文档(Document)：Elasticsearch中的数据单位，可以理解为一条记录或一条消息。

elasticsearch-head就是一款能连接ElasticSearch搜索引擎，并提供可视化的操作页面对ElasticSearch搜索引擎进行各种设置和数据检索功能的管理插件。

ES相关术语

文档 Document

Document 文档就是用户存在 es 中的一些数据，它是 es 中存储的最小单元。（类似于表中的一行数据。）注意：每个文档都有一个唯一的 ID 表示，可以自行指定，如果不指定 es 会自动生成

索引 Index

索引其实是一堆文档 Document 的集合。（它类似数据库的中的一个表）

字段 Filed

在 ES 中，Document就是一个 Json Object，一个Json Object其实是由多个字段组成的，每个字段它有不同的数据类型。

ES术语总结

ES索引、文档、字段关系小结：
一个索引里面存储了很多的 Document 文档，一个文档就是一个json object，一个json object是由多个不同或相同的 filed 字段组成；

操作原理
ES的操作和我们传统的数据库操作不太一样，它是通过 RestfulAPI 方式进行对ES进行操作，其实本质上就是通过 http的方式去变更我们的资源状态。   
通过 URI 的方式指定要操作的资源，比如 Index、Document等。   
通过 Http Method 指明资源操作方法，如GET、POST、PUT、DELETE 等。

访问elasticsearch两种方式

• curl命令本地访问
• 安装kibana访问

kibana是一个

分析和可视化数据。搜索隐藏的见解，编制图表仪表板，仪表、地图和其他可视化显示您发现的内容，并与他人分享。
搜索、观察和保护你的数据。向你的应用或网站添加搜索框，分析日志，指标，并发现安全漏洞。
管理、监控和保护 Elastic Stack。管理您的索引和摄入管道，监控 Elastic Stack 集群的运行状况，并控制哪些用户可以访问哪些特征和数据。

kibana对es的增删改查，

kibana操作elasticsearch的索引

创建索引

#创建索引
PUT /cry_index

查看索引

#查看全部索引名 
GET _cat/indices

#查看指定索引 GET  索引名
GET filebeat-2024.06.29

PUT /ly_index 创建索引                {"acknowledged" : true,"shards_acknowledged" : true,"index" : "ly_index"}

GET /ly_index   查看索引{"ly_index" : {"aliases" : { },"mappings" : { },"settings" : {"index" : {"routing" : {"allocation" : {"include" : {"_tier_preference" : "data_content"}}},"number_of_shards" : "1","provided_name" : "ly_index","creation_date" : "1720143452731","number_of_replicas" : "1","uuid" : "FRaCW3lgSny9e11v8WSUmw","version" : {"created" : "7170599"}}}}
}

DELETE /ly_index     删除索引{"acknowledged" : true
}

kibana操作elasticsearch的文档

PUT /ly_index_01       创建索引POST /ly_index_01/_doc/1          创建索引下的文档
{"username": "oldxu","age": 18,"salary": 1000000
}

_doc为文档名

oldxu_index为索引名  ，没有将会自动创建

1 为文档id  如果不指定会随机创建

指定id的，

POST /oldxu_index/_doc/1
{"username": "oldqiang","age": 30,"salary": 300
}
结果：
{"_index" : "oldxu_index","_type" : "_doc","_id" : "1","_version" : 1,
。。。。。。。

不指定id的

POST /oldxu_index/_doc
{"username": "oldqiang","age": 30,"salary": 300
}
结果
{"_index" : "oldxu_index","_type" : "_doc","_id" : "wtKTgJAB9dAZABV53ccy","_version" : 1,

查询文档

查询文档时，需要指定要查询的文档id，不指定无法查找

GET /oldxu_index/_doc/1

GET /oldxu_index/_doc/1
结果
{"_index" : "oldxu_index","_type" : "_doc","_id" : "1","_version" : 1,"_seq_no" : 1,"_primary_term" : 1,"found" : true,"_source" : {"username" : "oldqiang","age" : 30,"salary" : 300}
}

不指定id，无法查找

GET /oldxu_index/_doc结果
{"error" : "Incorrect HTTP method for uri [/oldxu_index/_doc?pretty=true] and method [GET], allowed: [POST]","status" : 405
}

查询，搜索所有文档，用_search

GET /oldxu_index/_search

filebeat这里就是一个测试源，可以关闭，对es没有影响，后期需要安装到收集日志的服务器上。

问题1：

创建elasticsearch 是初期没有挂在config文件夹，后期则无法更改elasticsearch.yaml文件，但是再docker-compose.yaml中加入- /home/docker-EFK/config/:/usr/share/elasticsearch/config  后elasticsearch启动一直报错，起不来。查看logs 发现无法打开/usr/share/elasticsearch/config下的文件。解决的方法是，先不映射/usr/share/elasticsearch/config，启动后docker cp 容器id:/usr/share/elasticsearch/config  （宿主机目录）/home/docker-EFK/config/ 。把容器的这个目录拷贝到宿主机，然后再在yaml中加入- /home/docker-EFK/config/:/usr/share/elasticsearch/config。这样就可以了。

问题2:elasticsearch-head 启动成功后，浏览器http://10.23.3.2:9100可以正常访问，但是连不上elasticsearch，后查了一下，需要在elasticsearch.yaml添加两行内容

http.cors.enabled: true

http.cors.allow-origin: "*"

[root@node1 config]# cat elasticsearch.yml 
cluster.name: "docker-cluster"
network.host: 0.0.0.0
http.cors.enabled: true   
http.cors.allow-origin: "*"

重启容器 docker restart es的容器id，重启后,连接成功。