中间平台工具 - graylog

graylog是非常好用的数据处理平台，可以对数据进行：streams分类、pipeline、正则匹配、统计汇总、定制化配置Alerts 等处理。

graylog的一些概念：

索引(消息存储的位置，默认indices default)

streams(从inputs里面，通过stream rules匹配某些字段条件，route to streams)

1，stream 如何与 inputs 消息关联？

//通过 stream rules 字段匹配做关联，比如需要做falco stream，则可根据 program=Falco做分流

2，stream 如何与 索引 关联？

stream消息存储在指定的索引中，通过 Editing Stream 来指定 索引 Index Set

3，stream 与 pipeline 是什么关系？

如果配置了 pipeline，可以在 pipeline Edit connections 里面指定 stream

伪流程 stream msg -> pipeline rules opr -> stream msg storage index

stream rules 可以为消息填充一些数据字段，比如根据 ip 查 ip负责人等。

rule语句：lookup("cmd_risk_rank_analyze", cmdb64);

其中 cmd_risk_rank_analyze 是数据库表->Lookup Tables 的一个表名

Data Adapter 可以编辑具体发送远程请求的 url

4，pipeline 如何与 alert 关联 ？

配置就可以了，有选择的。

5，graylog 搜索使用正则表达式：

rule:"System procs network activity" AND output_fields_proc_cmdline:/bash -c.*/

注意，/reg表达式/

+++++++++++++++++++++
graylog问题的一些排查：

@1，node节点端口有数据，但是界面上查询不到数据？

可能是 Nodes 节点挂了，需要重启：
ps axuf | grep graylog
rm -f /dev/shm/graylog.pid
kill -9 [graylog PID]

执行 /usr/local/graylog/bin/graylogctl start