IT运维：使用数据分析平台监控深信服防火墙

概述

深信服防火墙自身监控可以满足绝大部分需求，比如哪个应用占了最大带宽，哪个用户访问了哪些网站？这里我们为什么使用鸿鹄呢？因为我们要的是数据的处理和分析，比如某个用户在某个事件都做了哪些行为，这个在防火墙上去查看日志是巨大的工作量，效率低，费时长，且容易错漏。而这个恰恰是鸿鹄擅长。我们在运维中不能仅仅关注在监控上，更扩展到安全上，从而保证整个基础架构的稳定、安全运行。

监控目标

收集并保存防火墙设备的日志，满足等保要求

监控防火墙的登录安全

监控防火墙的配置安全

提供基于用户或IP或其他关键字的搜索，强化安全

安装vector

Vector作为数据采集器，可以接收设备的syslog日志，并转发鸿鹄平台。Vector配置方法参考下文：

安装Vector

查看安装后vector版本，确认安装成功

vector安装好后，直接执行vector 时，系统首先会去/usr/bin下寻找命令，如果不在这个目录中，就会找不到了。这个时候我们就需要为这些找不到的命令建立一个链接文件，链接到/usr/bin下  

登录鸿鹄平台，数据管理>新建数据集

编辑数据源名称，选择数据集范围为上面创建的“switch”，此时会启用

创建syslog.toml脚本，需要调整字段

address = "0.0.0.0:514"：0.0.0.0表示接收所有主机发送过来的syslog，514表示接收的端口（syslog默认为514）

mode = "udp"：表示接收syslog的协议syslog默认为udp）

._target_table = "switch" : 表示上文你创建的数据集名称

address = "172.20.6.111:9092"：鸿鹄的IP和相应的端口

运行修改的syslog脚本，注意保持运行状态。

登录交换机触发syslog（注：登录交换机输入命令都会自动触发syslog）。登录鸿鹄平台查看数据是否导入到switch数据集。如下图事件计数已经显示数据导入成功

查询下通过vector导入到switch数据集的数据

配置防火墙syslog

syslog配置>填写鸿鹄IP和端口号>应用

字段抽取

深信服由于是国产防火墙，防火墙日志字段很多包含中文，因此我们需要再次抽取字段。字段抽取的逻辑是，先通过sql语句创建视图，视图生成后我们就可以直接调用视图里的字段，它实际日志仍旧存放在原数据集。

我们先分析下日志格式。

通过以下两条日志我们可以看到，日志格式后半段的格式是不一样的，针对这种情况，我这里的做法是，先抽取共性字段，再单独逐个抽取不同类型的日志字段。

以该日志为例

共性字段抽取

以该日志为例

sangfor_syslog，这里是需要新建的视图名称

switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集，这里需要根据你的数据集名称替换

where contains( switch._message, '日志类型') '日志类型'指的是你要搜索到这个写日志特定的字段，通过’日志类型‘可以限定日志里所有包含'日志类型'的日志

正则表达式如何写以及测试

访问https://regex101.com/，在REGULAR EXPRESSION里填写正则表达式，或直接在这里写

在TESTING STRING里输入日志，可以直接从鸿鹄上拷贝相关的日志

正则表达式如果是正确的，会生成对应的颜色，以及右下角会Match  information里会显示抽取的字段名和字段内容

在高阶查询中运行，成功

在视图里可以查看到我们创建的sangfor_syslog的视图

我们运行搜索语句测试下，同时在红色部分可以看到我们抽取出来的字段

NAT字段抽取

以该日志为例

sangfor_nat_syslog，这里是需要新建的视图名称

switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集，这里需要根据你的数据集名称替换

where contains( switch._message, 'NAT') '日志类型'指的是你要搜索到这个写日志特定的字段，通过NAT可以限定日志里所有包含NAT的日志

正则表达式如何写以及测试

访问https://regex101.com/，在REGULAR EXPRESSION里填写正则表达式，或直接在这里写

在TESTING STRING里输入日志，可以直接从鸿鹄上拷贝相关的日志

正则表达式如果是正确的，会生成对应的颜色，以及右下角会Match  information里会显示抽取的字段名和字段内容，

注意：正则表达式写的时候抽取字段，group一定都要命名，不然就不要定义为group。比如下面的正则表达式，由于红色部分选择了抽取，确又没有定义字段名称，那么鸿鹄在抽取匹配字段时就会异常，虽然结果是成功的，但是字段都没有抽取出来。

(?\w{3}\s\d{2}\s\d{2}:\d{2}:\d{2})\s\w+\s(?\w+):\s\D{4}:(?\D{5}),\s\D{5}:(?\w+),\s\D{3}:(?\d+.\d+.\d+.\d+),\s\D{3}:(?\d+),\s\D{4}:(?\d+.\d+.\d+.\d+),\s\D{4}:(?\d+),\s\D{2}:(\d+),\s\D{6}:(?\d+.\d+.\d+.\d+),\s\D{6}:(?\d+)$

在高阶查询中运行，成功

在视图里可以查看到我们创建的sangfor_nat_syslog的视图

我们运行搜索语句测试下，同时在红色部分可以看到我们抽取出来的字段

login字段抽取

防火墙日志每个组件的日志格式各不相同，那么我们可能需要根据自己的情况进行多次字段抽取，上文已详述过字段抽取方法，这里只提供抽取字段脚本供参考

图表展示

在图表创建部分，我这边每个类型的图表只会举一个例子，但会把所有的搜索语言列出来，供大家参考。

仪表板>新建仪表板

创建完成

日志告警等级统计

新建图表>日志类别

选择图表类型：饼图

查询语句：这个语句可以先在查询里验证，确认查找的结果是想要的

时间范围：选择1天，可以根据自己的情况调整

生成图表后，可以查看各种类型的日志的统计

目的：用于统计日志总量，查看类别的统计总数。另外一点好看。

登录事件明细

新建图表>登录事件明细

选择图表类型：表格

查询语句：这个语句可以先在查询里验证，确认查找的结果是想要的

时间范围：选择1天，可以根据自己的情况调整

生成图表后，可以查看设备登录的明细，比如哪个用户，哪个时间，从哪个IP登录

目的：用于判断是否有异常登录，或密码探测行为

登录事件明细

新建图表>设备数量

选择图表类型：单值趋势图

查询语句：这个语句可以先在查询里验证，确认查找的结果是想要的

时间范围：选择30分钟，可以根据自己的情况调整

生成图表后，可以统计所有日志的发送到鸿鹄的服务器数量。

目的：用于确认当前监控的设备总计数量，便于检查错漏，主要为了图表布局的好看。

搜索语句

以下列出所有本文中的搜索语句，供参考

小提示：搜索语句命令部分会调用抽取的字符段，如果未抽取字段，会出现报错

效果图

图表创建完成后，我们选择“网格布局”对图表布局进行优化调整，最终效果图如下