开源Scout攻击检测工具

开源Scout攻击检测工具1 概述Scout是一个攻击检测工具它在受到如CC、压测工具、syn flood、udp flood等拒绝服务攻击时能进实时检测和告警。同时支持配置防火墙的封锁也可以通过调用脚本做一些其它的处理。本工具实际上在原来Dshield工具上重构而来的但实现的方式与原来完全不一样。本次方案是以调用libcap数据包捕获的开源函数库来收集经过适配器的所有数据然后将数据进行实时分析。本工具集成了一个用于缓存数据的软件目前是mongodb你不用额外去安装它工具里已经打包集成了直接通过工具命令来启动就行。按照原来的架构规划Scout是一个分布式的预警平台由于时间精力原因目前只做了一个单机试版本。后面有精力会重写成分布架构独立开发一个中央管理后台来管理所有在主机上跑的Scout客户端。可以通过中央后台分发策略文件支持线上配置、线上查询分析数据、控制Scout客户端、集中告警等。//架构图 //PS本次仅实现了Scout客户端部分。2 运行环境支持 Centos6、Centos7支持 Ubuntu14.04、Ubuntu16.04 (新增)添加 grafana 展示插件 (新增)使用root特权运行注意下载对应的版本3 安装ScoutPS由于github上传最大限制25M在上面bin目录中缺少cacheServer可执行文件直接clone上面代码没法运行。1解压到指定目录Centos6/7:wget https://github.com/ywjt/Scout/releases/download/v0.1.0-alpha/Scout_v0.1.0-alpha.tar.gz tar zxvf Scout_v0.1.0-alpha.tar.gz -C /usr/local/Ubuntu14.04/16.04:https://github.com/ywjt/Scout/releases/download/v0.1.0-alpha_ubuntu/Scout_v0.1.0-alpha_ubuntu.tar.gz tar zxvf Scout_v0.1.0-alpha_ubuntu.tar.gz -C /usr/local/2设置软连接ln -s /usr/local/scout/conf /etc/scout.d ln -s /usr/local/scout/bin/* /usr/local/bin/如果是 Centos7:ln -s /usr/lib64/libsasl2.so.3.0.0 /usr/lib64/libsasl2.so.23初始化缓存目录Scoutd init这一步在新安装时要做还有如果全局配置文件里改变了storage/_type缓存类型也需要重新初始化。重新初始化会清除缓存数据。修改/etc/scout.d/scoutd.conf 的 listen/_ip “”然后可以启动了。4启动ScoutScoutd start Scoutd versionPS确保你的系统已安装iptables 防火墙本工具默认使用iptables否则无法实现封禁操作。当然你也可以在策略文件中关闭它。如果是Ubuntu请额外安装支持iptables然后把UFW关闭。5可以查看运行状态Scoutd status Scoutd dstat6可以监听日志输出Scoutd watch7其它使用帮助Scoutd help Usage: Scoutd Options: init creating and initializing a new cache partition. start start all service. stop stop main proccess, cacheserver keep running. restart restart main proccess, cacheserver keep running. reload same as restart. forcestop stop all service, include cacheserver and main proccess. reservice restart cacheserver and main proccess. status show main proccess run infomation. dstat show generating system resource statistics. view check block/unblock infomation. watch same as tailf, watching log output. help show this usage information. version show version information.4 配置Scout配置文件有两种全局启动配置scoutd.conf 预警策略配置支持yaml、json格式语法不能有错暂时没有做过多的语法校验。已内置了3个策略模板。路径/etc/scout.d/全局配置说明#日志输出等级,选项DEBUGINFOWARNINGERRORCRITICAL log_level INFO #本机监听,填写本机所有通信IP,不要填0.0.0.0 listen_ip 10.10.0.4,114.114.114.114 # 信任IP列表,支持CIRD格式 trust_ip 10.10.10.0/24,172.16.0.0/16 # 监听适配器,如果是多网口,请填写any否则填eth0|eth1|em0|em1... motr_interface eth0 # 监听端口,可以多个 如: 443,80,8080 motr_port 80,443,53 # 捕获数据包的最大字节数, 相当于buffer_timeout时间内的缓冲区 max_bytes 65536 # 定义适配器是否必须进入混杂模式 # 关于混杂模式,如果启用则会把任何流过网口的数据都会捕获这样会产生很多杂乱的数据 # 要精准捕获由外网流入的数据, 建议设为 False promiscuous False # 缓冲区超时时间,单位是毫秒,一般设1000ms即可 # 当捕获程序在设定的超时周期内返回一次数据集 buffer_timeout 1000 # 自动删除缓存记录的存活时间,单位秒 # 默认: 86400 (1 days) expire_after_seconds 86400 # 缓存数据的方式可选Memory 或 Disk # Memory 内存方式若服务关闭数据会被重置检测效率高准确性高 # Disk 磁盘方式数据会被持久化检测效率低需要通过提高策略阀值达到预警 # 不支持动态切换如果首次启动后切换缓存方式需要重新初始化缓存服务执行 Scoutd init storage_type Memory # 限制内存使用大小最小1G # 不配置默认为可用系统内存的一半配置不能有小数点 storage_size 1策略配置说明Bolt Fields上述列出的Field可以用于策略文件的编写要怎么实现查询想要的数据就需要自行构造了。策略文件的filter模块始终都是以类似SQL的聚合查询语法来执行。SELECT count({Field}) AS total , {Field} FROM TCP WHERE (time 1573110114 AND time 1573110144) AND ... GROUP BY {Field} HAVING count({Field}) 100策略文件例子name: CC attack check #策略名称 desc: #简单描述一下 ctime: Thu Oct 24 17:48:11 CST 2019 #创建时间 # 缓存表,目前只有TCP、UDP两个表,实际上是指定分析的数据源 bolt: TCP # 过滤器,类似于SQL查询 # # SELECT count(src) AS total , src # FROM TCP # WHERE dport IN (80, 443) # AND (time 1573110114 AND time 1573110144) # AND src NOT IN (127.0.0.1, 10.10.0.4, 114.114.114.114) # GROUP BY src # HAVING count(src) 100 # # 返回{utotal: 121, u_id: u115.115.115.115} # filter: timeDelta: 30 #时间区间, Seconds. trustIps: #排除src白名单,列表 - 127.0.0.1 - 10.10.0.4 - 114.114.114.114 motrPort: #过滤端口,列表 - 80 - 443 motrProto: TCP #过滤协议,TCP或UDP(暂时没有区分更细的协议名如http、https、ssh、ftp、dns等) flags: #TCP握手的状态 (常见syn、ack、psh、fin) noOfConnections: 100 #聚合的阀值,结合noOfCondition|returnFiled如group by src having count(src) $gte 1000 noOfCondition: $gte #聚合阀值条件, 如$ge/$gt/$gte/$lt/$lte returnFiled: src #聚合的字段名, blot表里必须存在 # 执行模块 block: action: true #是否封禁 expire: 300 #封禁时间Seconds. iptables: true #默认是用防火墙封禁,如果自定义脚本,这里设为false如果为trueblkcmd/ubkcmd则为空否则填了也不会生效 blkcmd: #锁定时执行传参为 returnFiled 列表值你可以用脚本来扩展注意执行权限 ubkcmd: #解锁时执行传参为 returnFiled 列表值你可以用脚本来扩展注意执行权限 # 通知模块 notice: send: true #是否发送 email: - 350311204qq.com #接收人邮箱列表5 安装grafana插件可选参考文档https://github.com/ywjt/Scout/tree/master/plugin下载直接运行 Scout/_plugin 即可建议放到 Scout目录里。wget https://github.com/ywjt/Scout/releases/download/v0.1.0-alpha_plugin/Scout_plugin_for_grfana_server.tar.gz mkdir /usr/local/scout/plugin tar zxvf Scout_plugin_for_grfana_server.tar.gz -C /usr/local/scout/ ln -s /usr/local/scout/plugin/Scout_plugin /usr/local/bin/ nohup /usr/local/bin/Scout_plugin /var/log/scout/scout_pulgin.log 安装 grafana server 6.4.4Ubuntu Debianwget https://dl.grafana.com/oss/release/grafana_6.4.4_amd64.deb sudo dpkg -i grafana_6.4.4_amd64.debRedhat Centoswget https://dl.grafana.com/oss/release/grafana-6.4.4-1.x86_64.rpm sudo yum localinstall grafana-6.4.4-1.x86_64.rpm启动 grafana serverservice grafana-server start打开Web界面 http://IP:3000/ 帐号 admin 密码 admin导入模板安装 grafana-simple-json-datasource 插件sudo grafana-cli plugins install grafana-simple-json-datasource sudo service grafana-server restart后台配置 simple-json1、添加datasource2、选择JSON引擎3、配置JSON引擎接口这里只需要把URL填入 http://localhost:6667 即可。插件仅允许本地通信6667端口为固定不可改。4. 导入JSON模板Scout_plugin_for_grafana_server.jso即可看到高大上的WEB UI。如果你熟悉 Grafana还可以调整一下UI布局满足个人审美关联Grafana的使用我们早前也有一篇教程《10分钟打造炫酷的监控大屏》。6 模拟测试下面使用hping3 工具发起攻击测试工具自行安装。hping3是一个很全面的网络压测工具。发起80端口syn半连接请求hping3 -I eth0 -S 目标IP -p 80 --faster发起53端口udp floodhping3 -2 -I eth0 -S 目标IP -p 53 --faster 监听Scout输出监听Scout输出[roothost-10-10-0-4 ~]# Scoutd watch logging output ...... 2019-11-07 16:11:27 __init__.py[line:1601] WARNING [LOCK] syn has been blocked, It has 606 packets transmitted to server. 2019-11-07 16:11:28 __init__.py[line:1585] ERROR [MAIL] Send mail failed to: [Errno -2] Name or service not known 2019-11-07 16:11:29 __init__.py[line:1601] WARNING [syn.yaml] {utotal: 606, u_id: usyn, block: 1} 2019-11-07 16:11:30 __init__.py[line:1601] WARNING [LOCK] 117.*.*.22 has been blocked, It has 861 packets transmitted to server. 2019-11-07 16:11:32 __init__.py[line:1585] ERROR [MAIL] Send mail failed to: [Errno -2] Name or service not known 2019-11-07 16:11:32 __init__.py[line:1601] WARNING [tcp.yaml] {utotal: 861, u_id: u117.*.*.22} 2019-11-07 16:11:36 __init__.py[line:1601] WARNING [LOCK] 117.*.*.25 has been blocked, It has 904 packets transmitted to server. 2019-11-07 16:11:38 __init__.py[line:1585] ERROR [MAIL] Send mail failed to: [Errno -2] Name or service not known 2019-11-07 16:11:39 __init__.py[line:1601] WARNING [udp.yaml] {utotal: 904, u_id: u117.*.*.25} 2019-11-07 16:11:39 __init__.py[line:1601] WARNING [syn.yaml] {utotal: 1765, u_id: usyn, block: 1} 2019-11-07 16:11:40 __init__.py[line:1601] WARNING [tcp.yaml] {utotal: 1817, u_id: u117.*.*.22} 2019-11-07 16:11:43 __init__.py[line:1601] WARNING [udp.yaml] {utotal: 1806, u_id: u117.*.*.25}可以发现所有策略文件都被执行了并达到预警阀值。再查看封锁记录。[roothost-10-10-0-4 ~]# Scoutd view -------------------------------------------------------------------------------------------------------------- | _ID | ConfName | Total | Command | Time | -------------------------------------------------------------------------------------------------------------- | syn | syn | 371 | /opt/notice.sh {utotal: 371, u_id: usyn, block: 1} | 2019-11-07 16:12:06 | | 117.*.*.22 | tcp | 371 | /sbin/iptables -I INPUT -s 117.*.*.22 -j DROP | 2019-11-07 16:12:06 | | 117.*.*.25 | udp | 604 | /sbin/iptables -I INPUT -s 117.*.*.25 -j DROP | 2019-11-07 16:12:09 | --------------------------------------------------------------------------------------------------------------目前Scout的性能还不算很高如果有大量持续的攻击CPU占用率稍有些高的一旦攻击停止占用率就会马上降下来。[roothost-10-10-0-4 ~]# Scoutd dstat ---------------------------------------------------------------------------------- | Time | 1min | 5min | 15min | %CPU | MemFree(MiB) | Recv(MiB) | Send(MiB) | ---------------------------------------------------------------------------------- | 2019-11-07 16:29:33 | 0.00 | 0.04 | 0.05 | 0.5 | 4307 | 0.002 | 0.002 | | 2019-11-07 16:30:36 | 0.00 | 0.03 | 0.05 | 0.5 | 4258 | 0.000 | 0.000 | | 2019-11-07 16:31:40 | 0.77 | 0.21 | 0.11 | 43.9 | 4291 | 3.754 | 0.001 | | 2019-11-07 16:32:43 | 0.67 | 0.33 | 0.16 | 0.2 | 4300 | 0.000 | 0.000 | ----------------------------------------------------------------------------------7 AboutScout无法代替商用的防攻击系统它仅作为一个分析告警和引导防御的方案。在这个框架之上你可以捣蛋很多东西。当你部署运行后你会发现每天很多来自不同国家的IP在扫描你的机器Github项目 https://github.com/ywjt/Scout参考链接 运维军团开源Scout攻击检测工具 https://mp.weixin.qq.com/s/BJ9aocwZT7VPWDS8UYGsdw《网络安全从零到精通全套学习大礼包》96节从入门到精通的全套视频教程免费领取如果你也想通过学网络安全技术去帮助就业和转行我可以把我自己亲自录制的96节 从零基础到精通的视频教程以及配套学习资料无偿分享给你。网络安全学习路线图想要学习 网络安全作为新手一定要先按照路线图学习方向不对努力白费。对于从来没有接触过网络安全的同学我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线大家跟着这个路线图学习准没错。配套实战项目/源码所有视频教程所涉及的实战项目和项目源码学习电子书籍学习网络安全必看的书籍和文章的PDF市面上网络安全书籍确实太多了这些是我精选出来的面试真题/经验以上资料如何领取多了这些是我精选出来的面试真题/经验以上资料如何领取文章来自网上侵权请联系博主