恶意Bot流量识别分析实践

1、摘要

随着互联网的发展，自动化工具和脚本（Bots）的使用越来越普遍。虽然一些善意 Bots 对于网站的正常运行和数据采集至关重要，但恶意 Bots 可能会对网站带来负面影响，如爬取敏感信息、恶意注册、刷流量等。因此，检测和分析 Bot 流量变得至关重要。

Bot恶意流量检测手段大致可分为前端检测和后端数据分析，前端包括设备指纹获取、浏览器插件信息获取等，后端主要是制定检测模型，与威胁情报、IP信誉等手段结合。在整个恶意流量识别过程中，前端与后端的两者相辅相成。

在这篇文章中，我们将基于网宿自身站点的访问日志分析，探讨如何使用后端基础检测方案来分析识别恶意Bot流量，包括 IP 情报、 User-Agent、 TLS 指纹、 请求头特征等。

2、情报与检测策略

威胁情报是支撑后端检测模型最重要的数据之一，通过这些信息，安全专家可以更好地预防、检测和应对网络攻击。持续更新和共享威胁情报是防范恶意Bot攻击的关键步骤，能够大幅提升整体防御水平，保障网络的稳定和安全。我们可以通过以下方式来检测恶意Bots请求：

IP情报

IP作为互联网的身份标识，一直是黑灰产竞争最激烈的资源。随着防护手段的升级，黑产技术也在快速发展，秒播代理、4G代理代理、动态住宅代理成为当前主流的黑产IP资源，大量应用于各种Bot场景中，包括恶意刷量、注册、抢票、薅羊毛等，由于其代理的隐匿性较高，特征难以被发现，因此对互联网安全存在较高的威胁。因此如何收集IP情报以及使用IP情报在恶意Bot流量检测中显得尤为重要。

特性	秒播IP	4G代理	动态住宅代理
来源	数据中心服务器	移动运营商4G网络	互联网服务提供商（ISP）
隐匿性	较低，易被识别为代理IP	高，难以被识别为代理IP	高，难以被识别为代理IP
动态变化	可以快速切换，但仍较易被识别	高频率动态变化，隐匿性强	动态变化，隐匿性强
带宽和性能	高带宽和高性能，适合大规模数据传输	带宽有限，性能受移动网络环境影响	较低带宽，受家庭网络环境限制
成本	较低	较高	较高
应用场景	数据抓取、网络营销、自动化测试	账号注册登录、广告点击、投票、反爬虫绕过	反爬虫绕过、广告验证、访问受限内容

对IP特征和行为上分析有助于我们持续定位和收集威胁情报：

地理位置过滤：正常用户的访问通常来自全球各地，而恶意Bot可能集中在特定的国家或地区。例如，短时间内来自同一个IP段的访问，如图1所示。

图1 异常IP段

ISP和数据中心过滤：普通用户通常使用家庭宽带或移动网络，而恶意Bot 流量IP通常来自于云厂商或者数据中心，识别这些ISP信息，可以帮助过滤潜在的恶意流量，如图2所示。

图2 数据中心IP

DDoS攻击源：DDoS攻击场景与恶意Bot场景通用需要使用代理或者僵尸网络，同一批恶意IP通常不会只发起一次攻击，而是会被多次使用，如图3所示。

图3 DDoS攻击源

TLS指纹

TLS指纹是一种极其有效的工具，通过对TLS客户端client hello包中的不同字段进行深入分析，我们可以生成独特的JA4指纹并利用这些指纹来识别特定的恶意Bot流量。此前我们已着重对TLS指纹进行深度分析，在本文中不再赘述，感兴趣的读者可以访问文章：https://www.freebuf.com/articles/web/393136.html

TLS策略详情	描述
Chrome 指纹异常	User_agent为Chrome，但是实际tls指纹不匹配
Firefox 指纹异常	User_agent为Firefox，但是实际tls指纹不匹配
MS Edge 指纹异常	User_agent为Edge，但是实际tls指纹不匹配
Safari 指纹异常	User_agent为Safari，但是实际tls指纹不匹配
IE 指纹异常	User_agent为IE，但是实际tls指纹不匹配
Opera 指纹异常	User_agent为Opera，但是实际tls指纹不匹配
不常见的指纹	tls指纹异常并且很少见

HTTP请求头检测策略

正常用户的请求通常带有丰富的HTTP头信息，包括用户代理（User-Agent）、浏览器版本、操作系统等信息，而恶意爬虫往往使用伪造或异常的User-Agent字符串，甚至可能缺少其他必需的头信息。

3、策略模型

诚然，在Bots对抗场景中，仅基于特征来识别Bots未免有些太小儿科，也容易被攻击者通过通过伪造特征的方式绕过检测手段，因此，多特征模型检测的重要性不言而喻，它不是单一维度的检测，而是基于多维度数据分析进行综合评估，不仅有助于提高识别效率，也同时能降低误报的风险。

在情报和检测策略的基础上，我们可以制定策略的权重和得分，当一个请求发起的时候，根据命中的策略进行评分，本方案设置三个区间：可疑、中风险、高风险，并根据风险等级进行不同的处置动作，各风险等级的分数如下：

可疑：0-20分
中风险：20-60分
高风险：大于60分

Bot对抗过程中，除了识别准确率之外，误报率是衡量一个模型是否可靠的重要性指标，虽然恶意Bot流量给网站带来很大的影响，但是误报可能给业务带来灾难性的后果，因此Bot检测模型设计的时候，在保证准确率的同时更应尽量避免误报的发生。

使用评分方式来设计模型的好处在于具备一定的容错率，通常情况下一个恶意的Bot请求会有多个异常特征，而正常的请求不可能具备多个异常特征。因此在进行高风险处置的情况下，准确性较高，误报率较低。

图4 检测模型

4、流量分析

数据过滤

通过第三步的检测模型，对线上流量进行统计分析，选取部分模型结果为高风险的IP进行验证，筛选的高风险IP对应的得分如图5所示：

图5高风险IP

数据验证

验证模型输出结果的准确性以及是否误报，借助国内知名威胁情报中心对高风险IP进行查询，结果如图所示，7个IP中2个为恶意，3个可疑，2个未知。

图6 威胁情报查询

为了进一步验证准确性，将2个未知风险IP：111.170.14.*（IDC服务器）、106.15.73.*（阿里云IP） 进一步分析。

通过异常指纹情报库查询发现IP：111.170.14.* 在6月7号-6月9号出现过异常指纹特征，并伪造了Chrome95、69、114，如图7所示。IP 106.15.73.* 则更为活跃，并伪造了多种类型的浏览器进行异常访问，如图8所示。

图7 异常指纹情报

图8 异常指纹情报

通过上述模型过滤，可以得出风险较高的请求，通过结合其他处置动作，例如验证码等操作，可以有效过滤恶意流量，从而保障业务的安全和稳定。

5、结语

在当今数字化时代，恶意Bot流量已成为威胁网络安全和数据隐私的主要挑战之一。通过对IP地址、请求头和TLS指纹的综合分析，我们能够更有效地识别和防范恶意Bot的活动。这些技术手段不仅有助于提升网站和应用的安全性，还能优化用户体验，防止合法用户受到不必要的影响。

在本文中，我们探讨了如何利用这些关键数据点来检测和分析恶意Bot流量。通过详细的案例研究和实验，我们展示了多层次防御机制的重要性，以及不同方法的协同作用。虽然恶意Bot的技术手段不断进化，但通过持续的研究和技术创新，我们有能力保持在这场网络安全攻防战中的主动地位。

未来的研究方向可能包括更多的机器学习算法应用、更精细的指纹识别技术，以及跨平台的协同防御机制。我们相信，随着技术的不断进步和安全社区的共同努力，互联网将变得更加安全和可靠。

总的来说，恶意Bot流量的分析和防护是一项复杂但至关重要的任务。通过不断更新和优化我们的检测和防御策略，我们能够更好地保护网络环境，确保互联网的健康发展。