小研究 - 基于解析树的 Java Web 灰盒模糊测试（一）

由于 Java Web 应用业务场景复杂, 且对输入数据的结构有效性要求较高, 现有的测试方法和工具在测试Java Web 时存在测试用例的有效率较低的问题. 为了解决上述问题, 本文提出了基于解析树的 Java Web 应用灰盒模糊测试方法. 首先为 Java Web 应用程序的输入数据包进行语法建模创建解析树, 区分分隔符和数据块, 并为解析树中每一个叶子结点挂接一个种子池, 隔离测试用例的单个数据块, 通过数据包拼接生成符合 Java Web 应用业务格式的输入, 从而提高测试用例的有效率; 为了保留高质量的数据块, 在测试期间根据测试程序的执行反馈信息, 为每个数据块种子单独赋予权值; 为了突破深度路径, 会在相应种子池中基于条件概率学习提取数据块种子特征. 本文实现了基于解析树的 Java Web 应用灰盒模糊测试系统 PTreeFuzz, 测试结果表明, 该系统相较于现有工具取得了更好的测试准确率.

目录

1 相关工作

2 系统设计

---

1 相关工作

模糊测试是一种有效的动态漏洞挖掘方法, 按种子的生成策略可分为基于变异的模糊测试和基于生成的模糊测试. 本文按应用场景将目前模糊测试工作分类为针对 Java Web 应用的模糊测试以及非 Java Web场景下的模糊测试, 分别进行介绍.

目前针对 Java Web 应用进行模糊测试的优化工作主要是分析 Web 应用系统或者漏洞特征, 通过灰盒反馈信息优化测试用例生成. Dos Santos 等人设计了浏览器插件 Selenium, 驱动浏览器实现 Java Web 的模糊测试, 需要录制用户操作并回放生成测试用例, 因此随机性不足, 难以有效发现系统异常和漏洞. 张羿辰使用白盒模糊测试技术对 Web 应用进行调用关系的代码属性图分析指导模糊测试, 但其对 Web 场景下种子的变异策略设计不足, 导致产生大量的无效测试用例. 何杰等人结合 Web 前端请求和后端程序分析优化种子生成, 用来对命令注入漏洞进行挖掘. 倪萍等人通过爬取分析网页链接, 找到潜在的注入点, 使用模糊测试生成 Payload, 从而进行反射型 XSS 漏洞检测.Van-Thuan Pham设计了灰盒模糊测试工具 AFLNET,将客户端与服务端的通信流量作为初始种子, 并通过代码覆盖率优化种子. WebFuzz与 Wfuzz 是对 Web协议的模糊测试工具, 它们都要求使用者具有完备的网络知识, 熟悉 HTTP 协议分析网络报文, 因此不能满足自动化模糊测试 Java Web 应用程序的需求. 基于生成的模糊测试工具 Peach是一款通过建模生成满足特定数据结构的 Web 模糊测试工具, 但其没有考虑到代码覆盖率等反馈信息, 执行路径以及代码覆盖率受到限制, 因此难以发现有价值的漏洞.

综上, Java Web 模糊测试工具大多专注于分析系统或者漏洞特征优化模糊测试整体效果, 但缺乏在
Java Web 应用场景下提升种子语义和语法有效性的相关研究, 针对网络协议的模糊测试难以自动化地对Java Web 应用进行测试. 普通基于变异的模糊测试针对 Java Web 常见的 XML, JSON  等这一类结构性较强的传输数据格式, 难以产生符合规定的输入, 难以保证输入测试用例的有效率. 一些基于生成的模糊测试工具如 Peach 等由于缺乏代码覆盖率等反馈信息来指导模糊测试, 其测试效率也非常低下.

2 系统设计

系统核心分为两部分, Fuzzer 和位图监控模块. 客户端主要部署的是系统的模糊测试器 Fuzzer, 负责通过监控模块的反馈指导测试数据的变异, 它的功能包括: 生成解析树发送测试数据包, 计算权重, 对种子进行变异以及将种子组装成报文. 服务端部署被测试对象和系统的位图监控模块, 位图监控模块包括位图监控以及记录条件语句的链表, 指导 Fuzzer 中解析树单个叶子节点种子池的筛选, Fuzzer 根据位图监控模块反馈信息修正种子结构体. 少数种子可以执行到深度分支路径, 在模糊测试面临路径“阻塞”问题时, 需要重点关注深度分支路径, 通过分析条件语句链表, 依据条件概率提取执行深度分支种子的特征, 优化模糊测试整体效率.