【论文速读】| 人工智能驱动的网络威胁情报自动化

基本信息

原文标题：AI-Driven Cyber Threat Intelligence Automation

原文作者：Shrit Shah, Fatemeh Khoda Parast

作者单位：加拿大圭尔夫大学计算机科学学院

关键词：网络威胁情报，AI自动化，攻击技术和策略，持久性威胁

原文链接：https://arxiv.org/pdf/2410.20287

开源代码：暂无

论文要点

论文简介：本文提出了一种利用微软AI驱动的安全技术实现工业环境中网络威胁情报（CTI）自动化的新方法。传统CTI主要依赖手动方式来收集、分析和解释威胁情报，这不仅耗时且易出错，特别是在快速应对安全威胁的情况下效率低下。通过使用GPT-4o等大语言模型和一键微调技术，本研究构建了一种新的CTI自动化解决方案，可以在保持情报精度的同时减少人工操作。本方法不仅提升了CTI报告生成的速度和准确性，还减少了对专家的依赖，从而在当今动态的威胁环境中占据了重要优势。

研究目的：网络威胁情报（CTI）旨在收集、分析并传播有关当前和潜在网络威胁的信息，以识别威胁指标（IoC）和理解攻击者的战术、技术和程序（TTP）。尽管CTI对网络安全至关重要，但目前的情报生成方法仍主要依赖于手动分析和数据合成，这在面对庞大的数据量时极易出现瓶颈。本研究的目的在于探索现有手动CTI生成过程的局限性，提出一种基于AI的自动化方法，以提高报告的质量、速度和准确性。通过识别CTI过程中可自动化的部分，本研究旨在开发更先进的自动CTI系统，从而提升威胁应对效率。

引言

网络威胁情报（CTI）一直以来是网络安全防御的核心，依赖手动的数据收集与分析以识别潜在的威胁。然而，传统手动方法不仅费时费力，而且在快速应对复杂威胁方面存在效率低下的问题。例如，CTI分析员需要从大量的安全日志、威胁信息源等收集数据并手动提取攻击指标（IoC），这一过程往往耗费数天甚至数周的时间。此外，手动处理还增加了错过关键信息或引入错误的风险。不同分析员对威胁数据的解读可能存在差异，导致报告不一致，进而影响对威胁的快速反应。

为了解决这一问题，近年来一些学者提出了将AI和自动化技术应用于CTI的设想。尽管部分组织仍对完全依赖AI的CTI方法持怀疑态度，认为AI可能会带来误报或无法正确解读复杂威胁信息，但AI的应用确实为CTI报告生成提供了潜在的优势。本研究旨在探索这些AI驱动的自动化方案如何填补手动CTI生成的空白，并提出了一种结合微软安全工具的自动化框架，既能降低对人工的依赖，又能提升报告生成的速度与准确性。

当前趋势

近年来，AI在CTI自动化中的应用引起了学术界和工业界的广泛关注。多个研究团队提出了利用自然语言处理（NLP）、信息检索（IR）和机器学习（ML）方法自动提取CTI数据的模型。例如，Husari等人提出的TTPDrill模型通过NLP和IR技术从非结构化CTI报告中提取攻击模式，并将其映射到攻击链中。这种自动化工具显著提升了提取威胁技术的精度。而Zhao等人则提出了TIMiner框架，该框架利用卷积神经网络（CNN）从社交媒体数据中提取CTI信息并分类，用于不同领域的威胁检测。

这些AI驱动的CTI自动化技术主要关注快速、准确地从大量非结构化数据中提取有效的威胁信息，同时构建结构化威胁情报。然而，尽管这些方法在数据提取和处理上表现出色，它们仍然需要具备一定领域知识的专家来实施和调试，难以在没有专家资源的环境中推广应用。

研究方法

本研究设计了一种基于微软生态系统的全自动CTI生成方法，主要采用PowerShell脚本、Azure Logic Apps、Microsoft Copilot for Security（MCS）和Azure AI Studio等技术。整个自动化流程通过PowerShell脚本收集用户数据并启动工作流，Azure Logic Apps分段生成报告，MCS和Azure AI分别负责处理各部分内容。生成的CTI报告包括元数据、攻击概览、MITRE攻击技术摘要、数据提取、工具与恶意软件分析、防御建议和参考文献等七大部分。该框架的设计确保了报告生成的效率和可控性，每个部分内容均经过优化以适应自动化需求。

关键发现

实验评估表明，该自动化框架在生成速度和成本方面相较于手动生成有显著优势。在性能评估方面，研究选取了八种攻击活动并分别用手动和AI方法生成报告，通过BERT模型和余弦相似度等指标对比报告内容，发现AI生成的报告在一致性和精确度上与手动报告基本一致。此外，通过对攻击模式的提取准确性进行测试，结果显示AI模型的平均准确率达到了79%。

研究讨论

AI驱动的CTI自动化方案极大地加速了报告的生成过程，并显著降低了手动操作的需求，然而这一效率提升的同时也带来了成本上的增加，尤其是在计算资源的消耗方面。尽管AI生成的报告在一定程度上达到了手动生成报告的标准，但由于生成内容的不稳定性和轻微的不一致，仍需要人工干预来校正并完善报告内容。通过与工业合作伙伴的访谈发现，AI自动化使得原本需耗费8小时的手动报告编写工作减少至1-2小时，有效地提高了报告生成效率。

论文结论

本研究提出了一个基于AI的网络威胁情报自动化生成架构，成功实现了快速情报共享与提升攻击检测效率的目标。尽管AI在生成报告方面表现出色，复杂的技术报告部分仍然需要人工干预，以确保最终报告的精准度和有效性。未来工作将继续扩大数据集范围，以更全面地验证自动化效果，并探索其他威胁类型下的应用表现。同时，研究团队还计划开发一种集成多种AI方法与专有安全产品的混合模型，进一步提升CTI报告的质量和效率。