如何评估云原生GenAI应用开发中的安全风险（下）

以上就是如何评估云原生GenAI应用开发中的安全风险系列中的上篇内容，在本篇中我们介绍了在云原生AI应用开发中不同层级的风险，并了解了如何定义AI系统的风险。在本系列下篇中我们会继续探索我们为我们的云原生AI应用评估风险的背景和意义，并且介绍具体的AI应用风险评估的技术手段和解决方案。

为什么企业需要进行风险评估？

建立 AI 系统的风险管理框架不仅可以推动 AI 系统的安全和负责任设计、开发与运营，从而惠及整个社会，同时也能为组织带来以下优势：

• 改进决策 – 通过了解 AI 系统相关风险，组织可以更好地决策如何缓解这些风险，并在安全、负责任的环境下使用 AI 系统。
• 提高合规规划 – 风险评估框架可以帮助组织为相关法律法规中的风险评估要求做好准备。
• 建立信任 – 通过展示组织采取了积极措施来降低 AI 系统的风险，组织可以向客户和利益相关方表明他们致力于安全和负责任地使用 AI。

如何评估风险？

作为第一步，组织应考虑描述需要评估的 AI 用例，并识别所有相关方。用例是指具体的场景或情况，描述用户如何与 AI 系统交互以实现特定目标。在创建用例描述时，列出待解决的业务问题、涉及的利益相关方、工作流程特征以及系统的关键输入和输出等信息可能会有所帮助。

在确定相关方时，容易忽略一些潜在的参与者。以下示意图可以作为映射 AI 相关方角色的起点。

（来源：“信息技术 – 人工智能 – 人工智能概念和术语”）

AI 系统风险评估的下一步是识别与该用例相关的潜在有害事件。在考虑这些事件时，可以借鉴负责任 AI 的不同维度，例如公平性和稳健性等。不同的利益相关方可能会在不同维度上受到不同程度的影响。例如，对于最终用户来说，AI 系统表现出轻微的中断可能被认为是低稳健性风险，而 AI 系统对不同人口群体产生的输出存在轻微差异可能被认为是低公平性风险。

为了估算某个事件的风险，可以结合可能性量表和严重性量表来衡量事件发生的概率及其后果程度。开发这些量表的有用起点可能是 NIST RMF，该框架建议使用定性非数值分类（例如从“非常低”到“非常高”）或半定量评估原则，例如分数（如 1–10）、分组或其他代表性数值。在定义所有相关维度的可能性和严重性量表后，可以使用风险矩阵方案来量化每个维度上各相关方的整体风险。以下示意图展示了一个示例风险矩阵。

使用该风险矩阵，我们可以将低严重性且发生概率极低的事件归类为“极低风险”。请记住，初始评估结果代表固有风险，而风险缓解策略可以进一步降低风险水平。此过程可以重复进行，以生成每个事件剩余风险的评级。如果同一维度上识别出了多个事件，建议选择所有事件中最高的风险水平来创建最终的评估摘要。利用最终评估摘要，组织需要定义其 AI 系统可接受的风险水平，并考虑相关法规和政策。

以上就是如何评估云原生GenAI应用开发中的安全风险系列中的下篇内容，在本篇中我们介绍了在云原生AI应用开发中如何为生成式AI应用评估风险。欢迎大家继续关注小李哥的生成式AI应用安全系列，了解国际前沿的亚马逊云科技解决方案，关注我不要错过未来更多的干货内容！