如何评估云原生GenAI应用开发中的安全风险（下）

以上就是如何评估云原生GenAI应用开发中的安全风险系列中的上篇内容，在本篇中我们介绍了在云原生AI应用开发中不同层级的风险，并了解了如何定义AI系统的风险。在本系列下篇中我们会继续探索我们为我们的云原生AI应用评估风险的背景和意义，并且介绍具体的AI应用风险评估的技术手段和解决方案。

为什么企业需要进行风险评估？

建立完善的AI云端应用系统风险管理框架不仅可以推动AI系统的安全和负责任的AI设计、开发与运营，同时也能为我们的业务和公司组织带来以下优势：

• 改进决策 – 通过了解AI云原生系统相关风险，企业可以更好地决策如何缓解这些风险，并在安全、负责任的环境下使用AI系统。
• 提高合规规划 – 风险评估框架可以帮助组织为行业和监管机构要求的相关法律法规中的风险评估要求做好准备。
• 建立信任 – 通过采取积极措施来降低AI系统的风险，企业可以向他们的客户和管理层表明他们AI云原生应用是安全而且符合负责任AI准则的。

如何评估风险？

第一步我们应确认需要评估的AI云原生应用对象，并识别应用所有的相关组件、业务。该对象一般是指具体的业务场景和云原生AI应用，描述我们的用户如何与AI云原生系统交互以实现特定业务需求。在创建对象描述时，我们应列出待解决的业务问题、涉及的相关组件、业务、人员群体、工作流程特征以及系统的关键输入和输出等信息。在相关方时，容易忽略一些潜在的参与者，通过以下示意图我们可以清晰的找到AI云原生应用中所有的相关角色。

图片来源：“信息技术 – 人工智能 – 人工智能概念和术语”

AI云原生系统风险评估的下一步是识别与该应用相关的潜在威胁。在考虑这些威胁时，可以借鉴负责任AI准则框架中定义的不同维度，例如公平性和稳健性等。不同的应用相关角色可能会在不同维度上受到不同程度的影响。例如对于终端用户来，AI云原生系统表现出轻微的中断可能被认为是低稳健性的风险，而AI云原生系统对不同人群产生的输出存在轻微差异可能被认为是低公平性的风险。

为了估算某个事件的风险，我们可以结合下方的可能性的维度表和严重性的维度表来衡量事件发生的概率及其后果程度。下方维度表的参考了NIIST RMF（是美国国家标准与技术研究院风险管理框架），该框架建议使用低、中、高、极高作为风险的程度，横轴纵轴采用分数1–5表明两个维度的量化程度。在定义了两个维度：可能性和严重性表后，可以使用风险矩阵方案来量化每个维度上各相关方的整体风险。我们通常就是使用下方的风险矩阵表来衡量AI应用系统的风险。

使用该风险矩阵，我们可以将低严重性且发生概率极低的事件归类为“极低风险”。一般初始评估的结果代表AI应用具有的固有风险，而风险缓解策略可以进一步降低这些风险。此过程可以重复、循环迭代进行，以生成其他未被评估的风险评级。如果在同一维度上识别出了AI系统内的多个风险，建议选择所有风险中最高的风险来创建最终的系统评估报告。利用最终评估报告，公司企业需要结合行业、建构机构的相关法规和政策，最终定义其AI云原生系统可以承受的风险水平是什么，便于制作应对预案、评估潜在的威胁带来的损失，保证不会对业务、企业造成负面的影响。

以上就是如何评估云原生GenAI应用开发中的安全风险系列中的下篇内容，在本篇中我们介绍了在云原生AI应用开发中如何为生成式AI应用评估风险。欢迎大家继续关注小李哥的生成式AI应用安全系列，了解国际前沿的亚马逊云科技解决方案，关注我不要错过未来更多的干货内容！