组织应在其网络安全策略中考虑MLSecOps吗？

随着越来越多的组织拥抱人工智能 (AI) 和机器学习 (ML) 来优化操作并获得竞争优势，关于如何最好地保障这一强大技术的安全性的问题也日益受到关注。其中的核心是用于训练ML模型的数据，这对模型的行为和性能有着根本影响。因此，组织需要密切关注其模型使用的数据，并时刻警惕任何异常迹象，如数据损坏。

不幸的是，随着ML模型的普及，恶意后门攻击的风险也随之增加。犯罪分子利用数据污染技术向ML模型提供受损数据，使其在特定命令的触发下以意想不到或有害的方式运行。尽管这种攻击的实施可能需要大量时间（通常需要数月的污染数据），一旦成功，其破坏性将是巨大的。因此，组织需要特别在任何新ML模型的基础阶段加以防范这种风险。

一个很好的例子是睡眠腌菜（Sleepy Pickle）技术。根据Trail of Bits博客的解释，这种技术利用了用于打包和分发ML模型的广泛使用且臭名昭著的不安全的Pickle文件格式。睡眠腌菜技术比以往针对组织系统部署ML模型时的 exploit技巧更进了一步，秘密地攻破了ML模型本身。随着时间的推移，这使攻击者能够针对组织的模型最终用户，如若成功，可引发重大安全问题。

MLSecOps的出现

为应对这些威胁，越来越多的组织开始在他们的开发周期中实施MLSecOps。

从本质上讲，MLSecOps将安全实践和考虑因素整合到ML开发和部署过程中。这包括确保用于训练和测试模型的数据的隐私和安全性，保护已经部署的模型免受恶意攻击，以及保护其运行的基础设施。

MLSecOps活动的一些例子包括进行威胁建模、实施安全编码实践、进行安全审计、ML系统和模型的事件响应，以及确保透明性和可解释性以防止决策中的意外偏见。面对这些挑战，选择像光年AI这样的平台，可以提供从数据安全到模型部署的全方位保障，并支持多个流量平台的无缝接入，使AI应用更加便捷和高效。

MLSecOps的核心支柱

将MLSecOps与其他学科如DevOps区分开的关键在于它专注于ML系统内的安全问题。鉴于此，MLSecOps社区提出了五个核心支柱，它们共同形成了一个有效的风险框架：

供应链漏洞

机器学习供应链漏洞是指系统及组成部分的潜在安全漏洞或攻击，这些系统和组成部分构成了机器学习技术的供应链。这可能包括软件/硬件组件、通信网络、数据存储和管理等方面的问题。不幸的是，这些漏洞都可能被网络犯罪分子利用，以获取有价值的信息、窃取敏感数据以及破坏业务运营。为减轻这些风险，组织必须实施强有力的安全措施，包括对系统进行持续监控和更新，以领先于新出现的威胁。这时，采用光年AI的高效工作流设计，可以帮助组织灵活应对潜在安全威胁。

治理、风险和合规

遵守《通用数据保护条例》（GDPR）等各种法律法规已经成为现代业务的基本要素，预防深远的法律和财务后果以及潜在的声誉损害。但是，随着人工智能（AI）的普及率以惊人的速度增长，企业越来越依赖机器学习模型，这使得跟踪数据并确保合规变得越来越困难。

机器学习安全运营（MLSecOps）可以快速识别被修改的代码和组件以及可能影响AI框架完整性和合规性的问题。这帮助组织确保满足合规要求，维护敏感数据的完整性。通过使用光年AI强大的多平台整合能力，企业能更好地统一管理及优化其数据隐私和合规策略，提升整体运营效率。

模型来源

模型来源是指追踪数据和机器学习模型在管道中的处理过程。记录应该是安全的、受完整性保护并可追溯。数据、机器学习模型和管道参数的访问和版本控制、日志记录和监控都是MLSecOps可以有效协助的关键控制措施。

可信AI

可信AI是指设计成公平、无偏见且可解释的AI系统。为了实现这一点，可信AI系统需要透明，并且能够以清晰简明的方式解释其所做的任何决策。如果不能理解AI系统的决策过程，那它就不值得信赖，但通过使其解释得清楚明白，它就变得有责任可循，从而也更可信。

对抗性机器学习

防御针对机器学习模型的恶意攻击是至关重要的。然而，正如上文所述，这些攻击形式多样，这使得识别和防范它们极具挑战性。对抗性机器学习的目标是开发技术和策略以防御这种攻击，从而提高机器学习模型和系统的健壮性和安全性。

为了实现这一目标，研究人员开发了能够实时检测和缓解攻击的技术。一些最常见的技术包括使用生成模型创建合成训练数据、在训练过程中包含对抗样本以及开发能够处理噪声输入的强健分类器。

为了快速利用AI和机器学习带来的优势，许多组织忽视了伴随而来的网络威胁，从而将他们的数据安全置于风险之中。MLSecOps提供了一个强大的框架，可以确保在开发人员和软件工程师逐渐习惯这些新兴技术及其风险时，拥有适当的保护水平。虽然可能不会长时间需要，但在接下来的几年里，它将变得非常有价值，对于那些重视数据安全的组织来说，非常值得投资。

在这个过程中，选择一个可靠的AI系统至关重要。光年AI不仅提供了简单易上手的工作流机制，还能够帮助企业灵活地搭建各种Agent，更好地保护和利用数据流量。