当前位置: 首页 > news >正文

科技云报道:大模型的阴面:无法忽视的安全隐忧

科技云报道原创。

在AI大模型的身上,竟也出现了“to be or not to be”问题。

争议是伴随着大模型的能力惊艳四座而来的,争议的核心问题在于安全。安全有两个方面,一个是大模型带来的对人类伦理的思考,一个是大模型本身带来的隐私泄漏、数据安全等问题。

埃隆·马斯克应该可以说是对大模型发起质疑的企业家之一。早在ChatGPT诞生之初,马斯克等一千多名业界、学界人士联署发表公开信,呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统,暂停至少6个月。

时至今日,马斯克依旧对外表达的态度是,人工智能是一把双刃剑,对人工智能方面的监管是强烈共识,可能会出现某种形式的监管机构。

围绕着AI大模型的安全,不少国内专家学者以及企业家们也有了更多的思考和发声。9月初,中国科学院院士何积丰曾发言谈到,目前大模型面临的安全问题涵盖两方面,分别是隐私保护和价值观对齐两大难题。
在这里插入图片描述
另一方面,随着AI大模型在行业中的广泛应用,对合规和数据保护的需求急剧上升。在“云、大、物、移”四大网络安全场景之后,大模型正逐渐成为新的市场增长点。

不少企业开始围绕大模型安全视角推出产品,掀起了一阵AI安全、数据安全等新兴安全领域的火热之风。

大模型的“阴面” 安全问题不容忽视

发展至今,大模型阴阳两面,泾渭分明。不少人早已经感受到了大模型的“阳面”,应该不少人早已经开始尝试,将其作为提升工作效率的工具。

但大模型的“阴面”,关于安全的讨论不绝于耳。最典型的安全案例,三星机密数据外泄事件仍然记忆犹新。

上文中也曾提到,中国科学院院士何积丰发言指出,大模型当前面临的安全问题主要涵盖两方面,分别是隐私保护和价值观对齐两大难题。

隐私保护问题的是,在未经允许的情况下,大模型是否会收集、使用和泄露个人信息。

价值观对齐问题的是,使得大模型的价值观与人类的价值观相对齐。使得大模型按照设计者的意愿行事,而不作出超出意图之外的举动。

在价值观对齐方面,由于人类社会的价值观是多元化的,且有用的人工智能与无害的人工智能往往存在冲突,这导致了大模型价值观对齐存在很大的难度。

具体来看,大模型的包含多个关键要素,数据、算法模型以及应用层等,每一个要素中,都有不少安全问题需要面对。

在数据层,安全问题主要集中在数据泄露、数据污染等。三星的案例,其实就在于数据层面存在一定的泄漏风险。

数据可以说是构成大模型的骨骼,为其提供了基础支撑。

在机器学习和深度学习的领域中,数据的获取、加工及利用的方式决定了模型的性能和准确性。但是,数据层面的安全隐患却是不可避免的。

其中最常见的问题包括数据的非法泄漏,这可能导致敏感信息暴露;数据被恶意篡改,这可能导致训练出的模型有误导性;还有非法获取或使用未经授权的数据,这不仅违法,还可能使得模型偏离了其原本的目的。

这些隐患都可能对模型的训练和应用带来不良影响,使其失去原有的效果甚至产生误导。

与数据安全同等重要的,是算法模型的安全。

在现代社会,大模型的训练往往需要消耗巨大的计算力,因此很多资源都集中在特定的数据中心。

这就为潜在的攻击者提供了机会,他们可能会针对这些数据中心进行攻击,试图更改模型的参数或者整体结构。一旦成功,模型的输出可能会完全不可控,产生不可预知的结果。

另外,还有一种更加隐蔽的攻击方式——对抗性攻击。这种攻击的目的是使模型在某些特定的输入下产生错误的输出,这在一些关键领域如医疗诊断、金融决策等方面,可能会带来严重后果。

到应用层,安全隐患也十分严重。比如说生成内容的有害性和准确性、滥用模型生成虚假信息等。

如何防止已部署的模型被恶意篡改?如何确保在模型进行数据推断的过程中,用户的私人数据不会被非法获取或泄露?这些都是在模型部署时必须要考虑的问题。

此前,就有人尝试向大模型发问,“野生娃娃鱼的做法”,大模型给出的回答是“红烧”,并且写出了具体的步骤。这就很容易“误导”提问者。实际上,野生娃娃鱼属于国家二级保护动物,不能捕捉、捕杀甚至食用。

为了应对这些隐患,可能需要一系列的安全措施,包括但不限于数据加密、模型的版本控制和运行环境的隔离等。

AI大模型安全问题 的解决之道

大模型问题出现后,外界对于监管的呼声是最为热烈的。

在新技术飞速发展的当下,政府与各类监管机构成为确保AI大模型安全运行的重要力量。他们可以通过制定和实施严格的数据隐私法规,为大模型的安全使用提供法律保障。

今年4月,国家互联网信息办公室发布了关于《生成式人工智能服务管理办法(征求意见稿)》,旨在促进生成式人工智能健康发展和规范应用。其中的第七条涉及到生成式人工智能服务提供者数据来源的合法性问题。

这也意味着国家已经开始出手应对大模型火热带来的一些列的安全问题。

7月,网信中国官微消息称,国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局公布了《生成式人工智能服务管理暂行办法》。

这其中就明确生成式人工智能服务提供者应当依法开展预训练、优化训练等训练数据处理活动,使用具有合法来源的数据和基础模型;涉及知识产权的,不得侵害他人依法享有的知识产权;涉及个人信息的,应当取得个人同意或者符合法律、行政法规规定的其他情形;采取有效措施提高训练数据质量,增强训练数据的真实性、准确性、客观性、多样性。

此外,明确了数据标注的相关要求。

监管之下,国内的大模型也迎来了合理合法合规的发展期。最新的消息是,目前国内已经有11家大模型陆续通过《生成式人工智能服务管理暂行办法》备案,并逐步面向大众开放。

监管之下,技术本身也可以在大模型安全上有所行动。AI守护AI,技术反哺技术。

“利器攻利器”。AI技术本身不仅是可能的威胁,更是解决问题的关键。

对抗性训练就是其中的佳例,它可以让模型在面对恶意输入时仍然保持其稳定性,从而增强模型对各类对抗攻击的防御力。除此之外,我们还可以考虑利用AI技术对模型的输出进行实时监控,及时发现并纠正模型的异常行为。

另外,目前也有不少安全企业提出通过可信计算、差分隐私、联邦学习等技术手段确保数据隐私安全。

此前,清华大学人工智能研究院副院长,北京智源人工智能研究院和瑞莱智慧首席科学家朱军在接受腾讯科技采访时就曾提到过,为了解决大模型的安全问题,从技术方向来看,我们可以以“AI识别AI”的形式来应对。

朱军表示,与进攻相比,防守其实更为困难。现在,我们正积极寻求多种手段以增强模型的抵御能力,并在模型的应用和布署阶段实施多重保护策略。

比如在人脸鉴定系统中,我们设置人脸识别安全屏障,能在样本进入决策阶段前筛选并剔除携带潜在威胁或经过对抗性修改的样本,确保系统安全稳定。这一技术手段已经在银行等行业中落地使用。

为了防范未然,开发者和企业在产品层面也必须下足功夫。严格的安全标准不仅仅是一纸文件,更应该深入到每一个开发与部署的细节中。

对于开发者和企业而言,对数据的处理要严格遵循隐私保护原则,确保每一位用户的私人信息都得到妥善保管。另外,模型的开发与部署过程也需要经过严格的审查,确保其不会对用户和社会造成伤害。

大模型安全问题掀起行业新风向

目前,不少企业也关注到了大模型安全的问题,甚至推出了不少相关的产品和解决方案。这也掀起了一阵“安全潮”,风口也逐渐吹向了数据要素、网络安全和隐私计算等相关产业上。

最近一段时间,可以明显地看到网络安全行业正在迎头赶上这一挑战,大模型和数据安全新品不断亮相,旨在满足市场对于新兴技术的安全需求。

今年的网络安全博览会成为了各大厂商展示大模型安全解决方案的初舞台。比如,奇安信推出了名为Q-GPT的安全机器人,还发布了针对大模型数据泄露隐患的“大模型卫士”; 绿盟科技在发布其安全大模型的同时,也推出了基于隐私计算的“数据保险箱”。

除此之外,安恒信息、深信服、三六零集团、蚂蚁等公司也纷纷推出各自的大模型产品,为企业提供了多样的选择。这些新品的出现无疑证明了行业对于大模型安全的重视。

据中国网络安全产业联盟的数据,2022年我国网络安全产业规模达到了近633亿元,预计在未来三年内,增速将保持在10%以上。随着数据要素市场的逐步建立,大模型等前沿技术发挥出的应用价值越来越大,新的安全需求也随之涌现。

隐私计算赛道同样如此。

在2023年世界人工智能大会上,就有不少专家学者提到大模型时代隐私计算迎来全新机遇。现阶段,隐私计算中包括可信执行环境TEE、多方安全计算MPC等都有与大模型结合的探索,比如在云端部署TEE,用户在推理时将输入数据加密传输至云端,在其内部解密然后进行推理。

复旦大学教授、上海市数据科学重点实验室主任肖仰华表示,传统的隐私计算如差分隐私、联邦学习多是算法层开展工作。

不过算法工作前提是保护对象是明确的,协作机制清晰。大模型时代是海量参数化的模型,不透明、无边界、不可解释,对于以前的基于可解释、清晰、可控的技术路线的隐私计算方法提供了全新挑战。

华经产业研究院的报告显示,随着中国互联网技术的发展,中国隐私计算市场规模逐年增长,预计2025年中国隐私计算市场规模达192.2亿元。

大模型已经成为继“云、大、物、移”之后的新战场,被视为新的市场增量。

无论是为自己的客户提供基于大模型的服务,提高交付效率和竞争力,还是通过大模型应用提高企业自身生产效率,大模型正迅速进入企业IT中,与此对应的大模型安全也成为攻防焦点。

随着各大公司在大模型安全方面的持续投入和创新,预期这一市场将带动整个网络安全行业迈向新的高度。

结语

AI大模型的发展不仅带来了巨大的潜力,也伴随着重大的安全挑战。为了充分发挥AI的潜力并确保安全,政府、企业和网络安全公司需要共同努力,采取综合性的措施来解决这些问题。只有这样,我们才能在AI时代中迈出坚实的步伐。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

相关文章:

科技云报道:大模型的阴面:无法忽视的安全隐忧

科技云报道原创。 在AI大模型的身上,竟也出现了“to be or not to be”问题。 争议是伴随着大模型的能力惊艳四座而来的,争议的核心问题在于安全。安全有两个方面,一个是大模型带来的对人类伦理的思考,一个是大模型本身带来的隐…...

2023年前端流行什么技术和框架了?

Web前端三大主流框架有React、Vue.js和Angular,由于接触过Vue.js,接下来主讲最新的Vue3.0! Vue3.0作为最新版本的Vue.js框架,拥有更强大的性能和更丰富的功能,为低代码开发平台注入了全新的活力。而JNPF快速开发平台作…...

Nginx 背锅解析漏洞

Nginx 背锅解析漏洞 文章目录 Nginx 背锅解析漏洞1 在线漏洞解读:2 环境搭建3 影响版本:4 漏洞复现4.1 访问页面4.2 上传文件 4.3 上传失败4.4 使用bp进行分析包4.5 对返回图片位置进行访问4.6 执行php代码技巧-图片后缀加./php4.7 分析原因 --》cgi.fix_pathinfo--…...

AI与传统数据库 - ChatGPT风过之后 | 从Duet AI说开来

作者:Ni Demai,是NineData数据库产品专家,曾任阿里云数据库国际产品总负责人,华为高斯 GaussDB 创始团队核心架构师,IBM Db2 资深研发工程师。 Demai 专注 Cloud-Native database 架构设计,分析型 MPP&…...

L1-032 Left-pad C++解法

一、题目再现 根据新浪微博上的消息,有一位开发者不满NPM(Node Package Manager)的做法,收回了自己的开源代码,其中包括一个叫left-pad的模块,就是这个模块把javascript里面的React/Babel干瘫痪了。这是个…...

Python 用列表实现模拟手机通讯录(简易版)

"""列表实现好友管理系统知识点:1、列表存储信息2、列表增删改查3、嵌套循环4、字符串分割和拼接(重点)5、列表索引"""# 暂存好友信息(程序结束数据删除) friend_info list()input_buf…...

macOS使用官方安装包安装python

新手程序员可能想知道如何在 Mac 上正确安装 Python,这里介绍在 macOS 上安装 Python 的方法。 操作步骤 1.从 Python 官方网站 (python.org) 下载最新的 Python 版本. 单击 macOS 链接并选择最新的 Python 版本。 2.下载完成后,双击包开始安装Python…...

如何重装Windows Mirosoft Store

重装Windows Mirosoft Store 如何重装Windows Mirosoft Store呢?如何下载Windows Mirosoft Store呢?Windows Mirosoft Store不见了咋办?Windows 自带软件不见了咋办等等?写在前面 1.文件准备2.安装 如何重装Windows Mirosoft Stor…...

软考高级系统架构设计师系列论文真题七:基于构件的软件开发

软考高级系统架构设计师系列论文真题七:基于构件的软件开发 一、基于构件的软件开发二、找准核心论点三、理论素材准备四、精品范文赏析1.摘要2.正文3.总结软考高级系统架构设计师系列论文之:百篇软考高级架构设计师论文范文软考高级系统架构设计师系列之:论文题目类型、论文…...

git rebase 修改中间的commit

0. 前言 今天在移植最新版本 kfence 功能的时候,一共需要移植大概40多个 patch,中间有很多patch 存在冲突,需要手动修改后才能合并。当所有的patch 都合并完成进行编译的时候,发现其中一个 patch 手动合并出了个错误。 假如共有…...

登录业务实现 - token登录鉴权

登录业务实现: 登录成功/失败实现 -> pinia管理用户数据及数据持久化 -> 不同登录状态的模板适配 -> 请求拦截器携带token(登录鉴权) -> 退出登录实现 -> token失效(401响应拦截) 1. 登录成…...

内存对齐--面试常问问题和笔试常考问题

1.内存对齐的意义 C 内存对齐的主要意义可以简练概括为以下几点: 提高访问效率:内存对齐可以使数据在内存中以更加紧凑的方式存储,从而提高了数据的访问效率。处理器通常能够更快地访问内存中对齐的数据,而不需要额外的字节偏移计…...

贪心算法-会议室问题

1、题目描述 一些项目要占用一个会议室宣讲,会议室不能同时容纳两个项目。现在给你两个长度一样的数组,starts数组代码每个会议开始的时间,ends数组代表每个会议结束的时间。 在给你一个当前时间,请你求出当日可以利用会议室宣讲的…...

单日 5000 亿行 / 900G 数据接入,TDengine 3.0 在中国地震台网中心的大型应用

小T导读:为满足地震预警数据存储、检索和处理的建设与集成需求,以及响应国家国产软件自主可控的号召,中国地震台网中心决定选用国产数据库 TDengine 来存储和处理地震波形数据。本文将针对 TDengine 3.0 在地震领域的应用展开详细讲解。 关于…...

【VIM系列】cscope命令

cscope...

Vue的自定义事件(Custom Events):实现组件间通信的强大工具

Vue的自定义事件(Custom Events):实现组件间通信的强大工具 Vue.js是一款流行的JavaScript框架,用于构建交互式的Web应用程序。在Vue中,组件是构建应用程序的基本单元,它们之间的通信对于构建复杂的应用非…...

简易实现通讯录(1.0)

前言 我们还是像以前一样,分为三个文件来书写,分别是contact.h,contact.c,test.c 分别用来声明函数,实现函数和测试函数功能,现在就让我们开始吧. 1.基本逻辑 首先我们定义通讯录里的数据,我们定义为结构体 typedef struct PeoInfo {char name[NAME_MAX];int age;char sex[SEX_…...

CSS笔记——触发式动画Transition、主动式动画Animation、Transfrom 动画、CSS 3D 动画、阴影和滤镜样式

CSS动画 一、触发式动画Transition transition过渡动画,一般配合伪类使用 属性值: transition-duration: 指定过渡效果的持续时间,以秒或毫秒为单位。 transition-timing-function: 指定过渡效果的时间函数&#xff…...

软件测试之Web安全测试详解

前言 随着互联网时代的蓬勃发展,基于Web环境下的应用系统、应用软件也得到了越来越广泛的使用。 目前,很多企业的业务发展都依赖于互联网,比如,网上银行、网络购物、网络游戏等。但,由于很多恶意攻击者想通过截获他人…...

MYSQL binlog

为了防止 binlog 文件过大导致无可用的磁盘空间,MySQL 提供了一个系统变量用来配置过期时间。 MySQL5.7 :expire_logs_days,精确度为天; MySQL8.0 :binlog_expire_logs_seconds,精确度为秒。 SET GLOBAL bi…...

[特殊字符] 智能合约中的数据是如何在区块链中保持一致的?

🧠 智能合约中的数据是如何在区块链中保持一致的? 为什么所有区块链节点都能得出相同结果?合约调用这么复杂,状态真能保持一致吗?本篇带你从底层视角理解“状态一致性”的真相。 一、智能合约的数据存储在哪里&#xf…...

大话软工笔记—需求分析概述

需求分析,就是要对需求调研收集到的资料信息逐个地进行拆分、研究,从大量的不确定“需求”中确定出哪些需求最终要转换为确定的“功能需求”。 需求分析的作用非常重要,后续设计的依据主要来自于需求分析的成果,包括: 项目的目的…...

反向工程与模型迁移:打造未来商品详情API的可持续创新体系

在电商行业蓬勃发展的当下,商品详情API作为连接电商平台与开发者、商家及用户的关键纽带,其重要性日益凸显。传统商品详情API主要聚焦于商品基本信息(如名称、价格、库存等)的获取与展示,已难以满足市场对个性化、智能…...

逻辑回归:给不确定性划界的分类大师

想象你是一名医生。面对患者的检查报告(肿瘤大小、血液指标),你需要做出一个**决定性判断**:恶性还是良性?这种“非黑即白”的抉择,正是**逻辑回归(Logistic Regression)** 的战场&a…...

Java 8 Stream API 入门到实践详解

一、告别 for 循环&#xff01; 传统痛点&#xff1a; Java 8 之前&#xff0c;集合操作离不开冗长的 for 循环和匿名类。例如&#xff0c;过滤列表中的偶数&#xff1a; List<Integer> list Arrays.asList(1, 2, 3, 4, 5); List<Integer> evens new ArrayList…...

C++ 求圆面积的程序(Program to find area of a circle)

给定半径r&#xff0c;求圆的面积。圆的面积应精确到小数点后5位。 例子&#xff1a; 输入&#xff1a;r 5 输出&#xff1a;78.53982 解释&#xff1a;由于面积 PI * r * r 3.14159265358979323846 * 5 * 5 78.53982&#xff0c;因为我们只保留小数点后 5 位数字。 输…...

CMake 从 GitHub 下载第三方库并使用

有时我们希望直接使用 GitHub 上的开源库,而不想手动下载、编译和安装。 可以利用 CMake 提供的 FetchContent 模块来实现自动下载、构建和链接第三方库。 FetchContent 命令官方文档✅ 示例代码 我们将以 fmt 这个流行的格式化库为例,演示如何: 使用 FetchContent 从 GitH…...

微信小程序云开发平台MySQL的连接方式

注&#xff1a;微信小程序云开发平台指的是腾讯云开发 先给结论&#xff1a;微信小程序云开发平台的MySQL&#xff0c;无法通过获取数据库连接信息的方式进行连接&#xff0c;连接只能通过云开发的SDK连接&#xff0c;具体要参考官方文档&#xff1a; 为什么&#xff1f; 因为…...

pikachu靶场通关笔记22-1 SQL注入05-1-insert注入(报错法)

目录 一、SQL注入 二、insert注入 三、报错型注入 四、updatexml函数 五、源码审计 六、insert渗透实战 1、渗透准备 2、获取数据库名database 3、获取表名table 4、获取列名column 5、获取字段 本系列为通过《pikachu靶场通关笔记》的SQL注入关卡(共10关&#xff0…...

mysql已经安装,但是通过rpm -q 没有找mysql相关的已安装包

文章目录 现象&#xff1a;mysql已经安装&#xff0c;但是通过rpm -q 没有找mysql相关的已安装包遇到 rpm 命令找不到已经安装的 MySQL 包时&#xff0c;可能是因为以下几个原因&#xff1a;1.MySQL 不是通过 RPM 包安装的2.RPM 数据库损坏3.使用了不同的包名或路径4.使用其他包…...