当前位置： 首页 > news >正文

OpenAI 组建安全 AGI 新团队！应对AI“潘多拉魔盒”

news 2025/9/13 8:33:03

图片

 夕小瑶科技说 原创
 作者 | 小戏

一旦谈及未来 AI，除了天马行空的科幻畅想，不可避免的也有未来 AI 时代的末日预言。从 AI 武器化到 AI 欺骗，从邪恶 AI 到 AI 掌权，人工智能，尤其是通用人工智能的风险始终都清清楚楚的写在人们的担忧之中。

图片

而伴随着以 GPT-4 为代表的大模型的出现，人类如何掌控这些拥有无法解释以致使用“涌现”而命名的神奇能力的大模型成为了一个巨大的灰犀牛问题，AI 的安全风险不会瞬间爆发，但是却不紧不慢的向我们奔袭而来。

而在昨天，OpenAI 在其安全与对齐社区中发布文章，宣布组建名为“Preparedness”的新团队，这个以“准备”甚至带着“战备”意味的词似乎表明 OpenAI 已经在试图为未来的 AI 风险付出认真的行动。

图片

根据博客，OpenAI 表示自己已经开始积极的开展工作以应对 AI 相关的全方位的安全风险，这些风险不仅仅包含现在以 GPT 为基础架构的大模型潜在的风险，也包含未来可能的“超级人工智能”所蕴含的风险。具体而言，Preparedness 团队将评估与解决：

  1. 在现在以及未来，前沿的 AI 系统被滥用，它们会有多危险？

  2. 如何构建一个强大的框架来监控、评估、预测与防御前沿 AI 系统可能的风险？

  3. 如果前沿的 AI 系统被盗用，恶意行为者可能会如何使用它们？

在这些大目标的基础上，这个由 MIT 教授 Aleksander Madry 领导的新团队将主要防范包括网络安全风险、化学风险、生物风险、辐射风险、核风险以及政治风险在内的多种灾难性风险。

此外，Preparedness 团队还将开发与维护一个风险指引发展策略（Risk-Informed Development Policy ，RDP），RDP 将详细阐释 OpenAI 将如何对自己开发的大模型进行风险监控，如何对大模型风险管理搭建治理体系与治理结构，以及如何对已发生风险进行补救。

图片

▲image.png

与此同时，OpenAI 也发布了一个 AI 安全风险防范挑战赛用以预防 AI 被灾难性的滥用，挑战赛的 TOP 10 将获得总计 25000 美元的 API 积分。

挑战赛地址：
https://openai.com/form/preparedness-challenge

最后，组建新团队当然还有一步就是广发英雄帖：

图片

▲image.png

目前在招的岗位有安全风险研究员以及研究工程师，怀揣拯救世界梦想的少年有没有去挑战 AI 这条恶龙的兴趣呢？

相关文章：

OpenAI 组建安全 AGI 新团队！应对AI“潘多拉魔盒”

夕小瑶科技说 原创 作者 | 小戏 一旦谈及未来 AI，除了天马行空的科幻畅想，不可避免的也有未来 AI 时代的末日预言。从 AI 武器化到 AI 欺骗，从邪恶 AI 到 AI 掌权，人工智能，尤其是通用人工智能的风险始终都清清楚楚的…...

编程日记 2023/10/31 4:10:57

上网行为管理软件有哪些丨功能图文超详细介绍

很多人都在后台问，上网行为管理软件到底是什么，有什么作用，今天就重点给大家讲解一下： 是什么 上网行为管理软件可以帮助企业规范员工的上网行为，提高办公效率，减少潜在威胁。 有哪些 在市面上&#xff…...

编程日记 2023/10/31 4:08:52

DVWA-SQL Injection SQL注入

概念 SQL注入，是指将特殊构造的恶意SQL语句插入Web表单的输入或页面请求的查询字符串中，从而欺骗后端Web服务器以执行该恶意SQL语句。 成功的 SQL 注入漏洞可以从数据库中读取敏感数据、修改数据库数据（插入/更新/删除）、对数据…...

编程日记 2023/10/31 4:07:51

【0基础学Java第四课】-- 逻辑控制

4. 逻辑控制 4.1 顺序结构4.2 分支结构4.2.1 if语句判断一个数字是奇数还是偶数判断一个数字是正数，负数，还是零判断一个年份是否为闰年 4.2.2 switch 语句 4.3 while循环打印 1 - 10 的数字计算 1 - 100 的和计算 5 的阶乘计算1！2&#xff0…...

编程日记 2023/10/31 4:05:50

C++中的std::cout与std::cerr、std::clog

本文用于记录C中std::cout与std::cerr、std::clog的异同 std::cerr 是C标准库中的标准错误输出流，用于向标准错误设备输出信息，通常用于报告程序的错误和异常情况。与之相对的，std::cout 是标准输出流，用于向标准输出设备输出一般…...

编程日记 2023/10/31 4:03:48

No authorization token was found

今天遇到了一个问题，我把前后端逻辑都理了一遍，开始怀疑后端，后端肯定没错了，把前端理了一遍，ok前后端没错，我错。登录哪里需要的token？？？？把我搞懵逼了。 测…...

编程日记 2023/10/31 3:59:43

Kubernetes概述及其组件/核心组件

目录 1、K8S 是什么？ 2、为什么要用 K8S? 3、k8s的特性 4、Kubernetes 集群架构与组件 5、核心组件 Master 组件 ●Kube-apiserver ●Kube-controller-manager ●Kube-scheduler 配置存储中心 ●etcd Node 组件 ●Kubelet ●Kube-Proxy ●docker 或…...

编程日记 2023/10/31 3:58:41

毫米波雷达实时采集教

https://www.cnblogs.com/dhyc/p/10510876.html 毫米波雷达实时采集教程---- 以及好网站总结：资料分享——RSP1 多普勒雷达开发套件...

编程日记 2023/10/31 3:57:40

Java进阶（HashMap）——面试时HashMap常见问题解读 结合源码分析

前言 List、Set、HashMap作为Java中常用的集合，需要深入认识其原理和特性。 本篇博客介绍常见的关于Java中HashMap集合的面试问题，结合源码分析题目背后的知识点。 关于List的博客文章如下： Java进阶（List）——面试…...

编程日记 2023/10/31 3:56:39

Kotlin 使用@BindingAdapter编译出错

在 Kotlin 中使用 BindingAdapter 注解时，需要确保你的项目正确配置了 Data Binding。 首先，请确保在项目的 build.gradle 文件中启用了 Data Binding： android {// ...dataBinding {enabled true} }接下来，请确保你在正确的地…...

编程日记 2023/10/31 3:55:36

Qt之信号和槽，connect参数分析

connect()方法 Qt进行信号和槽连接，有以下几种方法： static QMetaObject::Connection connect(const QObject *sender, const char *signal, const QObject *receiver, const char *member, Qt::ConnectionType Qt::AutoConnection); static QMetaObj…...

编程日记 2023/10/31 3:54:34

Python学习笔记—元组

1、元组定义 元组使用（）来定义，元素在（）括号内，用逗号隔开 空元组定义，元组名（） 注：当元组只有1个元素的时候，需要在元素后面加逗号，…...

编程日记 2023/10/31 3:53:32

【C++项目】高并发内存池第五讲内存回收释放过程介绍

内存回收 1.ThreadCache2.CentralCache3.PageCache 项目源代码&#xff1a;高并发内存池 1.ThreadCache void ThreadCache::Deallocate(void* ptr, size_t size) {assert(ptr);assert(size < MAX_BYTES);//计算在哪号桶中&#xff0c;然后插入进去size_t index SizeClass…...

编程日记 2023/10/31 3:51:30

[毕设记录]@学术工具体验：Sread.ai

我是在查RAG相关的时候&#xff0c;在知乎上面看到了这篇回答&#xff1a;浅谈生成式 AI 技术&#xff1a;检索增强生成 RAG - MarvinZ的文章 - 知乎 https://zhuanlan.zhihu.com/p/659248219 然后在末尾看到了这个 sread.ai 在作者主页看到了他关于这个产品的介绍&#xff1a…...

编程日记 2023/10/31 3:50:28

uboot - 驱动开发 - 驱动模型

说明 类似于linux&#xff0c;为了规范、统一驱动适配和驱动接口调用&#xff0c;uboot定义了一套驱动模型(Driver Model)&#xff0c;简称DM。本文基于&#xff1a;u-boot-2021.10。 优点 为同一类ip的驱动定义了统一的操作接口&#xff0c;DM在软件层面做了一定的抽象。分…...

编程日记 2023/10/31 3:48:25

windows 操作系统命令积累

1. 按 "prt sc" 键 截屏 2. 按 "fn" 键让浏览器进入全屏模式&#xff0c;再次按 "fn" 键让浏览器退出全屏模式( ps&#xff1a;惠普笔记本上是 "fn" "f11" ) 3. ipconfig 查看ip信息 4. 查看指定端口被什么进程占用...

编程日记 2023/10/31 3:47:25

数据结构单链表的实现（C语言）

目录 1.实现的接口和功能2.代码块 1.实现的接口和功能 //打印链表 void SLTPrint(SLTNode** phead); //头插 void PushFont(SLTNode** phead, SLTDataType x); //尾插 void PushBack(SLTNode** phead, SLTDataType x); //头删 void PopFont(SLTNode** phead); //尾删 void Pop…...

编程日记 2023/10/31 3:46:23

Postman的高级使用，傻瓜式学习【下】

目录 前言 1、全局变量、环境变量 1.1、概念&#xff1a; 1.2、如何设置全局变量、环境变量 1.3、获取全局变量、环境变量 1.4、案例1&#xff1a;手动设置变量&#xff0c;请求参数获取 1.5、案例2&#xff1a;代码设置变量&#xff0c;代码获取变量 2、Postman读取外部…...

编程日记 2023/10/31 3:45:21

Qt：关闭对话框，动画实现窗体逐渐缩小到消失

关键技术&#xff1a; 1、使用QPropertyAnimation对象&#xff0c;实现动画效果&#xff0c;逐渐缩小窗体尺寸&#xff0c;以及透明度&#xff1b; 2、在对话框缩小时&#xff0c;要将界面中的控件都隐藏起来&#xff0c;并且将对话框布局的Margin修改成0 代码如下&#xff…...

编程日记 2023/10/31 3:43:19

在Windows上 ciphey安装（详细版）

文章目录 前言 一、不想卸载原有的python版本&#xff1f; 二、安装步骤 1.安装python 2.创建虚拟环境vnev 3.在ciphey的虚拟环境中进行激活 4.安装ciphey 三、参数列表 总结 前言 提示&#xff1a;安装了好几次&#xff0c;但是都没安装成功&#xff0c;我使用了三个电脑p…...

编程日记 2023/10/31 3:42:18

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站&#xff0c;会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后&#xff0c;网站没有变化的情况。 不熟悉siteground主机的新手&#xff0c;遇到这个问题&#xff0c;就很抓狂&#xff0c;明明是哪都没操作错误&#x…...

编程新知 2025/9/12 17:49:14

K8S认证|CKS题库+答案| 11. AppArmor

目录 11. AppArmor 免费获取并激活 CKA_v1.31_模拟系统 题目 开始操作&#xff1a; 1&#xff09;、切换集群 2&#xff09;、切换节点 3&#xff09;、切换到 apparmor 的目录 4&#xff09;、执行 apparmor 策略模块 5&#xff09;、修改 pod 文件 6&#xff09;、…...

编程新知 2025/9/9 10:13:15

【力扣数据库知识手册笔记】索引

索引 索引的优缺点 优点1. 通过创建唯一性索引&#xff0c;可以保证数据库表中每一行数据的唯一性。2. 可以加快数据的检索速度&#xff08;创建索引的主要原因&#xff09;。3. 可以加速表和表之间的连接&#xff0c;实现数据的参考完整性。4. 可以在查询过程中&#xff0c;…...

编程新知 2025/9/9 10:11:34

ssc377d修改flash分区大小

1、flash的分区默认分配16M、 / # df -h Filesystem Size Used Available Use% Mounted on /dev/root 1.9M 1.9M 0 100% / /dev/mtdblock4 3.0M...

编程新知 2025/8/4 2:45:15

css的定位（position）详解：相对定位 绝对定位 固定定位

在 CSS 中&#xff0c;元素的定位通过 position 属性控制&#xff0c;共有 5 种定位模式&#xff1a;static&#xff08;静态定位&#xff09;、relative&#xff08;相对定位&#xff09;、absolute&#xff08;绝对定位&#xff09;、fixed&#xff08;固定定位&#xff09;和…...

编程新知 2025/8/9 2:28:15

Rust 异步编程

Rust 异步编程 引言 Rust 是一种系统编程语言，以其高性能、安全性以及零成本抽象而著称。在多核处理器成为主流的今天，异步编程成为了一种提高应用性能、优化资源利用的有效手段。本文将深入探讨 Rust 异步编程的核心概念、常用库以及最佳实践。 异步编程基础 什么是异步…...

编程新知 2025/8/8 11:04:42

蓝桥杯3498 01串的熵

问题描述 对于一个长度为 23333333的 01 串, 如果其信息熵为 11625907.5798&#xff0c; 且 0 出现次数比 1 少, 那么这个 01 串中 0 出现了多少次? #include<iostream> #include<cmath> using namespace std;int n 23333333;int main() {//枚举 0 出现的次数//因…...

编程新知 2025/9/7 8:51:12

如何在网页里填写 PDF 表格？

有时候&#xff0c;你可能希望用户能在你的网站上填写 PDF 表单。然而&#xff0c;这件事并不简单&#xff0c;因为 PDF 并不是一种原生的网页格式。虽然浏览器可以显示 PDF 文件&#xff0c;但原生并不支持编辑或填写它们。更糟的是&#xff0c;如果你想收集表单数据&#xff…...

编程新知 2025/9/11 11:06:07

Pinocchio 库详解及其在足式机器人上的应用

Pinocchio 库详解及其在足式机器人上的应用 Pinocchio (Pinocchio is not only a nose) 是一个开源的 C 库&#xff0c;专门用于快速计算机器人模型的正向运动学、逆向运动学、雅可比矩阵、动力学和动力学导数。它主要关注效率和准确性&#xff0c;并提供了一个通用的框架&…...

编程新知 2025/8/27 0:04:53

免费PDF转图片工具

免费PDF转图片工具 一款简单易用的PDF转图片工具&#xff0c;可以将PDF文件快速转换为高质量PNG图片。无需安装复杂的软件&#xff0c;也不需要在线上传文件&#xff0c;保护您的隐私。 工具截图 主要特点 &#x1f680; 快速转换&#xff1a;本地转换&#xff0c;无需等待上…...

编程新知 2025/9/5 6:01:52