当前位置： 首页 > news >正文

OpenAI 组建安全 AGI 新团队！应对AI“潘多拉魔盒”

news 2026/5/12 16:36:36

图片

 夕小瑶科技说 原创
 作者 | 小戏

一旦谈及未来 AI，除了天马行空的科幻畅想，不可避免的也有未来 AI 时代的末日预言。从 AI 武器化到 AI 欺骗，从邪恶 AI 到 AI 掌权，人工智能，尤其是通用人工智能的风险始终都清清楚楚的写在人们的担忧之中。

图片

而伴随着以 GPT-4 为代表的大模型的出现，人类如何掌控这些拥有无法解释以致使用“涌现”而命名的神奇能力的大模型成为了一个巨大的灰犀牛问题，AI 的安全风险不会瞬间爆发，但是却不紧不慢的向我们奔袭而来。

而在昨天，OpenAI 在其安全与对齐社区中发布文章，宣布组建名为“Preparedness”的新团队，这个以“准备”甚至带着“战备”意味的词似乎表明 OpenAI 已经在试图为未来的 AI 风险付出认真的行动。

图片

根据博客，OpenAI 表示自己已经开始积极的开展工作以应对 AI 相关的全方位的安全风险，这些风险不仅仅包含现在以 GPT 为基础架构的大模型潜在的风险，也包含未来可能的“超级人工智能”所蕴含的风险。具体而言，Preparedness 团队将评估与解决：

  1. 在现在以及未来，前沿的 AI 系统被滥用，它们会有多危险？

  2. 如何构建一个强大的框架来监控、评估、预测与防御前沿 AI 系统可能的风险？

  3. 如果前沿的 AI 系统被盗用，恶意行为者可能会如何使用它们？

在这些大目标的基础上，这个由 MIT 教授 Aleksander Madry 领导的新团队将主要防范包括网络安全风险、化学风险、生物风险、辐射风险、核风险以及政治风险在内的多种灾难性风险。

此外，Preparedness 团队还将开发与维护一个风险指引发展策略（Risk-Informed Development Policy ，RDP），RDP 将详细阐释 OpenAI 将如何对自己开发的大模型进行风险监控，如何对大模型风险管理搭建治理体系与治理结构，以及如何对已发生风险进行补救。

图片

▲image.png

与此同时，OpenAI 也发布了一个 AI 安全风险防范挑战赛用以预防 AI 被灾难性的滥用，挑战赛的 TOP 10 将获得总计 25000 美元的 API 积分。

挑战赛地址：
https://openai.com/form/preparedness-challenge

最后，组建新团队当然还有一步就是广发英雄帖：

图片

▲image.png

目前在招的岗位有安全风险研究员以及研究工程师，怀揣拯救世界梦想的少年有没有去挑战 AI 这条恶龙的兴趣呢？

相关文章：

OpenAI 组建安全 AGI 新团队！应对AI“潘多拉魔盒”

夕小瑶科技说 原创 作者 | 小戏 一旦谈及未来 AI，除了天马行空的科幻畅想，不可避免的也有未来 AI 时代的末日预言。从 AI 武器化到 AI 欺骗，从邪恶 AI 到 AI 掌权，人工智能，尤其是通用人工智能的风险始终都清清楚楚的…...

编程日记 2023/10/31 4:10:57

上网行为管理软件有哪些丨功能图文超详细介绍

很多人都在后台问，上网行为管理软件到底是什么，有什么作用，今天就重点给大家讲解一下： 是什么 上网行为管理软件可以帮助企业规范员工的上网行为，提高办公效率，减少潜在威胁。 有哪些 在市面上&#xff…...

编程日记 2023/10/31 4:08:52

DVWA-SQL Injection SQL注入

概念 SQL注入，是指将特殊构造的恶意SQL语句插入Web表单的输入或页面请求的查询字符串中，从而欺骗后端Web服务器以执行该恶意SQL语句。 成功的 SQL 注入漏洞可以从数据库中读取敏感数据、修改数据库数据（插入/更新/删除）、对数据…...

编程日记 2023/10/31 4:07:51

【0基础学Java第四课】-- 逻辑控制

4. 逻辑控制 4.1 顺序结构4.2 分支结构4.2.1 if语句判断一个数字是奇数还是偶数判断一个数字是正数，负数，还是零判断一个年份是否为闰年 4.2.2 switch 语句 4.3 while循环打印 1 - 10 的数字计算 1 - 100 的和计算 5 的阶乘计算1！2&#xff0…...

编程日记 2023/10/31 4:05:50

C++中的std::cout与std::cerr、std::clog

本文用于记录C中std::cout与std::cerr、std::clog的异同 std::cerr 是C标准库中的标准错误输出流，用于向标准错误设备输出信息，通常用于报告程序的错误和异常情况。与之相对的，std::cout 是标准输出流，用于向标准输出设备输出一般…...

编程日记 2023/10/31 4:03:48

No authorization token was found

今天遇到了一个问题，我把前后端逻辑都理了一遍，开始怀疑后端，后端肯定没错了，把前端理了一遍，ok前后端没错，我错。登录哪里需要的token？？？？把我搞懵逼了。 测…...

编程日记 2023/10/31 3:59:43

Kubernetes概述及其组件/核心组件

目录 1、K8S 是什么？ 2、为什么要用 K8S? 3、k8s的特性 4、Kubernetes 集群架构与组件 5、核心组件 Master 组件 ●Kube-apiserver ●Kube-controller-manager ●Kube-scheduler 配置存储中心 ●etcd Node 组件 ●Kubelet ●Kube-Proxy ●docker 或…...

编程日记 2023/10/31 3:58:41

毫米波雷达实时采集教

https://www.cnblogs.com/dhyc/p/10510876.html 毫米波雷达实时采集教程---- 以及好网站总结：资料分享——RSP1 多普勒雷达开发套件...

编程日记 2023/10/31 3:57:40

Java进阶（HashMap）——面试时HashMap常见问题解读 结合源码分析

前言 List、Set、HashMap作为Java中常用的集合，需要深入认识其原理和特性。 本篇博客介绍常见的关于Java中HashMap集合的面试问题，结合源码分析题目背后的知识点。 关于List的博客文章如下： Java进阶（List）——面试…...

编程日记 2023/10/31 3:56:39

Kotlin 使用@BindingAdapter编译出错

在 Kotlin 中使用 BindingAdapter 注解时，需要确保你的项目正确配置了 Data Binding。 首先，请确保在项目的 build.gradle 文件中启用了 Data Binding： android {// ...dataBinding {enabled true} }接下来，请确保你在正确的地…...

编程日记 2023/10/31 3:55:36

Qt之信号和槽，connect参数分析

connect()方法 Qt进行信号和槽连接，有以下几种方法： static QMetaObject::Connection connect(const QObject *sender, const char *signal, const QObject *receiver, const char *member, Qt::ConnectionType Qt::AutoConnection); static QMetaObj…...

编程日记 2023/10/31 3:54:34

Python学习笔记—元组

1、元组定义 元组使用（）来定义，元素在（）括号内，用逗号隔开 空元组定义，元组名（） 注：当元组只有1个元素的时候，需要在元素后面加逗号，…...

编程日记 2023/10/31 3:53:32

【C++项目】高并发内存池第五讲内存回收释放过程介绍

内存回收 1.ThreadCache2.CentralCache3.PageCache 项目源代码&#xff1a;高并发内存池 1.ThreadCache void ThreadCache::Deallocate(void* ptr, size_t size) {assert(ptr);assert(size < MAX_BYTES);//计算在哪号桶中&#xff0c;然后插入进去size_t index SizeClass…...

编程日记 2023/10/31 3:51:30

[毕设记录]@学术工具体验：Sread.ai

我是在查RAG相关的时候&#xff0c;在知乎上面看到了这篇回答&#xff1a;浅谈生成式 AI 技术&#xff1a;检索增强生成 RAG - MarvinZ的文章 - 知乎 https://zhuanlan.zhihu.com/p/659248219 然后在末尾看到了这个 sread.ai 在作者主页看到了他关于这个产品的介绍&#xff1a…...

编程日记 2023/10/31 3:50:28

uboot - 驱动开发 - 驱动模型

说明 类似于linux&#xff0c;为了规范、统一驱动适配和驱动接口调用&#xff0c;uboot定义了一套驱动模型(Driver Model)&#xff0c;简称DM。本文基于&#xff1a;u-boot-2021.10。 优点 为同一类ip的驱动定义了统一的操作接口&#xff0c;DM在软件层面做了一定的抽象。分…...

编程日记 2023/10/31 3:48:25

windows 操作系统命令积累

1. 按 "prt sc" 键 截屏 2. 按 "fn" 键让浏览器进入全屏模式&#xff0c;再次按 "fn" 键让浏览器退出全屏模式( ps&#xff1a;惠普笔记本上是 "fn" "f11" ) 3. ipconfig 查看ip信息 4. 查看指定端口被什么进程占用...

编程日记 2023/10/31 3:47:25

数据结构单链表的实现（C语言）

目录 1.实现的接口和功能2.代码块 1.实现的接口和功能 //打印链表 void SLTPrint(SLTNode** phead); //头插 void PushFont(SLTNode** phead, SLTDataType x); //尾插 void PushBack(SLTNode** phead, SLTDataType x); //头删 void PopFont(SLTNode** phead); //尾删 void Pop…...

编程日记 2023/10/31 3:46:23

Postman的高级使用，傻瓜式学习【下】

目录 前言 1、全局变量、环境变量 1.1、概念&#xff1a; 1.2、如何设置全局变量、环境变量 1.3、获取全局变量、环境变量 1.4、案例1&#xff1a;手动设置变量&#xff0c;请求参数获取 1.5、案例2&#xff1a;代码设置变量&#xff0c;代码获取变量 2、Postman读取外部…...

编程日记 2023/10/31 3:45:21

Qt：关闭对话框，动画实现窗体逐渐缩小到消失

关键技术&#xff1a; 1、使用QPropertyAnimation对象&#xff0c;实现动画效果&#xff0c;逐渐缩小窗体尺寸&#xff0c;以及透明度&#xff1b; 2、在对话框缩小时&#xff0c;要将界面中的控件都隐藏起来&#xff0c;并且将对话框布局的Margin修改成0 代码如下&#xff…...

编程日记 2023/10/31 3:43:19

在Windows上 ciphey安装（详细版）

文章目录 前言 一、不想卸载原有的python版本&#xff1f; 二、安装步骤 1.安装python 2.创建虚拟环境vnev 3.在ciphey的虚拟环境中进行激活 4.安装ciphey 三、参数列表 总结 前言 提示&#xff1a;安装了好几次&#xff0c;但是都没安装成功&#xff0c;我使用了三个电脑p…...

编程日记 2023/10/31 3:42:18

抖音无水印视频下载终极指南：免费批量保存高清内容

抖音无水印视频下载终极指南&#xff1a;免费批量保存高清内容 【免费下载链接】douyin-downloader A practical Douyin downloader for both single-item and profile batch downloads, with progress display, retries, SQLite deduplication, and browser fallback support.…...

编程新知 2026/5/12 16:17:55

ThunderAI：开源本地AI助手桌面应用部署与核心架构解析

1. 项目概述&#xff1a;一个开源的AI助手桌面应用 最近在GitHub上闲逛&#xff0c;发现了一个挺有意思的项目&#xff0c;叫“ThunderAI”。这名字听起来就挺带劲&#xff0c;对吧&#xff1f;点进去一看&#xff0c;是个用Python写的桌面应用程序&#xff0c;核心功能是把几个…...

编程新知 2026/5/12 16:17:55

如何高效使用DdddOcr：免费开源的离线验证码识别终极指南

如何高效使用DdddOcr&#xff1a;免费开源的离线验证码识别终极指南 【免费下载链接】ddddocr 带带弟弟 通用验证码识别OCR pypi版 项目地址: https://gitcode.com/gh_mirrors/dd/ddddocr 在当今数字世界中&#xff0c;验证码识别已成为自动化测试、数据采集和网络安全测…...

编程新知 2026/5/12 16:13:18

从习题到实战：掌握随机变量及其分布的5个核心场景

1. 从杯子分球看离散型随机变量 想象你面前有4个空杯子和3个乒乓球&#xff0c;随手把球扔进杯子里会发生什么&#xff1f;这个看似简单的游戏&#xff0c;其实是理解离散型随机变量的绝佳案例。X代表"杯子中球的最大个数"&#xff0c;它可能取值为1、2、3——这就是…...

编程新知 2026/5/12 16:00:27

STM32高效驱动WS2812：SPI+DMA时序精解与实战避坑

1. WS2812驱动原理与SPIDMA方案优势 第一次接触WS2812灯带时&#xff0c;我被它的单线控制方式惊艳到了——只需要一根信号线就能控制数百个RGB灯珠。但真正动手实现时才发现&#xff0c;这个看似简单的协议背后藏着不少玄机。WS2812采用归零码&#xff08;RZ&#xff09;编码方…...

编程新知 2026/5/12 15:04:54

掌握高效窗口管理：专业级分辨率调整工具完全指南

掌握高效窗口管理&#xff1a;专业级分辨率调整工具完全指南 【免费下载链接】SRWE Simple Runtime Window Editor 项目地址: https://gitcode.com/gh_mirrors/sr/SRWE 在当今多任务处理和多屏工作环境中&#xff0c;你是否经常遇到窗口大小不合适、分辨率限制或游戏画面…...

编程新知 2026/5/12 14:07:32

Sketch Find and Replace终极指南：设计师必备的批量文本替换神器

Sketch Find and Replace终极指南&#xff1a;设计师必备的批量文本替换神器 【免费下载链接】Sketch-Find-And-Replace Sketch plugin to do a find and replace on text within layers 项目地址: https://gitcode.com/gh_mirrors/sk/Sketch-Find-And-Replace 还在为Sk…...

编程新知 2026/5/12 13:26:45

Smarty 模板中实现多维数组按字段分组并拼接值的完整方案

...

编程新知 2026/5/12 12:39:01

【UEFI实战】Secure Boot的密钥管理与策略配置

1. Secure Boot基础概念与核心价值 Secure Boot是UEFI规范中定义的安全启动机制&#xff0c;它的本质是通过密码学手段确保系统只加载经过授权的代码。想象一下这就像小区门禁系统——只有录入人脸信息的住户才能自由进出&#xff0c;而陌生人会被拒之门外。在实际应用中&#…...

编程新知 2026/5/12 10:09:26

Unity项目瘦身实战：彻底搞懂Library文件夹，轻松清理几十个G的缓存

Unity项目瘦身实战&#xff1a;彻底搞懂Library文件夹&#xff0c;轻松清理几十个G的缓存 当你打开资源管理器&#xff0c;发现Unity项目的Library文件夹已经吞噬了50GB磁盘空间时&#xff0c;那种窒息感就像发现衣柜里塞满了十年没穿过的旧衣服。这个隐藏在项目根目录下的&quo…...

编程新知 2026/5/12 9:06:29