当前位置: 首页 > news >正文

读AI新生:破解人机共存密码笔记13有益机器

1. 标准模型

1.1. 我们能控制一个从外太空来的超级智能实体的概率几乎为零

1.2. 随着根据标准模型设计的机器变得更加智能,以及它们的行动范围遍及全球,关闭机器这种方法越来越不可行

1.2.1. 机器将会追求它们自己的目标,无论目标错得多么离谱

1.2.2. 它们将会抵制关闭它们的企图

1.2.3. 它们将会获得有助于实现目标的一切和全部资源

1.2.4. 机器的最佳行为可能包括欺骗人类,让人类自以为给了机器一个合理的目标,这样机器就能获得足够的时间来实现其实际目标

2. 有益机器的原则

2.1. 那些行动有望实现我们的目标,而不是它们的目标的人工智能

2.2. 主要用于指导人工智能研究人员和开发人员如何创建有益的人工智能系统

2.2.1. 机器的唯一目标是最大限度地实现人类的偏好

2.2.1.1. 这里的偏好是包罗万象的,它们涵盖了在任意遥远的未来你可能关心的一切
2.2.1.2. 而且它们是你的偏好:机器并不是要识别出或采用一套理想的偏好,而是要理解并尽可能满足每个人的偏好

2.2.2. 机器最初不确定这些偏好是什么

2.2.3. 关于人类偏好的最终信息来源是人类行为

2.3. 不确定性一直是人工智能的核心问题

2.3.1. 人工智能系统目标中的不确定性被简单地忽略了

2.4. 第一原则:纯粹的利他主义机器

2.4.1. 即机器的唯一目标是最大限度地实现人类的偏好

2.4.2. 将会有益于人类,而不是蟑螂

2.4.3. 我们无法回避这种受益人特有的益处

2.4.4. 机器秉承纯粹的利他主义,也就是说,它绝对不为自己的幸福甚至自己的存在赋予内在价值

2.4.5. 在机器人中加入任何自我保护的偏好,都会在机器人内部建立一个与人类幸福不完全一致的额外的激励机制

2.4.6. 问题

2.4.6.1. 人类是否真的拥有有意义的或稳定的偏好
2.4.6.1.1. “偏好”是一种理想化的概念,在许多方面都与现实不符
2.4.6.2. 鉴于通常不可能确保每个人都得到他们最喜欢的结果,因为我们不可能全都成为宇宙之王,那么机器应该如何权衡多个人的偏好?
2.4.6.2.1. 人类偏好可以而且确实包括动物福祉,以及人类可以直接从动物生存中受益的方面
2.4.6.2.2. 机器应该关注动物的喜好,除此之外,人类还应该建造比人类更关心动物的机器,这是一个很难维持的立场
2.4.6.2.3. 一个更站得住脚的立场是,人类倾向于做出与我们自身利益相悖的短视决策,这往往会给环境及动物带来负面影响
2.4.6.2.3.1. 更少做出短视决策的机器将有助于人类采取更环保的政策
2.4.6.2.3.2. 在未来,如果我们对动物的福祉给予比现在更大的权重,可能意味着牺牲一些我们自己固有的福祉,那么机器也会适应

2.5. 第二原则:谦卑的机器

2.5.1. 机器最初并不确定人类的偏好是什么

2.5.1.1. 这是创造有益机器的关键

2.5.2. 一台自以为完全理解真正目标的机器会一门心思地追求这个目标

2.5.3. 假设机器对目标的完美理解将其与人类分离开来,那么人类的所作所为将不再重要,因为机器理解目标并追求目标

2.5.4. 一台对真实目标感到不确定的机器会表现出一种谦卑

2.5.4.1. 它会顺从人类,允许自己被关闭
2.5.4.1.1. 它的理由是,只有当它做错了什么,即做了违背人类偏好的事情的时候,人类才会关掉它
2.5.4.1.2. 如果人类真的关掉了机器,那么机器就能避免做错事情,这便是它的意图
2.5.4.1.2.1. 机器有积极的动机让自己被关闭
2.5.4.1.3. 它仍然与人类联系在一起,人类是一个潜在的信息来源,可以让它避免错误,做得更好

2.6. 第三原则:学习预测人类偏好

2.6.1. 关于人类偏好的最终信息来源是人类行为

2.6.1.1. 第一个目的是为“人类偏好”这个词提供一个明确的基础
2.6.1.1.1. 根据假设,人类偏好并不存在于机器中,机器也无法直接观察到它们,但是在机器和人类偏好之间一定存在着某种明确的联系
2.6.1.1.2. 如果人类的某种偏好对人类可能做出的任何实际或假设的选择都没有任何影响,那么可能就不必说这种偏好存在了
2.6.1.2. 第二个目的是让机器变得更有用,因为它能更多地了解我们想要的东西
2.6.1.2.1. 如果它对人类偏好一无所知,它对我们就毫无用处
2.6.1.2.2. 人类不是完全理性的
2.6.1.2.2.1. 人类的偏好和人类的选择之间存在着不完美的差异,如果机器要将人类的选择解释为人类偏好的证据,那么它就必须考虑到这些不完美

3. 乐观的理由

3.1. 需要摆脱20世纪技术的驱动思想之一:优化给定目标的机器

3.1.1. 第一个原因是,我们有强大的经济动机来开发遵从人类的意愿,并逐渐与用户的偏好和意图保持一致的人工智能系统

3.1.1.1. 人工智能系统的愚蠢和有限的行为范围使我们免受这些后果的影响,但这种情况将会改变
3.1.1.2. 一个行业参与者可能会因为粗心的设计摧毁整个行业,这为形成以安全为导向的行业联盟和执行安全标准提供了强大的经济动机
3.1.1.3. 所有的主要参与者都在公开文献中发表了它们以安全为导向的研究

3.1.2. 第二个原因是,用于学习人类偏好的原始数据,即人类行为的例子非常丰富

3.1.2.1. 这些数据不仅通过彼此共享着大约数十亿人的数据的亿万台机器的相机、键盘和触摸屏以直接观察的形式出现,而且还以间接的形式出现
3.1.2.2. 人类对书籍、电影、电视和广播的大量记录,这些记录几乎完全与人们的行为有关
3.1.2.2.1. 即使苏美尔人和埃及人最早的和最乏味的用铜锭交换大麦的记录,也让我们对人类对于不同商品的偏好有了一些了解
3.1.2.2.2. 在解释这种原始资料时会遇到困难,这些原始资料包括政治宣传、谎言、疯子的胡言乱语,甚至政治家和总统的声明,但是机器当然没有理由把这些都当真
3.1.2.2.3. 机器可以(也应该)将来自其他智能实体的所有交流解释为游戏中的动作,而不是事实陈述
3.1.2.2.3.1. 无论诚实与否,人类都可能被自己的信念所欺骗
3.1.2.3. 第二类间接证据摆在我们面前,这就是我们创造世界的方式
3.1.2.3.1. 地板上铺着地毯,是因为我们喜欢在柔软温暖的表面上行走,我们不喜欢响亮的脚步声
3.1.2.3.2. 花瓶放在桌子中间而不是边缘,是因为我们不想让它们掉下来摔碎等
3.1.2.3.3. 一切非自然安排的事物都为了解居住在这个星球上的奇怪的两足动物的好恶提供了线索

4. 谨慎的理由

4.1. 一家发布全自动驾驶汽车的汽车制造商将获得巨大的市场优势

4.1.1. 这一优势将会自我强化,因为制造商能够更快地搜集更多数据,以改善系统的性能

4.1.2. 如果另一家公司赶在优步之前推出全自动出租车,优步等打车公司将会很快破产

4.2. 谨慎和仔细的工程设计似乎远不如时髦的演示、人才的争夺和仓促的推广更重要

4.3. 让来自公共资助机构的科学家和广大民众共同寻找最佳的监管方式,越早越好

4.3.1. 一旦公司的科学家开始主导研究事业,那就太晚了

4.4. 经济竞争不仅发生在公司之间,还发生在国家之间

4.4.1. 美国、中国、法国、英国和欧盟纷纷宣布对人工智能进行数十亿美元的国家投资

4.4.2. 高级人工智能将会大大提高几乎所有领域的生产率和创新率

4.4.2.1. 它的拥有者如果不将其分享出去,就能击败一切竞争国家或集团

4.5. 人类级别的人工智能不是零和博弈,分享它不会产生任何损失

4.5.1. 在没有首先解决控制问题的情况下,关于谁能成为第一个实现人工智能的人的竞争,是一个负和游戏

4.5.1.1. 每个人的回报都是负无穷

4.6. 人工智能研究人员影响人工智能全球政策演变的能力有限

4.6.1. 我们可以指出可能带来经济和社会利益的应用

4.6.2. 我们可以对可能的监视滥用和武器滥用等发出警告

4.6.3. 我们可以为未来发展的可能路径及其影响提供路线图

4.6.4. 能做的最重要的事情就是设计尽可能安全且对人类有益的人工智能系统

相关文章:

读AI新生:破解人机共存密码笔记13有益机器

1. 标准模型 1.1. 我们能控制一个从外太空来的超级智能实体的概率几乎为零 1.2. 随着根据标准模型设计的机器变得更加智能,以及它们的行动范围遍及全球,关闭机器这种方法越来越不可行 1.2.1. 机器将会追求它们自己的目标,无论目标错得多么…...

Spring Boot中使用Swagger生成API文档

Spring Boot中使用Swagger生成API文档 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿!在现代的软件开发中,良好的API文档是团队协作和开发效率不可或…...

解决 macOS 中“无法验证开发者”的问题

解决 macOS 中“无法验证开发者”的问题 在使用 macOS 系统时,你可能会遇到一个常见的问题:当你尝试安装或打开某些应用程序时,系统会弹出一个警告,提示“无法验证开发者”。这通常发生在从非官方 App Store 下载的应用程序上。本…...

Emp.dll文件丢失?理解Emp.dll重要性与处理常见问题

在繁多的动态链接库(DLL)文件中,emp.dll 可能不是最广为人知的,但在特定软件或环境中,它扮演着关键角色。本文旨在深入探讨 emp.dll 的功能、重要性以及面对常见问题时的解决策略。 什么是 emp.dll? Emp.d…...

知识平台管理系统设计

知识平台管理系统设计是一个综合性的过程,旨在为企业或组织提供一个高效、便捷的知识管理解决方案。以下是知识平台管理系统设计的详细阐述: 一、设计目标和原则 1、设计目标:设计一款功能强大、易于使用、支持多种知识形式分类和搜索的知识管…...

Python 中字符串修饰符

1. 原始字符串 (Raw String) - r 或 R 使用 r 或 R 前缀,可以告诉 Python 字符串中的所有反斜杠都是普通字符,而不是转义字符。这在处理文件路径、正则表达式等情况下非常有用。 path rC:\new_folder\test.txt # 原始字符串2. 格式化字符串 (Formatt…...

红队内网攻防渗透:内网渗透之内网对抗:横向移动篇Kerberos委派安全RBCD资源Operators组成员HTLMRelay结合

红队内网攻防渗透 1. 内网横向移动1.1 横向移动-资源约束委派-利用域用户主机加入1.1.1 利用思路1.1.2 利用条件1.1.3 利用过程1.2 横向移动-资源约束委派-Acount Operators组1.2.1 利用思路:1.2.2 利用条件:1.2.3 利用过程:1.3 横向移动-资源约束委派-CVE结合HTLMRelay1.3.…...

Manjaro Linux系统简介和archlinux哲学

## Manjaro Linux系统简介 Manjaro Linux是一个基于Arch Linux的操作系统,以其用户友好性和滚动更新机制而受到广泛欢迎。它为用户提供了一个易于安装和使用的平台,同时保持了Linux系统的高度定制性和最新的软件特性。 ### Manjaro Linux与Arch Linux的…...

【Windows 常用工具系列 17 -- windows bat 脚本多参数处理】

请阅读【嵌入式开发学习必备专栏】 文章目录 bat 脚本命令行参数使用示例多参数处理使用示例遍历所有参数 bat 脚本命令行参数 在Windows批处理(.bat)脚本中接收命令行参数是一个常见的需求,这样的脚本能够根据提供的参数执行不同的操作。命…...

《Windows API每日一练》6.3 非客户区鼠标消息

上一节我们讨论客户区的鼠标消息,本节我们讨论非客户区鼠标消息。如果鼠标位于窗口内部除客户区外的其他区域,Windows就会向窗口过程发送一个“非客户区”鼠标消息。窗口的非客户区包括标题栏、菜单和窗口滚动条。 本节必须掌握的知识点: 非…...

Http客户端-Feign 学习笔记

作者介绍:计算机专业研究生,现企业打工人,从事Java全栈开发 主要内容:技术学习笔记、Java实战项目、项目问题解决记录、AI、简历模板、简历指导、技术交流、论文交流(SCI论文两篇) 上点关注下点赞 生活越过…...

【Linux】进程信号_2

文章目录 八、进程信号1. 信号 未完待续 八、进程信号 1. 信号 除了可以使用 kill 命令和键盘来生成信号,我们也可以使用系统调用来生成信号。 kill函数可以对指定进程发送指定信号。 使用方法: int main(int argc, char *argv[]) {if (argc ! 3) {c…...

关于五度圈

五度圈简介 五度圈(Circle of Fifths)是一个展示各个调之间关系的图表。顺时针方向,每个调比前一个调高五度。逆时针方向,每个调比前一个调低五度。五度圈不仅展示了调性之间的关系,还能帮助你理解和记忆音符之间的关…...

电脑突然提示dll文件丢失,怎么选择正确的恢复方法?

电脑突然提示dll文件丢失?其实当你的电脑使用久了,出现这种dll文件丢失是非常的正常的,毕竟你总会有不恰当的操作吧?这些操作都是会导致dll文件丢失的。丢失了,我们直接进行相关的修复就好了,还是比较简单的…...

HTML(12)——背景属性

目录 背景属性 背景图 背景图平铺方式 背景图位置 背景图缩放 背景图固定 背景属性 属性描述background-color背景色background-image (bgi)背景图background-repeat (bgr)背景图平铺方式background-position (bgp)背景图位置background-size (bgz)背景图缩放backgro…...

C语言 指针——从函数返回字符串

目录 从函数返回字符指针 编程实现strcat()的功能 小结 从函数返回字符指针 编程实现strcat()的功能 小结 明确字符串被保存到了哪里,明确字符指针指向了哪里  指向字符串常量的字符指针  指向字符数组的字符指针 向函数传递字符串的方法  向函数传…...

java:aocache:基于aspectJ实现的方法缓存工具

背景 最近一直在做一些服务端的设计,经常遇到常量计算的问题,比如获取查找一个类的所有方法,获取有指定注解(Annnotation)的方法并查找注解的上特定的元注解是否有特定的值 。。。。总之逻辑很复杂,而且会频繁调用。 比如在服务端…...

UE4_材质_湿度着色器及Desaturation算法_ben材质教程

学习笔记,不喜勿喷!侵权立删,祝愿美好生活越来越好。 效果图: 原图: 1、使用初学者内容包的材质 我们这里使用虚幻自带的材质M_Brick_Clay_Old,复制一个更名为M_Brickclayoldwet材质。 2、添加去饱和度Desaturation节…...

AI问答-ERP:理解 ERP / 我国ERP发展现状 / ERP软件有哪些 / 华为自研ERP

一、理解ERP 1.1、定义 ERP(Enterprise Resource Planning)是企业资源计划的缩写,它集成了企业各个业务领域,包括采购、销售、库存、生产制造、财务等多个方面,进行全面管理、智能决策的一种企业管理系统。 1.2、功…...

C语言 | Leetcode C++题解之第199题二叉树的右视图

题目: 题解: #define MAX_NODE_NUM 100 int* rightSideView(struct TreeNode* root, int* returnSize){if (root NULL) {*returnSize 0;return NULL;}int *res (int *)malloc(sizeof(int) * MAX_NODE_NUM);int cnt 0;struct TreeNode **record (st…...

多云管理“拦路虎”:深入解析网络互联、身份同步与成本可视化的技术复杂度​

一、引言:多云环境的技术复杂性本质​​ 企业采用多云策略已从技术选型升维至生存刚需。当业务系统分散部署在多个云平台时,​​基础设施的技术债呈现指数级积累​​。网络连接、身份认证、成本管理这三大核心挑战相互嵌套:跨云网络构建数据…...

相机Camera日志实例分析之二:相机Camx【专业模式开启直方图拍照】单帧流程日志详解

【关注我,后续持续新增专题博文,谢谢!!!】 上一篇我们讲了: 这一篇我们开始讲: 目录 一、场景操作步骤 二、日志基础关键字分级如下 三、场景日志如下: 一、场景操作步骤 操作步…...

Day131 | 灵神 | 回溯算法 | 子集型 子集

Day131 | 灵神 | 回溯算法 | 子集型 子集 78.子集 78. 子集 - 力扣(LeetCode) 思路: 笔者写过很多次这道题了,不想写题解了,大家看灵神讲解吧 回溯算法套路①子集型回溯【基础算法精讲 14】_哔哩哔哩_bilibili 完…...

基于Uniapp开发HarmonyOS 5.0旅游应用技术实践

一、技术选型背景 1.跨平台优势 Uniapp采用Vue.js框架,支持"一次开发,多端部署",可同步生成HarmonyOS、iOS、Android等多平台应用。 2.鸿蒙特性融合 HarmonyOS 5.0的分布式能力与原子化服务,为旅游应用带来&#xf…...

五年级数学知识边界总结思考-下册

目录 一、背景二、过程1.观察物体小学五年级下册“观察物体”知识点详解:由来、作用与意义**一、知识点核心内容****二、知识点的由来:从生活实践到数学抽象****三、知识的作用:解决实际问题的工具****四、学习的意义:培养核心素养…...

企业如何增强终端安全?

在数字化转型加速的今天,企业的业务运行越来越依赖于终端设备。从员工的笔记本电脑、智能手机,到工厂里的物联网设备、智能传感器,这些终端构成了企业与外部世界连接的 “神经末梢”。然而,随着远程办公的常态化和设备接入的爆炸式…...

用鸿蒙HarmonyOS5实现国际象棋小游戏的过程

下面是一个基于鸿蒙OS (HarmonyOS) 的国际象棋小游戏的完整实现代码,使用Java语言和鸿蒙的Ability框架。 1. 项目结构 /src/main/java/com/example/chess/├── MainAbilitySlice.java // 主界面逻辑├── ChessView.java // 游戏视图和逻辑├── …...

Docker环境下安装 Elasticsearch + IK 分词器 + Pinyin插件 + Kibana(适配7.10.1)

做RAG自己打算使用esmilvus自己开发一个,安装时好像网上没有比较新的安装方法,然后找了个旧的方法对应试试: 🚀 本文将手把手教你在 Docker 环境中部署 Elasticsearch 7.10.1 IK分词器 拼音插件 Kibana,适配中文搜索…...

Web APIS Day01

1.声明变量const优先 那为什么一开始前面就不能用const呢,接下来看几个例子: 下面这张为什么可以用const呢?因为复杂数据的引用地址没变,数组还是数组,只是添加了个元素,本质没变,所以可以用con…...

Ubuntu 安装 Mysql 数据库

首先更新apt-get工具,执行命令如下: apt-get upgrade安装Mysql,执行如下命令: apt-get install mysql-server 开启Mysql 服务,执行命令如下: service mysql start并确认是否成功开启mysql,执行命令如下&am…...