当前位置: 首页 > news >正文

悟道3.0全面开源!LeCun VS Max 智源大会最新演讲

夕小瑶科技说 原创
作者 | 小戏

2023 年智源大会如期召开!

这场汇集了 Geoffery Hinton、Yann LeCun、姚期智、Joseph Sifakis、Sam Altman、Russell 等一众几乎是 AI 领域学界业界“半壁江山”的大佬们的学术盛会,聚焦 AI 领域的前沿问题,讨论尤其是大模型出现后 AI 新时代的新风向


纵观整个开幕式的议程设置,在致辞环节结束后,首先由智源研究院院长黄铁军带来了智源研究院近期进展的报告,报告开宗明义,实现所谓真正的人工智能目前有三条进路,分别是当下 GPT 为代表的自监督深度学习到信息模型的进路,以 DQN 为代表的强化学习到具身模型的进路以及基于第一性原理的生命科学脑科学进路

大模型研究测试传送门

GPT-4能力研究传送门(遇浏览器警告点高级/继续访问即可):
https://gpt4test.com

基于这三条进路按图索骥,黄铁军院长介绍了智源近期的开源工作,其中最重要的当属悟道3.0全面开源,其中比较有趣的工作有:

  • 悟道·天鹰(Aquila)”语言大模型系列:首个支持中英双语知识、商用许可,符合国内数据要求的开源大模型;
  • “天秤(FlagEval)”大语言评测体系及开放平台:通过能力-任务-指标三维评价体系,构建了一个 30+ 种能力 x 5 种任务 x 4大类指标超过 600+ 维度的全面测评体系;
  • FlagOpen飞智大模型技术开源体系:集成了一个完整的大模型算法技术仓库,从零开始也能 Follow 大模型的基础工作;
  • 天演-生命模拟工程:通过脑模拟实现生物启发的通用人工智能模型。

当然,整个上午场最吸引眼球的报告,肯定是图灵奖得主,三巨头之一的 Yann LeCun 与未来生命研究所创始人,MIT 教授 Max Tegmark 的演讲,而颇为戏剧性的是两位的观点又恰巧十分之对立,Yann LeCun 教授观点直入主题:“Machine Learning Sucks”,意指当前大模型的技术路径或许根本无法实现对人类有威胁的真正的人工智能,而 Max Tegmark 教授则反复强调“Keep AI Under Control”,如果 AI 失控则会导致“Lights Out for All of Us”,不谈技术进路如果回顾历史,人类的出现导致了智能更低的长毛象的灭绝,面对日新月异发展速度可怕的人工智能体,Keep AI Under Control 异常有必要

人在法国的 Yann LeCun 教授在法国那边凌晨四点与会场嘉宾与观众直播连线,开头就指出了对比人类或动物智能,当前大模型智能基础监督学习与强化学习的主要问题:

  • 有监督学习:要求太多标注数据,人类智能或者动物智能在成长环境中必然不是依赖如此规模的标注工程而形成的智能;
  • 强化学习:强化学习要求太多完全不合理的“试错”,真正的智能似乎学习的更快也更鲁棒;

这就造成了当前大模型的技术架构,即自回归大规模语言模型,往往会出现“脆弱”,“不会计划”,“不合理的输出”等等许多问题,表现在应用中将是“事实错误”,“逻辑错误”,“不一致”……等等问题

而 Yann LeCun 教授指出,大模型为什么会这样?因为它们事实上就根本没有理解现实世界,很精辟的总结在于“ We are easily fooled by their fluency. But they don’t kown how the world works

归根结底, Yann LeCun 教授认为当前 AI 只靠语言模型必然走不远,那么未来是什么呢?

答案就是 Yann LeCun 教授最近反复强调的“世界模型”,教授构想的可以支持推理与规划的真正的“智能体”应该包含以上六个组件,分别是配置器(Configurator)模块,感知模块(Perception module),世界模型(World model),成本模块(Cost module),Actor 模块,短期记忆模块(Short-term memory module)。

而其中最重要的部件,就是世界模型,而如何训练一个不是用于简单分类回归,而是表征多种预测的世界模型呢?Yann LeCun 教授提出了联合嵌入预测架构(Joint-Embedding Predictive Architecture,JEPA),并对架构做出了细致的阐述。这些思想被总结发表在《A path towards autonomous machine intelligence》之中,我们之前也有过报道(传送门:LeCun最新演讲,痛批GPT类模型没前途,称“世界模型”是正途!)

另一边,Max TegMark 教授在 Keep AI Under Control 的大观点下,着重叙述了我们应当如何 Keep AI Under Control,教授认为,核心将在于“Align AI 以及 Multiscale Alignment”,即其核心思想在于,如何使得 AI 与人类的价值观、想法保持一致,并且这种一致不是个体化的一致,而是群体性的、广泛性的一致。那么继续深入,如何“对齐”,如何保持多尺度大规模的“对齐”?答案将是或许也只能是对“可解释性”领域的研究。教授着重介绍了几篇工作:

以 Quanta 为概念基础为大模型 Scale Law 与涌现能力做解释的《The Quantization Model of Neural Scaling

研究 Transformer 中事实知识存储修改与编辑的《Locating and Editing Factual Associations in GPT》,这篇我们做了解读(传送门:MIT发现语言模型内的事实知识可被修改??)

研究模型预测能力本质的《Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task》等等一系列真正相关模型黑盒内部构造的论文。

事实上,我们对 AI 可控可靠的要求,可能从低到高分为了 Diagnose Trustworthiness,Improve Trustworthiness 以及 Guarantee Trustworthiness,最开始我们只是确信像脚踩刹车一样踩下去速度就会降低,而不用理解刹车器的原理,而更加 Improved 之后的信任可能来自于部分的理解,理解刹车器的一些操作原理,而真正的 Guarantee Trustworthiness 则在于将那个“黑盒”完全透明化,深度的理解内部全部的知识并且可以复现与移植

总而言之,在当前这样一个真正的智能 AI 还处在混沌期的时间节点,我们必然不应该“Overtrust AI”,而应该将其限制在一个可控的范围内,而要想使得大模型或者 AI 可靠可控,其必要一步与关键一招就是需要将 AI 的黑盒打开,即对 AI 可解释性研究的关注

最后,开幕式后,9 号下午与 10 号全天还有 20 个分论坛百场报告,在各个不同的子领域,都有大咖学者亲临现场,精彩还在继续,感兴趣的大家可以关注2023年智源大会的日程安排!

相关文章:

悟道3.0全面开源!LeCun VS Max 智源大会最新演讲

夕小瑶科技说 原创 作者 | 小戏 2023 年智源大会如期召开! 这场汇集了 Geoffery Hinton、Yann LeCun、姚期智、Joseph Sifakis、Sam Altman、Russell 等一众几乎是 AI 领域学界业界“半壁江山”的大佬们的学术盛会,聚焦 AI 领域的前沿问题&#xff0c…...

2023蓝桥杯大学A组C++决赛游记+个人题解

Day0 发烧了一晚上没睡着,感觉鼻子被打火机烧烤一样难受,心情烦躁 早上6点起来吃了个早饭,思考能力完全丧失了,开始看此花亭奇谭 看了六集,准备复习数据结构考试,然后秒睡 一睁眼就是下午2点了 挂了个…...

wkhtmltopdf踩坑记录

1. 不支持writing-mode。 需求是文字纵向排列,内容从左到右,本来用的是writing-mode: tb-rl;,插件转pdf后发现失效。 解决方法: 让每一列文字单独用一个div容器包裹,对它的宽度进行限制,控制每一行只能出现…...

贪心算法part2 | ● 122.买卖股票的最佳时机II ● 55. 跳跃游戏 ● 45.跳跃游戏II

文章目录 122.买卖股票的最佳时机II思路思路代码官方题解困难 55. 跳跃游戏思路思路代码官方题解代码困难 45.跳跃游戏II思路思路代码困难 今日收获 122.买卖股票的最佳时机II 122.买卖股票的最佳时机II 思路 局部最优:将当天价格和前一天比较,价格涨…...

[C++]异常笔记

我不怕练过一万种腿法的对手,就怕将一种腿法 练一万次的对手。 什么是C的异常 在C中,异常处理通常使用try-catch块来实现。try块用于包含可能会抛出异常的代码,而catch块用于捕获并处理异常。当异常被抛出时,程序会跳过try块中未执行…...

浅谈一级机电管道设计中的压力与介质温度

管道设计是工程设计中的一个非常重要的部分,管道的设计需要考虑到许多因素,其中就包括管道设计压力分类和介质温度分类。这两个因素是在设计管道时必须非常严格考虑的, 首先是管道设计压力分类。在管道设计中,根据工作要求和要传输…...

Docker网络模型(八)使用 macvlan 网络

使用 macvlan 网络 一些应用程序,特别是传统的应用程序或监控网络流量的应用程序,期望直接连接到物理网络。在这种情况下,你可以使用 macvlan 网络驱动为每个容器的虚拟网络接口分配一个MAC地址,使其看起来像一个直接连接到物理网…...

控制视图内容的位置

文本域中的提示内容在默认情况下是垂直居中的,要改变文本在文本域中的位置,可以使用android:gravity来实现。 利用android:gravity可以指定如何在视图中放置视图内容,例如,如何在文本域中放置文本。 如果希望视图文本显示在上方&a…...

【分布式系统与一致性协议】

分布式系统与一致性协议 CAP原理APCPCA总结BASE理论 一致性拜占庭将军问题 分布式系统是一个硬件或软件组件分布在不同的网络计算机上,彼此之间仅仅通过消息传递进行通信和协调的系统。 分布式系统的设计目标一般包含如下: 可用性:可用性是分…...

音视频领域的未来发展方向展望

文章目录 音视频领域的未来发展方向全景音视频技术虚拟现实和增强现实的区别 人工智能技术可视化智能分析智能语音交互图像识别和视频分析技术 语音处理智能推荐技术远程实时通信 流媒体技术未来方向 音视频领域的未来发展方向 全景音视频技术:全景音视频技术是近年…...

时间同步/集群时间同步/在线/离线

目录 一、能够连接外网 二、集群不能连接外网--同步其它服务器时间 一、能够连接外网 1.介绍ntp时间协议 NTP(Network Time Protocol)网络时间协议,是用来使计算机时间同步的一种协议,它可以使计算机对其服务器或时钟源做同步…...

基于BP神经网络对MNIST数据集检测识别(numpy版本)

基于BP神经网络对MNIST数据集检测识别 1.作者介绍2.BP神经网络介绍2.1 BP神经网络 3.BP神经网络对MNIST数据集检测实验3.1 读取数据集3.2 前向传播3.3 损失函数3.4 构建神经网络3.5 训练3.6 模型推理 4.完整代码 1.作者…...

HTML5-创建HTML文档

HTML5中的一个主要变化是:将元素的语义与元素对其内容呈现结果的影响分开。从原理上讲这合乎情理。HTML元素负责文档内容的结构和含义,内容的呈现则由应用于元素上的CSS样式控制。下面介绍最基础的HTML元素:文档元素和元数据元素。 一、构建…...

Vue中Axios的封装和API接口的管理

一、axios的封装 在vue项目中,和后台交互获取数据这块,我们通常使用的是axios库,它是基于promise的http库,可运行在浏览器端和node.js中。他有很多优秀的特性,例如拦截请求和响应、取消请求、转换json、客户端防御XSR…...

MLIR面试题

1、请简要解释MLIR的概念和用途,并说明MLIR在编译器领域中的重要性。 MLIR(Multi-Level Intermediate Representation)是一种多级中间表示语言,提供灵活、可扩展和可优化的编译器基础设施。MLIR的主要目标是为不同的编程语言、领域专用语言(DSL)和编译器…...

***杨辉三角_yyds_LeetCode_python***

1.题目描述: 给定一个非负整数 numRows,生成「杨辉三角」的前 numRows 行。 在「杨辉三角」中,每个数是它左上方和右上方的数的和。 示例 1: 输入: numRows 5 输出: [[1],[1,1],[1,2,1],[1,3,3,1],[1,4,6,4,1]] 示例 2: 输入: numRows …...

Mac使用DBeaver连接达梦数据库

Mac使用DBeaver连接达梦数据库 下载达梦驱动包 达梦数据库 在下载页面随便选择一个系统并下载下来。 下载下来的是zip的压缩包解压出来就是一个ISO文件,然后我们打开ISO文件进入目录:/dameng/source/drivers/jdbc 进入目录后找到这几个驱动包&#x…...

spring.expression 随笔0 概述

0. 我只是个普通码农,不值得挽留 Spring SpEL表达式的使用 常见的应用场景:分布式锁的切面借助SpEL来构建key 比较另类的的应用场景:动态校验 个人感觉可以用作控制程序的走向,除此之外,spring的一些模块的自动配置类,也会在Cond…...

从Cookie到Session: Servlet API中的会话管理详解

文章目录 一. Cookie与Session1. Cookie与Session2. Servlet会话管理操作 二. 登录逻辑的实现 一. Cookie与Session 1. Cookie与Session 首先, 在学习过 HTTP 协议的基础上, 我们需要知道 Cookie 是 HTTP 请求报头中的一个关键字段, 本质上是浏览器在本地存储数据的一种机制,…...

docker数据管理与网络通信

一、管理docker容器中数据 管理Docker 容器中数据主要有两种方式:数据卷(Data Volumes)和数据卷容器( DataVolumes Containers) 。 1、 数据卷 数据卷是一个供容器使用的特殊目录,位于容器中。可将宿主机的目录挂载到数据卷上,对数据卷的修改操作立刻…...

挑战杯推荐项目

“人工智能”创意赛 - 智能艺术创作助手:借助大模型技术,开发能根据用户输入的主题、风格等要求,生成绘画、音乐、文学作品等多种形式艺术创作灵感或初稿的应用,帮助艺术家和创意爱好者激发创意、提高创作效率。 ​ - 个性化梦境…...

AI Agent与Agentic AI:原理、应用、挑战与未来展望

文章目录 一、引言二、AI Agent与Agentic AI的兴起2.1 技术契机与生态成熟2.2 Agent的定义与特征2.3 Agent的发展历程 三、AI Agent的核心技术栈解密3.1 感知模块代码示例:使用Python和OpenCV进行图像识别 3.2 认知与决策模块代码示例:使用OpenAI GPT-3进…...

阿里云ACP云计算备考笔记 (5)——弹性伸缩

目录 第一章 概述 第二章 弹性伸缩简介 1、弹性伸缩 2、垂直伸缩 3、优势 4、应用场景 ① 无规律的业务量波动 ② 有规律的业务量波动 ③ 无明显业务量波动 ④ 混合型业务 ⑤ 消息通知 ⑥ 生命周期挂钩 ⑦ 自定义方式 ⑧ 滚的升级 5、使用限制 第三章 主要定义 …...

【磁盘】每天掌握一个Linux命令 - iostat

目录 【磁盘】每天掌握一个Linux命令 - iostat工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景 注意事项 【磁盘】每天掌握一个Linux命令 - iostat 工具概述 iostat(I/O Statistics)是Linux系统下用于监视系统输入输出设备和CPU使…...

Linux云原生安全:零信任架构与机密计算

Linux云原生安全:零信任架构与机密计算 构建坚不可摧的云原生防御体系 引言:云原生安全的范式革命 随着云原生技术的普及,安全边界正在从传统的网络边界向工作负载内部转移。Gartner预测,到2025年,零信任架构将成为超…...

【单片机期末】单片机系统设计

主要内容:系统状态机,系统时基,系统需求分析,系统构建,系统状态流图 一、题目要求 二、绘制系统状态流图 题目:根据上述描述绘制系统状态流图,注明状态转移条件及方向。 三、利用定时器产生时…...

BCS 2025|百度副总裁陈洋:智能体在安全领域的应用实践

6月5日,2025全球数字经济大会数字安全主论坛暨北京网络安全大会在国家会议中心隆重开幕。百度副总裁陈洋受邀出席,并作《智能体在安全领域的应用实践》主题演讲,分享了在智能体在安全领域的突破性实践。他指出,百度通过将安全能力…...

python报错No module named ‘tensorflow.keras‘

是由于不同版本的tensorflow下的keras所在的路径不同,结合所安装的tensorflow的目录结构修改from语句即可。 原语句: from tensorflow.keras.layers import Conv1D, MaxPooling1D, LSTM, Dense 修改后: from tensorflow.python.keras.lay…...

Mysql中select查询语句的执行过程

目录 1、介绍 1.1、组件介绍 1.2、Sql执行顺序 2、执行流程 2.1. 连接与认证 2.2. 查询缓存 2.3. 语法解析(Parser) 2.4、执行sql 1. 预处理(Preprocessor) 2. 查询优化器(Optimizer) 3. 执行器…...

return this;返回的是谁

一个审批系统的示例来演示责任链模式的实现。假设公司需要处理不同金额的采购申请,不同级别的经理有不同的审批权限: // 抽象处理者:审批者 abstract class Approver {protected Approver successor; // 下一个处理者// 设置下一个处理者pub…...