悟道3.0全面开源!LeCun VS Max 智源大会最新演讲
作者 | 小戏
2023 年智源大会如期召开!
这场汇集了 Geoffery Hinton、Yann LeCun、姚期智、Joseph Sifakis、Sam Altman、Russell 等一众几乎是 AI 领域学界业界“半壁江山”的大佬们的学术盛会,聚焦 AI 领域的前沿问题,讨论尤其是大模型出现后 AI 新时代的新风向。
纵观整个开幕式的议程设置,在致辞环节结束后,首先由智源研究院院长黄铁军带来了智源研究院近期进展的报告,报告开宗明义,实现所谓真正的人工智能目前有三条进路,分别是当下 GPT 为代表的自监督深度学习到信息模型的进路,以 DQN 为代表的强化学习到具身模型的进路以及基于第一性原理的生命科学脑科学进路
大模型研究测试传送门
GPT-4能力研究传送门(遇浏览器警告点高级/继续访问即可):
https://gpt4test.com
基于这三条进路按图索骥,黄铁军院长介绍了智源近期的开源工作,其中最重要的当属悟道3.0全面开源,其中比较有趣的工作有:
- 悟道·天鹰(Aquila)”语言大模型系列:首个支持中英双语知识、商用许可,符合国内数据要求的开源大模型;
- “天秤(FlagEval)”大语言评测体系及开放平台:通过能力-任务-指标三维评价体系,构建了一个 30+ 种能力 x 5 种任务 x 4大类指标超过 600+ 维度的全面测评体系;
- FlagOpen飞智大模型技术开源体系:集成了一个完整的大模型算法技术仓库,从零开始也能 Follow 大模型的基础工作;
- 天演-生命模拟工程:通过脑模拟实现生物启发的通用人工智能模型。
当然,整个上午场最吸引眼球的报告,肯定是图灵奖得主,三巨头之一的 Yann LeCun 与未来生命研究所创始人,MIT 教授 Max Tegmark 的演讲,而颇为戏剧性的是两位的观点又恰巧十分之对立,Yann LeCun 教授观点直入主题:“Machine Learning Sucks”,意指当前大模型的技术路径或许根本无法实现对人类有威胁的真正的人工智能,而 Max Tegmark 教授则反复强调“Keep AI Under Control”,如果 AI 失控则会导致“Lights Out for All of Us”,不谈技术进路如果回顾历史,人类的出现导致了智能更低的长毛象的灭绝,面对日新月异发展速度可怕的人工智能体,Keep AI Under Control 异常有必要。
人在法国的 Yann LeCun 教授在法国那边凌晨四点与会场嘉宾与观众直播连线,开头就指出了对比人类或动物智能,当前大模型智能基础监督学习与强化学习的主要问题:
- 有监督学习:要求太多标注数据,人类智能或者动物智能在成长环境中必然不是依赖如此规模的标注工程而形成的智能;
- 强化学习:强化学习要求太多完全不合理的“试错”,真正的智能似乎学习的更快也更鲁棒;
这就造成了当前大模型的技术架构,即自回归大规模语言模型,往往会出现“脆弱”,“不会计划”,“不合理的输出”等等许多问题,表现在应用中将是“事实错误”,“逻辑错误”,“不一致”……等等问题。
而 Yann LeCun 教授指出,大模型为什么会这样?因为它们事实上就根本没有理解现实世界,很精辟的总结在于“ We are easily fooled by their fluency. But they don’t kown how the world works”
归根结底, Yann LeCun 教授认为当前 AI 只靠语言模型必然走不远,那么未来是什么呢?
答案就是 Yann LeCun 教授最近反复强调的“世界模型”,教授构想的可以支持推理与规划的真正的“智能体”应该包含以上六个组件,分别是配置器(Configurator)模块,感知模块(Perception module),世界模型(World model),成本模块(Cost module),Actor 模块,短期记忆模块(Short-term memory module)。
而其中最重要的部件,就是世界模型,而如何训练一个不是用于简单分类回归,而是表征多种预测的世界模型呢?Yann LeCun 教授提出了联合嵌入预测架构(Joint-Embedding Predictive Architecture,JEPA),并对架构做出了细致的阐述。这些思想被总结发表在《A path towards autonomous machine intelligence》之中,我们之前也有过报道(传送门:LeCun最新演讲,痛批GPT类模型没前途,称“世界模型”是正途!)
另一边,Max TegMark 教授在 Keep AI Under Control 的大观点下,着重叙述了我们应当如何 Keep AI Under Control,教授认为,核心将在于“Align AI 以及 Multiscale Alignment”,即其核心思想在于,如何使得 AI 与人类的价值观、想法保持一致,并且这种一致不是个体化的一致,而是群体性的、广泛性的一致。那么继续深入,如何“对齐”,如何保持多尺度大规模的“对齐”?答案将是或许也只能是对“可解释性”领域的研究。教授着重介绍了几篇工作:
以 Quanta 为概念基础为大模型 Scale Law 与涌现能力做解释的《The Quantization Model of Neural Scaling》
研究 Transformer 中事实知识存储修改与编辑的《Locating and Editing Factual Associations in GPT》,这篇我们做了解读(传送门:MIT发现语言模型内的事实知识可被修改??)
研究模型预测能力本质的《Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task》等等一系列真正相关模型黑盒内部构造的论文。
事实上,我们对 AI 可控可靠的要求,可能从低到高分为了 Diagnose Trustworthiness,Improve Trustworthiness 以及 Guarantee Trustworthiness,最开始我们只是确信像脚踩刹车一样踩下去速度就会降低,而不用理解刹车器的原理,而更加 Improved 之后的信任可能来自于部分的理解,理解刹车器的一些操作原理,而真正的 Guarantee Trustworthiness 则在于将那个“黑盒”完全透明化,深度的理解内部全部的知识并且可以复现与移植。
总而言之,在当前这样一个真正的智能 AI 还处在混沌期的时间节点,我们必然不应该“Overtrust AI”,而应该将其限制在一个可控的范围内,而要想使得大模型或者 AI 可靠可控,其必要一步与关键一招就是需要将 AI 的黑盒打开,即对 AI 可解释性研究的关注。
最后,开幕式后,9 号下午与 10 号全天还有 20 个分论坛百场报告,在各个不同的子领域,都有大咖学者亲临现场,精彩还在继续,感兴趣的大家可以关注2023年智源大会的日程安排!
相关文章:

悟道3.0全面开源!LeCun VS Max 智源大会最新演讲
夕小瑶科技说 原创 作者 | 小戏 2023 年智源大会如期召开! 这场汇集了 Geoffery Hinton、Yann LeCun、姚期智、Joseph Sifakis、Sam Altman、Russell 等一众几乎是 AI 领域学界业界“半壁江山”的大佬们的学术盛会,聚焦 AI 领域的前沿问题,…...

2023蓝桥杯大学A组C++决赛游记+个人题解
Day0 发烧了一晚上没睡着,感觉鼻子被打火机烧烤一样难受,心情烦躁 早上6点起来吃了个早饭,思考能力完全丧失了,开始看此花亭奇谭 看了六集,准备复习数据结构考试,然后秒睡 一睁眼就是下午2点了 挂了个…...

wkhtmltopdf踩坑记录
1. 不支持writing-mode。 需求是文字纵向排列,内容从左到右,本来用的是writing-mode: tb-rl;,插件转pdf后发现失效。 解决方法: 让每一列文字单独用一个div容器包裹,对它的宽度进行限制,控制每一行只能出现…...
贪心算法part2 | ● 122.买卖股票的最佳时机II ● 55. 跳跃游戏 ● 45.跳跃游戏II
文章目录 122.买卖股票的最佳时机II思路思路代码官方题解困难 55. 跳跃游戏思路思路代码官方题解代码困难 45.跳跃游戏II思路思路代码困难 今日收获 122.买卖股票的最佳时机II 122.买卖股票的最佳时机II 思路 局部最优:将当天价格和前一天比较,价格涨…...

[C++]异常笔记
我不怕练过一万种腿法的对手,就怕将一种腿法 练一万次的对手。 什么是C的异常 在C中,异常处理通常使用try-catch块来实现。try块用于包含可能会抛出异常的代码,而catch块用于捕获并处理异常。当异常被抛出时,程序会跳过try块中未执行…...

浅谈一级机电管道设计中的压力与介质温度
管道设计是工程设计中的一个非常重要的部分,管道的设计需要考虑到许多因素,其中就包括管道设计压力分类和介质温度分类。这两个因素是在设计管道时必须非常严格考虑的, 首先是管道设计压力分类。在管道设计中,根据工作要求和要传输…...
Docker网络模型(八)使用 macvlan 网络
使用 macvlan 网络 一些应用程序,特别是传统的应用程序或监控网络流量的应用程序,期望直接连接到物理网络。在这种情况下,你可以使用 macvlan 网络驱动为每个容器的虚拟网络接口分配一个MAC地址,使其看起来像一个直接连接到物理网…...

控制视图内容的位置
文本域中的提示内容在默认情况下是垂直居中的,要改变文本在文本域中的位置,可以使用android:gravity来实现。 利用android:gravity可以指定如何在视图中放置视图内容,例如,如何在文本域中放置文本。 如果希望视图文本显示在上方&a…...

【分布式系统与一致性协议】
分布式系统与一致性协议 CAP原理APCPCA总结BASE理论 一致性拜占庭将军问题 分布式系统是一个硬件或软件组件分布在不同的网络计算机上,彼此之间仅仅通过消息传递进行通信和协调的系统。 分布式系统的设计目标一般包含如下: 可用性:可用性是分…...
音视频领域的未来发展方向展望
文章目录 音视频领域的未来发展方向全景音视频技术虚拟现实和增强现实的区别 人工智能技术可视化智能分析智能语音交互图像识别和视频分析技术 语音处理智能推荐技术远程实时通信 流媒体技术未来方向 音视频领域的未来发展方向 全景音视频技术:全景音视频技术是近年…...

时间同步/集群时间同步/在线/离线
目录 一、能够连接外网 二、集群不能连接外网--同步其它服务器时间 一、能够连接外网 1.介绍ntp时间协议 NTP(Network Time Protocol)网络时间协议,是用来使计算机时间同步的一种协议,它可以使计算机对其服务器或时钟源做同步…...

基于BP神经网络对MNIST数据集检测识别(numpy版本)
基于BP神经网络对MNIST数据集检测识别 1.作者介绍2.BP神经网络介绍2.1 BP神经网络 3.BP神经网络对MNIST数据集检测实验3.1 读取数据集3.2 前向传播3.3 损失函数3.4 构建神经网络3.5 训练3.6 模型推理 4.完整代码 1.作者…...

HTML5-创建HTML文档
HTML5中的一个主要变化是:将元素的语义与元素对其内容呈现结果的影响分开。从原理上讲这合乎情理。HTML元素负责文档内容的结构和含义,内容的呈现则由应用于元素上的CSS样式控制。下面介绍最基础的HTML元素:文档元素和元数据元素。 一、构建…...
Vue中Axios的封装和API接口的管理
一、axios的封装 在vue项目中,和后台交互获取数据这块,我们通常使用的是axios库,它是基于promise的http库,可运行在浏览器端和node.js中。他有很多优秀的特性,例如拦截请求和响应、取消请求、转换json、客户端防御XSR…...
MLIR面试题
1、请简要解释MLIR的概念和用途,并说明MLIR在编译器领域中的重要性。 MLIR(Multi-Level Intermediate Representation)是一种多级中间表示语言,提供灵活、可扩展和可优化的编译器基础设施。MLIR的主要目标是为不同的编程语言、领域专用语言(DSL)和编译器…...

***杨辉三角_yyds_LeetCode_python***
1.题目描述: 给定一个非负整数 numRows,生成「杨辉三角」的前 numRows 行。 在「杨辉三角」中,每个数是它左上方和右上方的数的和。 示例 1: 输入: numRows 5 输出: [[1],[1,1],[1,2,1],[1,3,3,1],[1,4,6,4,1]] 示例 2: 输入: numRows …...

Mac使用DBeaver连接达梦数据库
Mac使用DBeaver连接达梦数据库 下载达梦驱动包 达梦数据库 在下载页面随便选择一个系统并下载下来。 下载下来的是zip的压缩包解压出来就是一个ISO文件,然后我们打开ISO文件进入目录:/dameng/source/drivers/jdbc 进入目录后找到这几个驱动包&#x…...

spring.expression 随笔0 概述
0. 我只是个普通码农,不值得挽留 Spring SpEL表达式的使用 常见的应用场景:分布式锁的切面借助SpEL来构建key 比较另类的的应用场景:动态校验 个人感觉可以用作控制程序的走向,除此之外,spring的一些模块的自动配置类,也会在Cond…...

从Cookie到Session: Servlet API中的会话管理详解
文章目录 一. Cookie与Session1. Cookie与Session2. Servlet会话管理操作 二. 登录逻辑的实现 一. Cookie与Session 1. Cookie与Session 首先, 在学习过 HTTP 协议的基础上, 我们需要知道 Cookie 是 HTTP 请求报头中的一个关键字段, 本质上是浏览器在本地存储数据的一种机制,…...

docker数据管理与网络通信
一、管理docker容器中数据 管理Docker 容器中数据主要有两种方式:数据卷(Data Volumes)和数据卷容器( DataVolumes Containers) 。 1、 数据卷 数据卷是一个供容器使用的特殊目录,位于容器中。可将宿主机的目录挂载到数据卷上,对数据卷的修改操作立刻…...

19c补丁后oracle属主变化,导致不能识别磁盘组
补丁后服务器重启,数据库再次无法启动 ORA01017: invalid username/password; logon denied Oracle 19c 在打上 19.23 或以上补丁版本后,存在与用户组权限相关的问题。具体表现为,Oracle 实例的运行用户(oracle)和集…...

stm32G473的flash模式是单bank还是双bank?
今天突然有人stm32G473的flash模式是单bank还是双bank?由于时间太久,我真忘记了。搜搜发现,还真有人和我一样。见下面的链接:https://shequ.stmicroelectronics.cn/forum.php?modviewthread&tid644563 根据STM32G4系列参考手…...
Java 语言特性(面试系列1)
一、面向对象编程 1. 封装(Encapsulation) 定义:将数据(属性)和操作数据的方法绑定在一起,通过访问控制符(private、protected、public)隐藏内部实现细节。示例: public …...
React hook之useRef
React useRef 详解 useRef 是 React 提供的一个 Hook,用于在函数组件中创建可变的引用对象。它在 React 开发中有多种重要用途,下面我将全面详细地介绍它的特性和用法。 基本概念 1. 创建 ref const refContainer useRef(initialValue);initialValu…...
Auto-Coder使用GPT-4o完成:在用TabPFN这个模型构建一个预测未来3天涨跌的分类任务
通过akshare库,获取股票数据,并生成TabPFN这个模型 可以识别、处理的格式,写一个完整的预处理示例,并构建一个预测未来 3 天股价涨跌的分类任务 用TabPFN这个模型构建一个预测未来 3 天股价涨跌的分类任务,进行预测并输…...

ardupilot 开发环境eclipse 中import 缺少C++
目录 文章目录 目录摘要1.修复过程摘要 本节主要解决ardupilot 开发环境eclipse 中import 缺少C++,无法导入ardupilot代码,会引起查看不方便的问题。如下图所示 1.修复过程 0.安装ubuntu 软件中自带的eclipse 1.打开eclipse—Help—install new software 2.在 Work with中…...

分布式增量爬虫实现方案
之前我们在讨论的是分布式爬虫如何实现增量爬取。增量爬虫的目标是只爬取新产生或发生变化的页面,避免重复抓取,以节省资源和时间。 在分布式环境下,增量爬虫的实现需要考虑多个爬虫节点之间的协调和去重。 另一种思路:将增量判…...

Springboot社区养老保险系统小程序
一、前言 随着我国经济迅速发展,人们对手机的需求越来越大,各种手机软件也都在被广泛应用,但是对于手机进行数据信息管理,对于手机的各种软件也是备受用户的喜爱,社区养老保险系统小程序被用户普遍使用,为方…...

安全突围:重塑内生安全体系:齐向东在2025年BCS大会的演讲
文章目录 前言第一部分:体系力量是突围之钥第一重困境是体系思想落地不畅。第二重困境是大小体系融合瓶颈。第三重困境是“小体系”运营梗阻。 第二部分:体系矛盾是突围之障一是数据孤岛的障碍。二是投入不足的障碍。三是新旧兼容难的障碍。 第三部分&am…...

AI+无人机如何守护濒危物种?YOLOv8实现95%精准识别
【导读】 野生动物监测在理解和保护生态系统中发挥着至关重要的作用。然而,传统的野生动物观察方法往往耗时耗力、成本高昂且范围有限。无人机的出现为野生动物监测提供了有前景的替代方案,能够实现大范围覆盖并远程采集数据。尽管具备这些优势…...