悟道3.0全面开源!LeCun VS Max 智源大会最新演讲
作者 | 小戏
2023 年智源大会如期召开!
这场汇集了 Geoffery Hinton、Yann LeCun、姚期智、Joseph Sifakis、Sam Altman、Russell 等一众几乎是 AI 领域学界业界“半壁江山”的大佬们的学术盛会,聚焦 AI 领域的前沿问题,讨论尤其是大模型出现后 AI 新时代的新风向。
纵观整个开幕式的议程设置,在致辞环节结束后,首先由智源研究院院长黄铁军带来了智源研究院近期进展的报告,报告开宗明义,实现所谓真正的人工智能目前有三条进路,分别是当下 GPT 为代表的自监督深度学习到信息模型的进路,以 DQN 为代表的强化学习到具身模型的进路以及基于第一性原理的生命科学脑科学进路
大模型研究测试传送门
GPT-4能力研究传送门(遇浏览器警告点高级/继续访问即可):
https://gpt4test.com
基于这三条进路按图索骥,黄铁军院长介绍了智源近期的开源工作,其中最重要的当属悟道3.0全面开源,其中比较有趣的工作有:
- 悟道·天鹰(Aquila)”语言大模型系列:首个支持中英双语知识、商用许可,符合国内数据要求的开源大模型;
- “天秤(FlagEval)”大语言评测体系及开放平台:通过能力-任务-指标三维评价体系,构建了一个 30+ 种能力 x 5 种任务 x 4大类指标超过 600+ 维度的全面测评体系;
- FlagOpen飞智大模型技术开源体系:集成了一个完整的大模型算法技术仓库,从零开始也能 Follow 大模型的基础工作;
- 天演-生命模拟工程:通过脑模拟实现生物启发的通用人工智能模型。
当然,整个上午场最吸引眼球的报告,肯定是图灵奖得主,三巨头之一的 Yann LeCun 与未来生命研究所创始人,MIT 教授 Max Tegmark 的演讲,而颇为戏剧性的是两位的观点又恰巧十分之对立,Yann LeCun 教授观点直入主题:“Machine Learning Sucks”,意指当前大模型的技术路径或许根本无法实现对人类有威胁的真正的人工智能,而 Max Tegmark 教授则反复强调“Keep AI Under Control”,如果 AI 失控则会导致“Lights Out for All of Us”,不谈技术进路如果回顾历史,人类的出现导致了智能更低的长毛象的灭绝,面对日新月异发展速度可怕的人工智能体,Keep AI Under Control 异常有必要。
人在法国的 Yann LeCun 教授在法国那边凌晨四点与会场嘉宾与观众直播连线,开头就指出了对比人类或动物智能,当前大模型智能基础监督学习与强化学习的主要问题:
- 有监督学习:要求太多标注数据,人类智能或者动物智能在成长环境中必然不是依赖如此规模的标注工程而形成的智能;
- 强化学习:强化学习要求太多完全不合理的“试错”,真正的智能似乎学习的更快也更鲁棒;
这就造成了当前大模型的技术架构,即自回归大规模语言模型,往往会出现“脆弱”,“不会计划”,“不合理的输出”等等许多问题,表现在应用中将是“事实错误”,“逻辑错误”,“不一致”……等等问题。
而 Yann LeCun 教授指出,大模型为什么会这样?因为它们事实上就根本没有理解现实世界,很精辟的总结在于“ We are easily fooled by their fluency. But they don’t kown how the world works”
归根结底, Yann LeCun 教授认为当前 AI 只靠语言模型必然走不远,那么未来是什么呢?
答案就是 Yann LeCun 教授最近反复强调的“世界模型”,教授构想的可以支持推理与规划的真正的“智能体”应该包含以上六个组件,分别是配置器(Configurator)模块,感知模块(Perception module),世界模型(World model),成本模块(Cost module),Actor 模块,短期记忆模块(Short-term memory module)。
而其中最重要的部件,就是世界模型,而如何训练一个不是用于简单分类回归,而是表征多种预测的世界模型呢?Yann LeCun 教授提出了联合嵌入预测架构(Joint-Embedding Predictive Architecture,JEPA),并对架构做出了细致的阐述。这些思想被总结发表在《A path towards autonomous machine intelligence》之中,我们之前也有过报道(传送门:LeCun最新演讲,痛批GPT类模型没前途,称“世界模型”是正途!)
另一边,Max TegMark 教授在 Keep AI Under Control 的大观点下,着重叙述了我们应当如何 Keep AI Under Control,教授认为,核心将在于“Align AI 以及 Multiscale Alignment”,即其核心思想在于,如何使得 AI 与人类的价值观、想法保持一致,并且这种一致不是个体化的一致,而是群体性的、广泛性的一致。那么继续深入,如何“对齐”,如何保持多尺度大规模的“对齐”?答案将是或许也只能是对“可解释性”领域的研究。教授着重介绍了几篇工作:
以 Quanta 为概念基础为大模型 Scale Law 与涌现能力做解释的《The Quantization Model of Neural Scaling》
研究 Transformer 中事实知识存储修改与编辑的《Locating and Editing Factual Associations in GPT》,这篇我们做了解读(传送门:MIT发现语言模型内的事实知识可被修改??)
研究模型预测能力本质的《Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task》等等一系列真正相关模型黑盒内部构造的论文。
事实上,我们对 AI 可控可靠的要求,可能从低到高分为了 Diagnose Trustworthiness,Improve Trustworthiness 以及 Guarantee Trustworthiness,最开始我们只是确信像脚踩刹车一样踩下去速度就会降低,而不用理解刹车器的原理,而更加 Improved 之后的信任可能来自于部分的理解,理解刹车器的一些操作原理,而真正的 Guarantee Trustworthiness 则在于将那个“黑盒”完全透明化,深度的理解内部全部的知识并且可以复现与移植。
总而言之,在当前这样一个真正的智能 AI 还处在混沌期的时间节点,我们必然不应该“Overtrust AI”,而应该将其限制在一个可控的范围内,而要想使得大模型或者 AI 可靠可控,其必要一步与关键一招就是需要将 AI 的黑盒打开,即对 AI 可解释性研究的关注。
最后,开幕式后,9 号下午与 10 号全天还有 20 个分论坛百场报告,在各个不同的子领域,都有大咖学者亲临现场,精彩还在继续,感兴趣的大家可以关注2023年智源大会的日程安排!
相关文章:

悟道3.0全面开源!LeCun VS Max 智源大会最新演讲
夕小瑶科技说 原创 作者 | 小戏 2023 年智源大会如期召开! 这场汇集了 Geoffery Hinton、Yann LeCun、姚期智、Joseph Sifakis、Sam Altman、Russell 等一众几乎是 AI 领域学界业界“半壁江山”的大佬们的学术盛会,聚焦 AI 领域的前沿问题,…...

2023蓝桥杯大学A组C++决赛游记+个人题解
Day0 发烧了一晚上没睡着,感觉鼻子被打火机烧烤一样难受,心情烦躁 早上6点起来吃了个早饭,思考能力完全丧失了,开始看此花亭奇谭 看了六集,准备复习数据结构考试,然后秒睡 一睁眼就是下午2点了 挂了个…...

wkhtmltopdf踩坑记录
1. 不支持writing-mode。 需求是文字纵向排列,内容从左到右,本来用的是writing-mode: tb-rl;,插件转pdf后发现失效。 解决方法: 让每一列文字单独用一个div容器包裹,对它的宽度进行限制,控制每一行只能出现…...
贪心算法part2 | ● 122.买卖股票的最佳时机II ● 55. 跳跃游戏 ● 45.跳跃游戏II
文章目录 122.买卖股票的最佳时机II思路思路代码官方题解困难 55. 跳跃游戏思路思路代码官方题解代码困难 45.跳跃游戏II思路思路代码困难 今日收获 122.买卖股票的最佳时机II 122.买卖股票的最佳时机II 思路 局部最优:将当天价格和前一天比较,价格涨…...

[C++]异常笔记
我不怕练过一万种腿法的对手,就怕将一种腿法 练一万次的对手。 什么是C的异常 在C中,异常处理通常使用try-catch块来实现。try块用于包含可能会抛出异常的代码,而catch块用于捕获并处理异常。当异常被抛出时,程序会跳过try块中未执行…...

浅谈一级机电管道设计中的压力与介质温度
管道设计是工程设计中的一个非常重要的部分,管道的设计需要考虑到许多因素,其中就包括管道设计压力分类和介质温度分类。这两个因素是在设计管道时必须非常严格考虑的, 首先是管道设计压力分类。在管道设计中,根据工作要求和要传输…...
Docker网络模型(八)使用 macvlan 网络
使用 macvlan 网络 一些应用程序,特别是传统的应用程序或监控网络流量的应用程序,期望直接连接到物理网络。在这种情况下,你可以使用 macvlan 网络驱动为每个容器的虚拟网络接口分配一个MAC地址,使其看起来像一个直接连接到物理网…...

控制视图内容的位置
文本域中的提示内容在默认情况下是垂直居中的,要改变文本在文本域中的位置,可以使用android:gravity来实现。 利用android:gravity可以指定如何在视图中放置视图内容,例如,如何在文本域中放置文本。 如果希望视图文本显示在上方&a…...

【分布式系统与一致性协议】
分布式系统与一致性协议 CAP原理APCPCA总结BASE理论 一致性拜占庭将军问题 分布式系统是一个硬件或软件组件分布在不同的网络计算机上,彼此之间仅仅通过消息传递进行通信和协调的系统。 分布式系统的设计目标一般包含如下: 可用性:可用性是分…...
音视频领域的未来发展方向展望
文章目录 音视频领域的未来发展方向全景音视频技术虚拟现实和增强现实的区别 人工智能技术可视化智能分析智能语音交互图像识别和视频分析技术 语音处理智能推荐技术远程实时通信 流媒体技术未来方向 音视频领域的未来发展方向 全景音视频技术:全景音视频技术是近年…...

时间同步/集群时间同步/在线/离线
目录 一、能够连接外网 二、集群不能连接外网--同步其它服务器时间 一、能够连接外网 1.介绍ntp时间协议 NTP(Network Time Protocol)网络时间协议,是用来使计算机时间同步的一种协议,它可以使计算机对其服务器或时钟源做同步…...

基于BP神经网络对MNIST数据集检测识别(numpy版本)
基于BP神经网络对MNIST数据集检测识别 1.作者介绍2.BP神经网络介绍2.1 BP神经网络 3.BP神经网络对MNIST数据集检测实验3.1 读取数据集3.2 前向传播3.3 损失函数3.4 构建神经网络3.5 训练3.6 模型推理 4.完整代码 1.作者…...

HTML5-创建HTML文档
HTML5中的一个主要变化是:将元素的语义与元素对其内容呈现结果的影响分开。从原理上讲这合乎情理。HTML元素负责文档内容的结构和含义,内容的呈现则由应用于元素上的CSS样式控制。下面介绍最基础的HTML元素:文档元素和元数据元素。 一、构建…...
Vue中Axios的封装和API接口的管理
一、axios的封装 在vue项目中,和后台交互获取数据这块,我们通常使用的是axios库,它是基于promise的http库,可运行在浏览器端和node.js中。他有很多优秀的特性,例如拦截请求和响应、取消请求、转换json、客户端防御XSR…...
MLIR面试题
1、请简要解释MLIR的概念和用途,并说明MLIR在编译器领域中的重要性。 MLIR(Multi-Level Intermediate Representation)是一种多级中间表示语言,提供灵活、可扩展和可优化的编译器基础设施。MLIR的主要目标是为不同的编程语言、领域专用语言(DSL)和编译器…...

***杨辉三角_yyds_LeetCode_python***
1.题目描述: 给定一个非负整数 numRows,生成「杨辉三角」的前 numRows 行。 在「杨辉三角」中,每个数是它左上方和右上方的数的和。 示例 1: 输入: numRows 5 输出: [[1],[1,1],[1,2,1],[1,3,3,1],[1,4,6,4,1]] 示例 2: 输入: numRows …...

Mac使用DBeaver连接达梦数据库
Mac使用DBeaver连接达梦数据库 下载达梦驱动包 达梦数据库 在下载页面随便选择一个系统并下载下来。 下载下来的是zip的压缩包解压出来就是一个ISO文件,然后我们打开ISO文件进入目录:/dameng/source/drivers/jdbc 进入目录后找到这几个驱动包&#x…...

spring.expression 随笔0 概述
0. 我只是个普通码农,不值得挽留 Spring SpEL表达式的使用 常见的应用场景:分布式锁的切面借助SpEL来构建key 比较另类的的应用场景:动态校验 个人感觉可以用作控制程序的走向,除此之外,spring的一些模块的自动配置类,也会在Cond…...

从Cookie到Session: Servlet API中的会话管理详解
文章目录 一. Cookie与Session1. Cookie与Session2. Servlet会话管理操作 二. 登录逻辑的实现 一. Cookie与Session 1. Cookie与Session 首先, 在学习过 HTTP 协议的基础上, 我们需要知道 Cookie 是 HTTP 请求报头中的一个关键字段, 本质上是浏览器在本地存储数据的一种机制,…...

docker数据管理与网络通信
一、管理docker容器中数据 管理Docker 容器中数据主要有两种方式:数据卷(Data Volumes)和数据卷容器( DataVolumes Containers) 。 1、 数据卷 数据卷是一个供容器使用的特殊目录,位于容器中。可将宿主机的目录挂载到数据卷上,对数据卷的修改操作立刻…...
挑战杯推荐项目
“人工智能”创意赛 - 智能艺术创作助手:借助大模型技术,开发能根据用户输入的主题、风格等要求,生成绘画、音乐、文学作品等多种形式艺术创作灵感或初稿的应用,帮助艺术家和创意爱好者激发创意、提高创作效率。 - 个性化梦境…...
在鸿蒙HarmonyOS 5中实现抖音风格的点赞功能
下面我将详细介绍如何使用HarmonyOS SDK在HarmonyOS 5中实现类似抖音的点赞功能,包括动画效果、数据同步和交互优化。 1. 基础点赞功能实现 1.1 创建数据模型 // VideoModel.ets export class VideoModel {id: string "";title: string ""…...

2.Vue编写一个app
1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template> <!--html--> </template>…...
质量体系的重要
质量体系是为确保产品、服务或过程质量满足规定要求,由相互关联的要素构成的有机整体。其核心内容可归纳为以下五个方面: 🏛️ 一、组织架构与职责 质量体系明确组织内各部门、岗位的职责与权限,形成层级清晰的管理网络…...

RNN避坑指南:从数学推导到LSTM/GRU工业级部署实战流程
本文较长,建议点赞收藏,以免遗失。更多AI大模型应用开发学习视频及资料,尽在聚客AI学院。 本文全面剖析RNN核心原理,深入讲解梯度消失/爆炸问题,并通过LSTM/GRU结构实现解决方案,提供时间序列预测和文本生成…...
今日学习:Spring线程池|并发修改异常|链路丢失|登录续期|VIP过期策略|数值类缓存
文章目录 优雅版线程池ThreadPoolTaskExecutor和ThreadPoolTaskExecutor的装饰器并发修改异常并发修改异常简介实现机制设计原因及意义 使用线程池造成的链路丢失问题线程池导致的链路丢失问题发生原因 常见解决方法更好的解决方法设计精妙之处 登录续期登录续期常见实现方式特…...
力扣-35.搜索插入位置
题目描述 给定一个排序数组和一个目标值,在数组中找到目标值,并返回其索引。如果目标值不存在于数组中,返回它将会被按顺序插入的位置。 请必须使用时间复杂度为 O(log n) 的算法。 class Solution {public int searchInsert(int[] nums, …...
Git常用命令完全指南:从入门到精通
Git常用命令完全指南:从入门到精通 一、基础配置命令 1. 用户信息配置 # 设置全局用户名 git config --global user.name "你的名字"# 设置全局邮箱 git config --global user.email "你的邮箱example.com"# 查看所有配置 git config --list…...
OD 算法题 B卷【正整数到Excel编号之间的转换】
文章目录 正整数到Excel编号之间的转换 正整数到Excel编号之间的转换 excel的列编号是这样的:a b c … z aa ab ac… az ba bb bc…yz za zb zc …zz aaa aab aac…; 分别代表以下的编号1 2 3 … 26 27 28 29… 52 53 54 55… 676 677 678 679 … 702 703 704 705;…...
适应性Java用于现代 API:REST、GraphQL 和事件驱动
在快速发展的软件开发领域,REST、GraphQL 和事件驱动架构等新的 API 标准对于构建可扩展、高效的系统至关重要。Java 在现代 API 方面以其在企业应用中的稳定性而闻名,不断适应这些现代范式的需求。随着不断发展的生态系统,Java 在现代 API 方…...