伯克利、哈佛、宾夕法尼亚、斯坦福重磅综述：“学习力学”将成为深度学习的科学理论

来源清熙来自BerkeleyPennsylvaniaHarvardNew YorkStanford大学等多位顶尖学者联合发表综述【文献1】为深度学习的科学理论做奠基。观点论文开篇提出一个能刻画神经网络训练过程、隐藏表征、最终权重和性能的科学理论正在形成。作者整合了五个主要研究方向作为证据1可求解的理想化模型2提供洞见的极限分析3描述宏观量的简单定律4对超参数的理论解耦5跨系统的普遍行为。这些工作的共同点是关注训练动态过程、描述粗粒化统计量、强调可证伪的定量预测。论文将这一新兴理论命名为“学习力学”并主张它应该是一门数学化、基于第一性原理、能精确预测与实证的学科最终像物理学那样对整个机器学习领域产生广泛影响。1. 引言深度学习是当前最强大也最令人费解的黑箱方法理论落后于实践模型仍靠大量试错训练。论文主张一个深度学习的科学理论正以学习力学的形态浮现。1.1 什么是学习力学力学研究力如何决定物体的运动。类似地神经网络训练可视为模型在参数空间中的运动受参数、数据、任务和学习规则之间相互作用的“力”由梯度传递驱动最终收敛到损失景观的局部极小点。这与物理学高度相似可求解模型类比经典力学中的谐振子、氢原子。简化极限类比热力学极限、经典极限。宏观定律类比开普勒定律、欧姆定律。参数研究类比流体力学中的雷诺数。普遍行为类比物理中的临界现象。学习力学的七大目标基础的、数学的、预测的、全面的、直觉的、有用的、谦逊的。这会是一个既能深刻解释又明确自知适用边界的变革性理论。1.2 学习力学为什么重要三大理由科学上揭示工程奇迹背后的原理并可能启发对生物智能的理解如同热力学源于蒸汽机实践上用原理取代试错指导模型设计、缩放和部署安全上为描述、监管强大AI系统提供清晰的理论变量和框架。2. 证据深度学习的运动方程是显式且高度可测量的核心挑战是高维非线性带来的复杂性。2.1 存在可解析的理想化模型通过研究简化但不失代表性的模型来构建直觉是物理学的成功范式深度学习亦然。数据线性化移除所有非线性模型对输入线性但对参数依然高度非线性。它成功复现了真实网络中的许多现象如相变、时标分离、贪婪的低秩学习等先学到最主要成分再学次要的。参数线性化在参数初始化处泰勒展开并截断非线性项。在无限宽等极限下训练动态等价于使用NTK的核岭回归可准确预测泛化性能并揭示了模型如何从架构中获得归纳偏置例如倾向于学习简单函数。超越线性化前沿在于构建参数和数据都保持非线性的玩具模型以捕捉特征学习这类关键能力。当前进展包括使用单/多索引模型、统计物理方法、二次激活函数网络等各自剥离了不同的非线性机制。2.2 富有洞察的极限揭示基本行为复杂系统在无限大的极限下常会简化就像理想气体定律在粒子数无限的热力学极限下导出却能够描述现实气体。这一思路是深度学习理论的核心工具。无限宽度与惰性核/富特征二分将网络宽度推向无穷但初始化权重的缩放速率不同会产生两种截然不同的极限动态。惰性核区标准初始化下权重几乎不变网络等效于NTK模型不会进行特征学习。富特征区将输出层权重压缩得更小时为补偿输出特征必须发生显著改变网络因此展现出特征学习、神经元特化等丰富行为。其他极限无限深度、上下文长度等极限同样存在。不同变量的联合缩放极限尤其重要如将参数和数据量同时推向无穷是理论解释计算最优缩放定律的关键。离散化假说一个普遍信念是真实网络可被理解为无限大理想模型的有噪、有限离散化版本。这暗示着有限宽度、深度等效应通常只是对理想性能的扰动和成本妥协而不是带来根本性的优势。2.3 简单的经验定律捕捉有意义的宏观统计量科学史上许多重要定律例如牛顿三定律、欧姆定律都是先作为经验规律被发现。深度学习同样具备这一条件。神经缩放定律尽管训练过程极其复杂但模型最终测试损失与计算量、数据量、参数量之间普遍遵循可预测的幂律关系。我们尚不清楚是什么决定了幂律指数但其存在本身就强烈暗示着背后有简洁原理。稳定边缘现象用全批量梯度下降训练时损失景观的锐度最大Hessian特征值会经历一个渐进锐化的过程然后稳定在2/学习率附近。这个值恰恰是保证凸优化不震荡发散的临界值其背后机制已被部分理论解释。粗粒化与潜表征权重包括神经坍缩网络末层特征会形成规则的几何结构神经特征假设首层权重的结构与输入梯度的外积相关以及守恒定律源自参数化中的对称性。2.4 超参数可以被解耦和理解训练神经网络有大量超参数这构成了实践和理论研究的双重挑战。但现在理论开始能理解并解耦它们的影响。优化超参数线性缩放法则表明等比例放大学习率和批量大小并减少优化步数训练轨迹大致不变。这可从随机微分方程的角度得到解释。类似关于最优批量大小的权衡以及学习率对泛化性能的影响都被形式化为对损失曲率的隐式正则化。已证明全批量梯度下降的整个轨迹可以被一个带有曲率惩罚项的简化梯度流很好地建模。架构超参数最大更新参数化µP是这个方向的典范。它在宽度放大时通过理论设定每一层的初始化方差和学习率缩放保证了超参数在不同模型尺寸间的可迁移性使得用小模型搜索最优超参数并直接用于大模型成为可能极大降低了调参成本。2.5 普遍现象许多非平凡的行为不止出现一次而是在不同架构、数据集和任务中反复涌现或许是理论存在最根本的证据。有三类普遍现象模型能力涌现的普遍性如尺度定律、涌现、顿悟式学习等能力对计算量的依赖方式在语言、视觉等不同模态中非常相似。内部表征形成的普遍性网络不是随机学习而是表现出普适的归纳偏置例如倾向于学习低频简单函数或是将特征组织成叠加、丛集等形式。这表明某些内在的几何或优化原理塑造了网络学习到的东西。训练动力学机制的普遍性即便是超参数的具体影响如学习率对曲率的隐式正则化、权重衰减在消除异常特征中的作用在许多简单模型和真实大模型中都有一致表现。3. 视角3.1 统计和信息论统计学习理论、PAC学习等经典学习理论提供的是关于泛化误差的最坏情况上界它关心的问题是学习在什么条件下是可能的。这些理论在凸模型和独立同分布数据上非常成功但对现代深度学习解释力有限。信息论视角则试图为泛化能力提供更紧的界例如利用互信息。这些视角与学习力学是互补而不是竞争的。前者的目标是给出保证和边界本质上是一种静态和可能性的描述而后者的目标是理解实际发生的动态过程和现实涌现的行为。一个完整的科学理解同时需要这两方面既需要知道系统能做什么的边界也需要知道系统实际会做什么的机制。3.2 机制可解释性机制可解释性可以比作深度学习的生物学目的是通过解剖神经网络在神经元和回路层面理解具体的内部机制例如特定的安全或不安全的计算环路。学习力学则可以比作深度学习的物理学目的是寻找支配网络学习、特征形成和动态演化的普遍第一性原理就像物理学为所有物质提供底层规律一样。3.3 共生关系这两种视角应是共生、互相支持的。力学如何支持解释性解释性研究面临的一个巨大挑战是定位哪里是重要的回路、特征是从哪儿开始形成的。学习力学若能准确描述训练过程中权重和表征的动态规律就能为解释性工作提供理论地图指出在什么训练阶段、什么网络层去观察什么现象将盲目搜索转化为有理论指导的探索。解释性如何支持力学机制解释性在微观层面发现了许多令人困惑的、普遍存在的现象例如特定的特征叠加方式、回路形成的阶段为力学提出了需要解释的明确对象。力学的目标就是用数学语言为这些生物学层面的发现提供底层的物理学解释。解释性发现是什么学习力学解释为什么。两者结合才能从底层原理到高层结构完整地理解智能系统。4. 异见作者坦承构建这样的理论很困难且学界对理论能走到多远存在合理质质疑。论文逐一回应四种核心反对意见。4.1 网络有数十亿参数动态高度非线性和耦合不可能有简洁理论。回应这正是物理学家面对由万亿亿个分子组成的气体时的困境。物理学并未试图追踪每个分子而是通过统计力学发展了描述温度、压力等宏观涌现量的理论。学习力学采取相同策略它追求的不是描述每个权重的微观运动而是找到描述全体行为的精确的、粗粒度的宏观规律。复杂性不构成障碍而是呼唤一种正确的抽象层次。4.2 当前理论多基于无限宽度、梯度流、高斯数据等假设与现实脱节。回应好的极限假设并非为了真实而是为了隔离和放大核心机制。就像理想气体、无摩擦平面在物理中的作用一旦核心机制被理解就可以逐步放松假设引入有限修正。此外稳定边缘、缩放定律等大量现象被证明在不同设置间惊人地普适表明从理想化模型中得到的洞见具有极强的迁移性。4.3 真实世界的数据分布无比复杂且无法刻画理论注定无法处理。回应网络的核心任务恰恰是压缩和学习这个复杂性的结构。网络能泛化这一事实就证明了数据中存在着能被数学捕获的低维结构。学习力学的策略是从研究人造但结构化的数据入手逐步推进。实际上神经正切核理论和特征学习的近期工作已经能对在真实数据上训练的网络做出精确的定量预测证明这条路是通的。4.4 深度学习进步靠的是算力、工程和直觉理论并无实际用处。回应历史多次证明前沿工程的瓶颈会成为基础科学的催化剂。蒸汽机的实践促生了热力学早期飞行的试错推动了空气动力学。今天我们正面对超参数调优的巨额成本、模型缩放的盲目性、以及AI安全控制的乏力这些正是工程上的瓶颈。一个成熟的理论能将这些问题从昂贵的猜测游戏转化为可计算的工程实践正如物理学之于电气工程、化学工程。最终最具变革性的工程增益往往来自最深层的理解。5. 方向综述列举十个方向展示学习力学当前面临的挑战的深度和广度吸引不同背景的研究者参与。统一惰性与富特征的理论目前我们能描述两个极端但对有限宽度、有限初始化尺度下从惰性到富特征的完整相变过程缺乏精确的定量理论和相边界预测。从第一性原理推导特征学习特征学习是深度学习的核心。我们需要超越有/无特征学习的定性描述建立一个能精确预测特征在训练过程中如何演化、何时形成、最终结构的数学框架。表征的共相分类不同的网络和数据常常涌现出相似的表征结构。能否像物理学对物质相的分类那样提出一套识别表征类型的理论指出什么条件导致什么样的表征预测缩放定律指数今天我们知道损失遵循幂律但无法从数据和架构特性先验地预测指数。解开指数是缩放定律研究的圣杯。为离散化假说建立严格基础2.2节真实网络是有噪离散近似需要将这个概念数学化并定量计算出有限宽度、深度、学习率等引入的修正项证明它们在有利情况下确实很小。理解优化器的隐式偏差虽然已知学习率、批量大小等会隐式地正则化曲率或改变收敛方向但需要一个统一的理论能从超参数直接预测训练最终的泛化性能和解的性质而不是仅预测训练轨迹。从第一性原理推导超参数最优值这是终极的工程目标消除超参数调优。给定架构、数据和算力预算后理论应当直接输出最优的学习率、批量大小、网络深度和宽度等。发展非平衡态学习力学真实网络大部分时间并非处于损失景观的极小点而是处于具有持续噪声和振荡的非平衡稳态尤其在 SGD 下。需要发展一套类似非平衡态统计力学的工具来描述这种状态下的统计性质和泛化行为。理解分布式训练和同步的作用大规模训练多采用数据并行等分布式策略这会改变噪声结构和有效批量大小。理论需要告诉我们分布式训练何时会改变学习的结果以及如何最优地设置并行度。与人脑和生物学习建立联系作为长远愿景学习力学揭示的约束和最优策略可能会对理解生物大脑的学习规则和计算原则提供深刻的规范性洞见。6. 组织大家可以找到组织了learningmechanics.pub 。对照与笔者的大模型数理框架对照分析与“学习力学”意图一致笔者通过数理框架刻画训练动力学、表征结构与泛化行为之间的关系本质上是高维统计系统的演化规律。Transformer整体表现为一个多步重整化过程参数在损失函数驱动下的动力学重整化流最终进入稳定的固定点对应具有良好泛化能力的解。同一吸引子结构可以解释为什么不同架构不同初始化能够收敛到类似结果。Scaling law与跨架构一致性体现出普适性说明宏观行为由少数变量决定。Attention是一种动态相互作用类似Ising模型中的耦合关系可以作为粗粒化算子在逐层计算中压缩信息、提取结构。表征空间的演化则对应对称性破缺。训练初期embedding近似无结构随着训练推进空间被拉伸与分化形成稳定的聚类与流形即语义范畴。范畴化是系统稳定运行的基础机制与预测过程深度耦合。这是笔者心目中的整体图景大模型是一个在高维概率空间中通过重整化流演化、借助Attention进行粗粒化并通过对称性破缺形成范畴结构的统计物理系统。这个框架不仅良好匹配前沿的大模型行为也在神经生物学新发现中不断得到验证。读者可以参考《清熙》的相应文章。文献1There Will Be a Scientific Theory of Deep Learninghttps://arxiv.org/pdf/2604.21691阅读最新前沿科技趋势报告请访问21世纪关键技术研究院的“未来知识库”未来知识库是“21世纪关键技术研究院”建立的在线知识库平台收藏的资料范围包括人工智能、脑科学、互联网、超级智能数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。截止到2月28日 ”未来知识库”精选的百部前沿科技趋势报告加入未来知识库全部资料免费阅读和下载牛津未来研究院 《将人工智能安全视为全球公共产品的影响、挑战与研究重点》麦肯锡超级智能机构赋能人们释放人工智能的全部潜力AAAI 2025 关于人工智能研究未来研究报告斯坦福2025 斯坦福新兴技术评论十项关键技术及其政策影响分析报告191 页壳牌2025 能源安全远景报告能源与人工智能57 页盖洛普 牛津幸福研究中心2025 年世界幸福报告260 页Schwab 2025 未来共生以集体社会创新破解重大社会挑战研究报告36 页IMD2024 年全球数字竞争力排名报告跨越数字鸿沟人才培养与数字法治是关键214 页DS 系列专题DeepSeek 技术溯源及前沿探索50 页 ppt联合国人居署2024 全球城市负责任人工智能评估报告利用 AI 构建以人为本的智慧城市86 页TechUK2025 全球复杂多变背景下的英国科技产业战略韧性与增长路径研究报告52 页NAVEX Global2024 年十大风险与合规趋势报告42 页《具身物理交互在机器人 - 机器人及机器人 - 人协作中的应用》122 页2025 - 2035 年人形机器人发展趋势报告 53 页Evaluate Pharma2024 年全球生物制药行业展望报告增长驱动力分析29 页【AAAI2025 教程】基础模型与具身智能体的交汇350 页 pptTracxn2025 全球飞行汽车行业市场研究报告45 页谷歌2024 人工智能短跑选手AI Sprinters捕捉新兴市场 AI 经济机遇报告39 页【斯坦福博士论文】构建类人化具身智能体从人类行为中学习《基于传感器的机器学习车辆分类》最新 170 页美国安全与新兴技术中心2025 CSET 对美国人工智能行动计划的建议18 页罗兰贝格2024 人形机器人的崛起从科幻到现实如何参与潜在变革研究报告11 页兰德公司2025 从研究到现实NHS 的研究和创新是实现十年计划的关键报告209 页康桥汇世Cambridge Associates2025 年全球经济展望报告44 页国际能源署2025 迈向核能新时代麦肯锡人工智能现状组织如何重塑自身以获取价值威立Wiley2025 全球科研人员人工智能研究报告38 页牛津经济研究院2025 TikTok 对美国就业的量化影响研究报告470 万岗位14 页国际能源署IEA能效 2024 研究报告127 页Workday 2025 发挥人类潜能人工智能AI技能革命研究报告20 页CertiKHack3D2024 年 Web3.0 安全报告28 页世界经济论坛工业制造中的前沿技术人工智能代理的崛起》报告迈向推理时代大型语言模型的长链推理研究综述波士顿咨询2025 亚太地区生成式 AI 的崛起研究报告从技术追赶者到全球领导者的跨越15 页安联Allianz2025 新势力崛起全球芯片战争与半导体产业格局重构研究报告33 页IMT2025 具身智能Embodied AI概念、核心要素及未来进展趋势与挑战研究报告25 页IEEE2025 具身智能Embodied AI综述从模拟器到研究任务的调查分析报告15 页CCAV2025 当 AI 接管方向盘自动驾驶场景下的人机交互认知重构、变革及对策研究报告124 页《强化学习自我博弈方法在兵棋推演分析与开发中的应用》最新 132 页《面向科学发现的智能体人工智能进展、挑战与未来方向综述》全国机器人标准化技术委员会人形机器人标准化白皮书2024 版96 页美国国家科学委员会NSB2024 年研究与发展 - 美国趋势及国际比较51 页艾昆纬IQVIA2025 骨科手术机器人技术的崛起白皮书创新及未来方向17 页NPLBeauhurst2025 英国量子产业洞察报告私人和公共投资的作用25 页IEA PVPS2024 光伏系统经济与技术关键绩效指标KPI使用最佳实践指南65 页AGI 智能时代2025 让 DeepSeek 更有趣更有深度的思考研究分析报告24 页2025 军事领域人工智能应用场景、国内外军事人工智能发展现状及未来趋势分析报告37 页华为2025 鸿蒙生态应用开发白皮书133 页《超级智能战略研究报告》中美技术差距分析报告 2025欧洲量子产业联盟QuIC2024 年全球量子技术专利态势分析白皮书34 页美国能源部2021 超级高铁技术Hyperloop对电网和交通能源的影响研究报告60 页罗马大学2025 超级高铁Hyperloop第五种新型交通方式 - 技术研发进展、优势及局限性研究报告72 页兰德公司2025 灾难性网络风险保险研究报告市场趋势与政策选择93 页GTI2024 先进感知技术白皮书36 页AAAI2025 人工智能研究的未来报告17 大关键议题88 页安联 Allianz2025 新势力崛起全球芯片战争与半导体产业格局重构研究报告威达信2025 全球洪水风险研究报告现状、趋势及应对措施22 页兰德公司迈向人工智能治理研究报告2024EqualAI 峰会洞察及建议19 页哈佛商业评论2025 人工智能时代下的现代软件开发实践报告12 页德安华全球航空航天、国防及政府服务研究报告2024 年回顾及 2025 年展望27 页奥雅纳2024 塑造超级高铁Hyperloop的未来监管如何推动发展与创新研究报告28 页HSOAC2025 美国新兴技术与风险评估报告太空领域和关键基础设施24 页Dealroom2025 欧洲经济与科技创新发展态势、挑战及策略研究报告76 页《无人机辅助的天空地一体化网络学习算法技术综述》谷歌云Google Cloud2025 年 AI 商业趋势白皮书49 页《新兴技术与风险分析太空领域与关键基础设施》最新报告150 页《DeepSeek 大模型生态报告》军事人工智能行业研究报告技术奇点驱动应用加速智能化重塑现代战争形态 - 25030940 页真格基金2024 美国独角兽观察报告56 页璞跃Plug and Play2025 未来商业研究报告六大趋势分析67 页国际电工委员会IEC2025 智能水电技术与市场展望报告90 页RWS2025 智驭 AI 冲击波人机协作的未来研究报告39 页国际电工委员会IEC2025 智能水电技术与市场展望报告90 页RWS2025 智驭 AI 冲击波人机协作的未来研究报告39 页未来今日研究所 2025 年科技趋势报告第 18 版 1000 页模拟真实世界多模态生成模型的统一综述中国信息协会低空经济分会低空经济发展报告2024 - 2025117 页浙江大学2025 语言解码双生花人类经验与 AI 算法的镜像之旅42 页人形机器人行业由 “外” 到 “内” 智能革命 - 25030651 页大成2025 年全球人工智能趋势报告关键法律问题28 页北京大学2025 年 DeepSeek 原理和落地应用报告57 页欧盟委员会 人工智能与未来工作研究报告加州大学伯克利分校面向科学发现的多模态基础模型在化学、材料和生物学中的应用电子行业从柔性传感到人形机器人触觉革命 - 25022635 页RT 轨道交通2024 年中国城市轨道交通市场数据报告188 页FastMoss2024 年度 TikTok 生态发展白皮书122 页Check Point2025 年网络安全报告 - 主要威胁、新兴趋势和 CISO 建议57 页【AAAI2025 教程】评估大型语言模型挑战与方法199 页 ppt《21 世纪美国的主导地位核聚变》最新报告沃尔特基金会Volta Foundation2024 年全球电池行业年度报告518 页斯坦福2025 斯坦福新兴技术评论十项关键技术及其政策影响分析报告191 页国际科学理事会2025 为人工智能做好国家研究生态系统的准备 - 2025 年战略与进展报告英文版118 页光子盒2025 全球量子计算产业发展展望报告184 页奥纬论坛2025 塑造未来的城市研究报告全球 1500 个城市的商业吸引力指数排名124 页Future Matters2024 新兴技术与经济韧性日本未来发展路径前瞻报告17 页《人类与人工智能协作的科学与艺术》284 页博士论文《论多智能体决策的复杂性从博弈学习到部分监控》115 页《2025 年技术展望》56 页 slides大语言模型在多智能体自动驾驶系统中的应用近期进展综述【牛津大学博士论文】不确定性量化与因果考量在非策略决策制定中的应用皮尤研究中心2024 美国民众对气候变化及应对政策的态度调研报告气候政策对美国经济影响的多元观点审视28 页空间计算行业深度发展趋势、关键技术、行业应用及相关公司深度梳理 - 25022433 页Gartner2025 网络安全中的 AI明确战略方向研究报告16 页北京大学2025 年 DeepSeek 系列报告 - 提示词工程和落地场景86 页北京大学2025 年 DeepSeek 系列报告 - DeepSeek 与 AIGC 应用99 页CIC 工信安全2024 全球人工智能立法的主要模式、各国实践及发展趋势研究报告42 页中科闻歌2025 年人工智能技术发展与应用探索报告61 页AGI 智能时代2025 年 Grok - 3 大模型技术突破与未来展望报告28 页上下滑动查看更多