流式深度强化学习突破“流式壁垒”：“意图更新”算法性能比肩SAC，计算量仅1/140

一脚油门开出了多大的坑传统梯度学习的步长规定参数每次移动多大但对函数输出改变多少缺乏控制。就像驾车学习停车入库教练规定每次「踩油门0.1秒」但不同路况下车子前进距离差异大有时差一厘米入库有时差30厘米撞墙。在批量训练时样本误差平均后问题不明显但在「流式」环境下每步只有一个样本无平均可言梯度方向不稳定会导致更新幅度忽大忽小学习过程崩溃。这种「过冲与欠冲」现象在强化学习中尤为严重因为每个时间步的梯度幅度和方向变化大。重新定义「一步该做多少」Openmind研究院的Arsalan Sharifnassab与阿尔伯塔大学的Mohamed Elsayed、A. Rupam Mahmood和Richard Sutton等人在近日发表的论文中提出换个角度思考的方案与其指定参数移动多少不如直接指定函数输出该改变多少。这个想法并非凭空而来1967年日本学者Nagumo和Noda在自适应滤波领域提出「归一化最小均方差」NLMS算法本质是用期望的输出变化反推步长但该算法只适用于简单线性场景。研究者将此思路推广到深度强化学习提出「意图更新」每次更新前明确「希望这一步实现什么」然后反推出步长。对于价值学习定义的意图是每次更新后当前状态的价值预测误差缩小固定比例如5%对于策略学习定义的意图是当前动作的选择概率每步只允许改变「适度」的量。用驾车比喻就是司机先决定「让车向前移动20厘米」再根据路况自动计算踩油门深度。图灵奖得主与他的拼图论文署名之一是2024年图灵奖得主Richard S. Sutton他被称为「现代强化学习之父」。Sutton提出了时间差分学习和策略梯度两个现代强化学习基础框架还与Andrew Barto合著该领域权威教材《Reinforcement Learning: An Introduction》。他与Barto于2024年共享图灵奖奖项评语是「为强化学习奠定了概念与算法基础」。获奖后Sutton将奖金投入创立的Openmind研究院资助探索基础问题的年轻研究者。论文一作Sharifnassab此前在ICML 2025发表了MetaOptimize框架研究在线自动调整学习率两个课题都关注如何让步长更智能。算法细节比想象中简洁「意图更新」的数学推导不复杂核心公式为步长等于「期望的输出变化量」除以「梯度方向对输出的实际影响力」。在价值学习中「实际影响力」是梯度向量的范数越陡的地方步长越小越平的地方步长越大保证每次更新对价值函数的冲击一致。在策略学习中「期望变化量」与优势函数成比例通过跑动平均归一化量级确保策略改变幅度稳定。研究者还将核心思想与RMSProp风格的对角缩放和资格迹结合形成三个完整算法用于价值预测的Intentional TD (λ)、用于离散动作控制的Intentional Q (λ)以及用于连续控制的Intentional Policy Gradient。实验结果不靠GPU也能打平SAC论文在多个标准基准上评估该方法结果令人印象深刻。在MuJoCo连续控制任务上新方法Intentional AC在流式设置下的最终性能多次接近甚至比肩SAC而每次Intentional AC更新所需的浮点运算只有一次SAC更新的约1/140。在Atari和MinAtar离散动作游戏上Intentional Q - learning的表现与使用回放缓冲区的DQN相当且用同一套超参数设置跑通全部任务无需逐个调参。研究者验证了「意图」是否实现测量实际更新量与预期更新量的比值在禁用资格迹的简化设置下该比值标准差仅为0.016到0.02999分位数均在1.07以内说明更新基本做到「说好要做多少就做多少」。消融实验表明去掉RMSProp归一化或σ项后性能有所下降但仍有竞争力「意图缩放」是首要贡献者其他组件是辅助。问题还是有的「意图更新」框架在鲁棒性上有明显优势去掉StreamX方法依赖的稳定化辅助技巧时Intentional AC的性能退化少于原始StreamAC说明意图缩放减少了对外部「拐杖」的依赖。但论文也指出未完全解决的问题策略学习中步长依赖当前采样动作会使不同动作被赋予不同「权重」可能改变策略梯度的期望方向。在Humanoid和HumanoidStandup任务中该偏差影响小但在Ant - v4中对齐度降至中位数0.63问题不能忽视。作者指出未来应寻找对动作无关的步长选择策略使「意图」在期望意义下无偏。结语让AI像人一样边做边学当前主流大模型训练范式依赖海量数据批量消化是「先学后用」训练完成后模型冻结无法持续更新。流式强化学习追求不依赖海量回放和庞大GPU集群每步经历立即转化为参数更新更接近人类和动物的学习方式。从2024年Elsayed等人的初步突破到「意图更新」原则的提出流式深度强化学习正快速走向成熟。它不会取代批量训练的大模型但对于需长期在线适应的机器人、边缘设备及无法承受大规模回放缓冲区和GPU集群的应用场景越来越有说服力。步长可控学习就稳定。