延世大学揭秘：为何AI记忆模型越用越“糊涂“？

这项由韩国延世大学Yonsei University研究团队完成的研究以预印本形式发布于2026年5月论文编号为arXiv:2605.07755有兴趣深入了解的读者可通过该编号查询完整论文。当我们谈起人工智能处理长篇文字或复杂序列时有一个看似简单却让研究者头疼已久的问题为什么有些AI模型在短序列上表现得游刃有余到了长序列却开始犯糊涂延世大学的研究团队决定认真追究这个问题的根源而他们得到的答案颠覆了过去许多人对AI记忆能力的认知。故事要从一个熟悉的场景说起。设想你正在玩一个传话游戏第一个人把一段话悄悄告诉第二个人第二个人告诉第三个人以此类推。随着传递的次数增多原本清晰的信息会逐渐变形甚至面目全非。这种偏差累积的现象正是这篇论文试图解剖的核心问题——只不过研究的对象是AI模型内部用于记住当前状态的隐藏数字。一、大家都在讨论AI能不能记住却忽略了一个更重要的问题过去几年学界对于循环神经网络RNN和状态空间模型SSM这类AI架构的研究几乎都围绕着一个核心问题这个模型理论上能不能记住某种规则换句话说研究者们更关心的是表达能力——就好像问一个人是否具备讲某种语言的潜力而不是问他在疲惫、嘈杂的环境下实际上能把这门语言讲多久而不出错。延世大学的研究团队指出这种研究视角存在一个盲区。一个模型即使理论上能够表示某种状态转换规则也未必能在反复使用的过程中稳定地维持这些状态。真正决定模型能不能长期稳定工作的是它在运行过程中如何管理那些悄悄累积的错误偏差。研究团队把这个维度称为错误控制error control并将其定义为模型内部用于区分不同状态的方向上偏差漂移的动态规律。为了让这个概念更直观可以借用一个导航的比喻。假设你开车从北京去上海导航系统每隔一段时间更新一次你的位置。如果导航每次更新时都能精确校正位置那么不管路程多远你始终知道自己在哪里。但如果导航系统每次更新都只是在上一次的基础上大致移动一下不做任何校正那么随着行驶距离的增加估计的位置和实际位置之间的差距会越来越大最终完全迷失方向。错误控制说的就是这个位置校正的能力。二、两类模型一道看不见的分界线研究团队将实验中涉及的所有循环模型按照一个关键特征分成两大类。第一类叫做仿射模型affine models包括当下流行的Mamba、Mamba-3、AUSSM等状态空间模型以及线性RNN和令牌门控RNN。这类模型的共同特点是在更新内部状态时新状态和旧状态之间的关系是线性的——就像用一把固定的尺子量距离不管量的是什么东西尺子的刻度始终一样。第二类叫做状态依赖模型state-dependent models代表是经典的tanh RNNElman网络和状态门控RNN。这类模型的特点是更新规则本身会随当前状态的不同而发生变化——就像一个有经验的厨师他调整火候的方式会根据锅里食物的实际状态灵活改变而不是始终机械地设定同一个火力。研究团队用严格的数学方式证明了一个令人深思的结论仿射模型在保持状态不变这件事和纠正状态偏差这件事之间存在一个根本性的矛盾二者无法同时做到。三、为什么仿射模型无法修正自身的偏差要理解这个数学结论可以继续用导航的比喻。假设导航系统里存储了六个目的地每个目的地对应一个固定的坐标就好比AI模型里每个符号状态对应一个固定的隐藏向量研究中称之为表示。当一段输入序列走完一圈最终回到原点时导航系统必须把所有六个目的地的坐标都精确地恢复原样——这就是所谓的保持状态。但问题来了如果导航系统是线性的即仿射的那么当它把所有目的地坐标都精确恢复原样时它对各目的地之间的方向差异这个关键维度的处理方式只能是保持原样——既不放大也不缩小。换句话说如果一开始导航因为某些噪音把你的估计位置偏向了某个目的地的方向经过一圈回来之后这个偏差依然原封不动地存在。线性系统在保持状态和纠正偏差这两个目标之间被迫选择了前者而自动放弃了后者。这就是论文中核心定理定理1的直观含义一旦仿射回归映射精确地保住了所有符号状态它在那些用于区分不同状态的方向上的作用就只能是恒等变换——既不收缩也不扩张偏差永远留存。与之形成对比的是状态依赖模型。这类模型的更新规则本身取决于当前状态就像一位有经验的船长他在不同海况下会采用完全不同的操舵策略。正因如此状态依赖模型可以在固定住正确状态的同时对偏差方向施加一个往回拉的力量让错误随时间逐渐消散而不是积累。四、仿射模型的有限地平线偏差积累到什么程度才会崩溃既然仿射模型无法修正偏差是不是意味着它们一开始就会失效并非如此。研究团队进一步推导出了描述仿射模型能撑多久的理论框架。核心思路是这样的虽然偏差无法被消除但只要各状态之间的距离即不同符号状态对应的隐藏向量在空间中的间隔依然足够大解码器还是能够准确分辨出当前模型处于哪个状态。这就好像传话游戏中即便每个人说话都有轻微口音只要信息没有被扭曲到完全认不出来的程度下一个人还是能猜出原意。研究团队定义了三个关键量来刻画这个撑多久的过程。第一个是类内扩散within-class spread指的是同一个符号状态对应的所有隐藏向量彼此之间散开的程度——随着运行步数增加这些本应紧凑的向量云会越来越松散就像一群羊在草地上越走越散。第二个是类间间距between-class separation指的是不同符号状态对应的向量中心之间的距离——这个值表示不同羊群之间的空旷地带有多宽。第三个是两者的比值研究团队称之为可区分度比率distinguishability ratio记作q(t)。当q(t)小于0.5时解码器依然能够可靠地识别出当前状态因为各个羊群之间的间距还是大于单个羊群内部的散开程度。一旦q(t)超过0.5或在实验中观测到接近1的阈值各个羊群开始混在一起解码器就无法准确判断了模型的输出正确率随之崩溃。根据推论推论1在偏差持续以某个固定速率累积的情况下q(t)会随时间线性增长最终在某个时刻Tcross越过阈值模型就此失效。研究团队还给出了估算这个临界时刻的公式Tcross大约等于解码器阈值乘以类间间距再除以偏差累积速率。这意味着初始类间间距越大、偏差累积越慢模型能维持正确输出的有限地平线就越长。五、用真实实验验证理论符号追踪任务的全面测试为了把理论落地延世大学的研究团队设计了一套经典的群状态追踪group state-tracking实验。所谓群状态追踪是指给模型输入一串符号要求它在每一步输出当前的状态这个状态是由所有历史输入按照某种固定规则数学上称为群运算组合而成的。研究选取了三种难度递增的任务。第一种是奇偶性任务C2就是数一数输入序列里1出现了多少次如果是偶数次则输出偶奇数次则输出奇——这是所有循环规则中最简单的一种。第二种是六元循环群C6相当于模六计数任意改变输入顺序不影响最终结果。第三种是三阶对称群S3包含对三个元素的所有可能排列共六种状态关键在于它是非阿贝尔群——换句话说输入顺序至关重要先做操作A再做操作B和先做B再做A结果完全不同。这使得S3成为循环记忆任务中最有挑战性的一种。所有模型都在长度不超过60的序列上训练然后被要求在长度100至1000的序列上完成任务。评判标准是模型能在多长的序列上维持90%以上的准确率这个值被称为最大通过长度max-passing lengthmp。实验结果呈现出非常清晰的两极分化。状态依赖模型tanh RNN和状态门控RNN在所有三个任务、所有测试长度上几乎都能维持1000步的准确率远超训练长度。而仿射模型则参差不齐有些在最简单的C2任务上也无法通过基本训练有些能撑到200或300步极少数在特定条件下能达到1000步但在更复杂的S3任务上几乎所有仿射模型都挣扎明显。值得特别关注的是几个异类案例。Negative Mamba在C2任务上双层结构均可达到1000步令牌门控RNN在C2单层和S3双层上也达到了1000步。研究团队并没有因此就说这些仿射模型其实也能做到而是进一步追问它们究竟是靠什么撑到1000步的真的是具备了错误修正能力还是另有隐情六、注射噪声看看谁能自我愈合为了直接检验各模型的错误修正能力研究团队做了一个噪声注射实验堪称整篇论文中最直观的部分。做法是这样的让模型正常运行到第20步然后悄悄往它的隐藏状态里注入一小段随机噪声就好像在传话游戏进行到一半时故意在某人耳边额外说了几个无意义的音节之后继续让模型按正常输入运行同时监测被污染的版本和干净的版本之间的差距随时间如何变化。如果一个模型具备真正的错误修正能力那么这个差距应该会随时间迅速缩小最终消失——就像一个好的导航系统哪怕位置被扰动了也能在几步之内把自己校正回正确轨迹。如果一个模型没有错误修正能力差距要么保持不变要么越来越大。结果非常符合理论预期。tanh RNN和状态门控RNN的误差在注射噪声后的几十步内就迅速缩小了好几个数量级差距几乎降到零展示出强大的自我愈合能力。Mamba、Mamba-3和Negative Mamba则通过它们固有的对角衰减机制每步都有一个小于1的收缩因子让误差缓慢下降但这种收缩是全局性的、无差别的并非针对区分状态的方向的有针对性修正。令牌门控RNN则更极端注射噪声后误差反而急剧放大最终达到原来的数百亿倍。这是因为它的权重矩阵谱半径大于1为了维持状态可分性而放大了所有方向的差异自然也包括噪声。七、可区分度比率的演化饱和还是攀升接下来研究团队直接测量了理论框架中最核心的量——可区分度比率q(t)随时间的变化轨迹。实验结果呈现出两种截然不同的仿射模型失效模式与理论中的两种情形完美对应。第一种叫做饱和saturation以Mamba和Mamba-3为代表这类模型从一开始就处于q(t)超过阈值的状态——也就是说它们的状态云从序列开始就已经混乱不堪根本无法可靠追踪。第二种叫做攀升climb以Negative Mamba和令牌门控RNN为代表这类模型初始时q(t)低于阈值状态还算清晰但随着步数增加q(t)像一条缓缓上升的曲线最终越过阈值模型在此刻开始失效。两种失效模式的背后机制也有所不同。令牌门控RNN的可区分度和类间距离同时增长两者的比值上升得相对缓慢。Negative Mamba则依靠其对角过渡参数化直接约束类内扩散因此攀升速度更慢维持可读状态的时间更长。但无论哪种情况理论预测的临界时刻Tcross都比各自的最大通过长度mp提前出现与可读性崩溃导致下游失效的机制完全吻合。与此同时tanh RNN和状态门控RNN的q(t)始终保持在0.5以下从未越过解码边界——与理论预测的状态依赖模型能持续提供有选择性的误差收缩完全一致。八、追踪偏差的方向到底是哪里出了问题理论告诉我们仿射模型无法修正的偏差集中在用于区分不同符号状态的方向上——研究团队称这个方向跨越的子空间为符号子空间symbolic subspace。为了验证这一点他们进一步把类内偏差分解成两部分落在符号子空间内的分量以及落在垂直于符号子空间的方向上的分量。对于Negative Mamba和令牌门控RNN实验观察到一个有趣的动态过程在运行初期大部分偏差其实分布在与符号子空间垂直的方向上而不是在符号子空间内部——这意味着虽然模型的内部状态在变乱但这种混乱暂时还不影响区分不同状态的能力。然而随着步数接近各模型的最大通过长度两个方向上偏差的大小关系发生了逆转符号子空间内部的偏差开始追上并超越垂直方向上的偏差。这个关键的翻转时刻与模型准确率开始崩溃的时间点高度吻合。状态依赖模型则展示出完全相反的图景它们的符号子空间内部偏差始终被压制在极低水平大部分偏差安静地待在垂直方向上——那些方向对状态识别没有任何影响所以即便存在一些混乱也完全不影响模型的正确输出。这个发现进一步佐证了核心理论仿射模型在符号子空间上无力修正偏差最终让偏差蔓延到关键方向而状态依赖模型能够有选择性地管理关键方向上的偏差把干扰控制在无关痛痒的范围之内。九、临界时刻Tcross真的能预测失效吗理论的终极检验是看它的定量预测是否准确。研究团队在S3任务上收集了113个不同配置包括不同超参数和随机种子的仿射模型每个模型都有对应的最大通过长度mp和通过测量可区分度比率计算得到的临界时刻Tcross。值得一提的是实验中观察到的实际失效时刻比理论上最保守的最近邻解码边界q0.5对应的时刻略晚——更接近q1的时刻即类内扩散程度和类间距离完全相当时。这是因为实际训练出来的解码器比理论上最简单的最近邻规则更鲁棒一些能在稍微混乱一点的状态下依然做出正确判断。但两个阈值的预测都受到同一个累积偏差机制的驱动所以Tcross对二者都有很好的预测力。十、修正能力来自哪里激活函数的解剖在理论和实验的基础上研究团队还专门研究了什么样的非线性变换真正带来了错误修正能力。他们固定了普通RNN的骨架结构只改变激活函数测试各种非线性操作对S3状态追踪的影响。结果发现关键不在于是不是非线性的而在于这个非线性操作能不能对不同的状态方向产生不同的响应。标准的逐元素激活函数如tanh和ReLU都能成功因为它们的梯度矩阵是对角的对角元素依赖于当前隐藏状态因此在不同状态下可以对区分状态的方向施加不同强度的收缩。逐对操作max、min和GroupSort同样有效因为它们本质上是状态依赖的置换操作能够以不同方式混合各状态下的关键方向。然而向量级别的归一化操作LayerNorm和球面投影尽管也是非线性的却无法带来真正的错误修正能力。原因在于它们的雅可比矩阵虽然依赖于整体状态但对不同方向的处理几乎是各向同性的——就像一把能收缩任何方向的橡皮筋而不是一把能有针对性地压缩某个特定方向的弹簧夹。这种全方向均匀收缩的操作本质上仍然无法提供符号子空间上有针对性的修正因此行为类似于仿射模型。这一发现意义深远它告诉我们在设计具备长期记忆能力的循环模型时我们应该关注的不是激活函数的非线性程度而是它是否能根据当前状态对不同的空间方向产生有差别的响应。十一、C2是个特殊的漏网之鱼细心的读者会发现实验结果中C2奇偶性任务是一个异类多个仿射模型在这个任务上达到了1000步而在C6和S3上却表现不佳。难道说仿射模型在C2上真的克服了错误控制问题研究团队专门对此做出了解释。C2是一个非常特殊的二元对称群它的结构允许仿射模型通过一种中性振荡的方式维持正确输出只要一个线性变换能把两个状态对应的向量精确互换它自然构成一个周期为2的轮换偏差在每步之后会翻转符号但只要偏差的幅度没有超过解码器的容忍边界输出仍然是正确的。这种机制在数学上等价于仿射映射Fa满足Fa(cgδ)c_{g·a}-δ以及Fa?(cgδ)cgδ。偏差被翻转了但没有被消除。对于C2这样只有两个状态、决策边界宽裕的任务这种翻转振荡完全不会导致解码错误。但对于有更多状态的C6或S3每个状态对应的决策区域要窄得多同样大小的偏差就可能越过边界导致错误识别。C2的成功因此是一个特例利好而非真正的错误修正能力。说到底这项研究揭示的是一个被长期忽视的关键维度。过去大家热衷于问这个模型理论上能不能表示某种规则但延世大学的研究者问的是另一个问题这个模型在反复运行的过程中能不能持续地把自己维持在正确轨道上二者的答案可以截然不同。一个在设计图纸上看起来完美的导航系统如果无法在行驶过程中持续校正位置偏差最终也会带你走进死胡同。而一个能够随时根据当前位置灵活调整校正策略的系统才是真正可靠的长途伴侣。这项研究对于未来AI长程记忆模型的设计提供了非常具体的方向仅仅保证模型理论上能表示目标规则是不够的还必须确保模型的动态机制能够持续对关键方向上的偏差施加收缩力。对于普通使用者而言这意味着在选择和评估AI系统时不妨多关注它在长序列、长时程任务上的实际表现而不仅仅是短序列上的亮眼成绩——因为真正考验一个记忆系统的永远是它在最长的那段路上能否不迷失方向。感兴趣的读者可以通过arXiv编号2605.07755找到完整的论文深入了解这些理论推导和实验细节。QAQ1仿射模型和状态依赖模型在状态追踪任务上的根本区别是什么A仿射模型在更新内部状态时新旧状态之间的关系是固定线性的这导致一旦它精确保住了各个符号状态就完全失去了纠正偏差的能力偏差会随时间不断累积。状态依赖模型的更新规则本身会随当前状态变化因此可以在保住正确状态的同时对偏差方向施加有针对性的收缩力让错误随时间消散而非积累。Q2可区分度比率q(t)是什么它如何预测模型失效A可区分度比率q(t)是类内扩散同一状态下隐藏向量的散开程度与类间间距不同状态中心之间的距离的比值。当q(t)低于0.5时解码器还能可靠识别当前状态一旦q(t)越过阈值实验中接近1各状态的向量云开始混叠解码器无法分辨准确率随之崩溃。研究发现q(t)首次越过阈值的时刻Tcross与模型实际失效的最大通过长度之间存在极强的预测关系相关系数高达0.87。Q3为什么LayerNorm等归一化操作无法带来错误修正能力ALayerNorm和球面投影虽然是非线性的但它们对不同空间方向的处理近乎各向同性——无论哪个方向都受到相似程度的缩放无法根据当前状态对区分符号状态的关键方向产生有针对性的收缩。真正有效的激活函数如tanh、ReLU、max/min能够对不同方向产生状态依赖的、差异化的响应这才是带来符号子空间上选择性误差修正的根本原因。