从 BERT 到 RoPE：NLP 模型长文本处理的进化之路

1. 引言长文本处理的困境在自然语言处理NLP的早期阶段模型如 RNN循环神经网络和 LSTM长短期记忆网络虽然在处理序列数据方面取得了进展但其固有的顺序计算特性导致了训练效率低下和梯度消失/爆炸问题。2017年Google 提出的Transformer架构通过自注意力机制彻底改变了这一领域。然而Transformer 并非完美。其核心的自注意力机制具有O(n²)的时间和空间复杂度n 为序列长度。这意味着当处理的文本从几百字增加到几万字甚至几十万字如小说、财报、长对话时计算资源的消耗会呈指数级增长。更为棘手的是早期的 Transformer 模型如 BERT由于采用了特定的位置编码策略一旦输入的文本长度超过了训练时设定的最大长度通常是 512模型的性能往往会急剧下降出现所谓的“断崖式”崩溃。本文将沿着技术发展的脉络探讨研究者们如何一步步突破这一瓶颈从 BERT 的绝对位置编码演进到如今大模型LLM中广泛应用的 RoPE 旋转位置编码以及展望未来可能颠覆 Transformer 的新架构。2. Transformer 的基石位置编码的起源2.1 为什么需要位置编码要理解长文本处理的难点必须先理解 Transformer 的本质。与 RNN 不同Transformer 的 Attention 机制是“无状态”和“无序”的。对于标准的 Transformer 来说输入是一个集合Set。如果不引入位置信息模型看待“我爱你”和“你爱我”这两句话的词向量集合是完全一样的因为注意力机制只会计算词与词之间的相关性而不知道它们谁先谁后。因此必须向输入中注入关于词语位置的信息这便是位置编码。2.2 绝对位置编码Sinusoidal在原始论文《Attention Is All You Need》中作者提出了Sinusoidal 绝对位置编码。其核心思想是使用不同频率的正弦和余弦函数来计算位置向量PE(pos,2i)sin(pos/100002i/dmodel)PE(pos,2i)​sin(pos/100002i/dmodel​)PE(pos,2i1)cos(pos/100002i/dmodel)PE(pos,2i1)​cos(pos/100002i/dmodel​)其中pospos 表示位置ii 表示维度索引。优点无需学习避免了训练过程中的额外参数量。相对位置表达由于三角恒等式PEposkPEposk​ 可以表示为 PEposPEpos​ 的线性变换。理论上模型可以轻易地通过绝对位置的代数关系捕捉相对位置。然而这种编码方式虽然精巧但在后续的实践中逐渐被可学习的位置编码取代。3. BERT 的时代绝对位置编码的局限3.1 可学习的位置编码随着 BERT 的出现NLP 进入了预训练时代。BERT 采用了可学习的绝对位置编码。模型不再使用固定的三角函数公式而是初始化一个位置嵌入矩阵 [max_seq_len,hidden_size][max_seq_len,hidden_size]让模型在预训练过程中通过反向传播自行调整这些向量。这种做法在当时取得了巨大的成功因为它赋予了模型更大的灵活性来适应不同任务中位置信息的细微差别。3.2 BERT 在处理长文本时的“断崖式”崩溃BERT 的最大输入长度通常设定为 512。这里的 512 不仅是计算资源的限制更是建模能力的限制。当输入长度超过 512 时模型面临两个主要问题位置编码截断BERT 的位置编码矩阵只训练到了第 512 个位置。第 513 个位置的向量是模型从未见过的相当于输入了一个 OOV未登录词的词向量模型无法理解这个位置的含义。分布外推Out-of-Distribution即便强行给第 513 位赋予一个向量例如重复使用第 512 位的向量由于注意力机制在极长序列上的分布与短序列截然不同模型依然会表现糟糕。这导致了一个现象在长文本任务中BERT 的表现会迅速下降到一个随机的水平如同断崖一般。4. 第一波进化相对位置编码的萌芽研究者们意识到绝对的“第 5 个词”这个概念往往没有“两个词相距 3 个位置”这个信息重要。因此相对位置编码成为了解决长文本问题的第一个突破口。4.1 RPRRelative Position Representations由 Shaw et al. 在 2018 年提出的 RPR是最早引入相对位置思想的方案之一。其核心思想是在计算 Attention 权重时除了 Query 和 Key 的内容外加上它们之间的相对位置偏差。传统的 Attention 计算Attention(Q,K,V)softmax(QKTdk)VAttention(Q,K,V)softmax(dk​​QKT​)V引入相对位置后eijxiWQ(xjWKaijK)Tdzeij​dz​​xi​WQ(xj​WKaijK​)T​这里aijKaijK​ 是一个可学习的嵌入向量表示位置 ii 和位置 jj 的相对距离 j−ij−i 所对应的位置信息。这相当于告诉模型“当关注词 jj 时因为它在词 ii 后面第 3 个位置所以这个关系应该影响我的注意力权重”。4.2 Transformer-XL 与状态复用Transformer-XL 是相对位置编码应用的另一个里程碑它主要解决了两个问题片段独立和上下文碎片。之前的模型在训练时虽然可以处理几百个词的序列但长文本必须被截断成多个片段片段之间没有任何信息传递。Transformer-XL 引入了Segment-Level Recurrence在训练时处理当前片段时会缓存上一个片段的隐层状态并将其作为扩展上下文。为了配合这种循环机制Transformer-XL 改进了位置编码提出了相对位置编码方案确保模型在知道新片段的位置信息时不会与缓存的上一个片段的位置信息发生冲突。意义Transformer-XL 证明了即使使用常规的 Transformer 结构通过巧妙的编码设计和状态复用也能处理远超训练长度的文本理论上可以无限长但有遗忘问题。5. 长文本建模的流派之争除了位置编码的改进另一个解决 O(n²) 复杂度的主流方向是改进注意力机制本身。5.1 稀疏注意力Sparse Attention核心思想并不是所有的词都需要和所有的词交互。注意力矩阵可以变得稀疏。Longformer结合了滑动窗口注意力关注局部 全局注意力对特定词如 CLSCLS 关注全局 稀疏空洞注意力扩大感受野。BigBird在 Longformer 的基础上增加了随机注意力机制理论上证明了这种稀疏模式在数学上可以近似全连接注意力。Star-Transformer通过星型拓扑结构简化全连接图降低复杂度。优缺点稀疏注意力极大地降低了计算量使得处理上万长度的文本成为可能。但其缺点是实现复杂需要定制化的 CUDA 内核且在通用领域可能丢失全局信息。5.2 内存压缩Compressive TransformerCompressive Transformer 是 Transformer-XL 的延续。它不仅缓存过去的隐层状态还对更久远的历史状态进行“压缩”存储压缩后的记忆。这模拟了人类的记忆机制短期记忆精确长期记忆抽象。6. 位置编码的集大成者RoFormer与RoPE时间来到 2021 年追一科技发布的 RoFormer 提出了一种全新的位置编码——旋转位置编码Rotary Position Embedding, RoPE。它巧妙地结合了绝对位置编码和相对位置编码的优点迅速成为后续大模型如 LLaMA, PaLM, ChatGLM的首选。6.1 绝对 vs 相对能否兼得理想的编码应该是这样的输入形式采用绝对位置编码的形式即直接把位置信息加到输入 Embedding 上实现简单无需修改 Attention 计算逻辑。输出效果最终 Attention 的结果能自然地体现出相对位置信息。RoPE 完美地实现了这一点。6.2 旋转位置编码RoPE的数学原理RoPE 的核心思想非常简单通过一个旋转矩阵变换来编码位置信息。基础思路假设我们要给词向量 xmxm​ 添加位置 mm 的信息。我们不直接加一个位置向量而是通过一个变换矩阵 RmRm​ 对其进行旋转qmRm(Wqxm)qm​Rm​(Wq​xm​)knRn(Wkxn)kn​Rn​(Wk​xn​)这里的 RmRm​ 和 RnRn​ 是旋转矩阵。关键来了计算 Attention 时我们看 Query 和 Key 的点积qmTkn(RmWqxm)T(RnWkxn)(Wqxm)TRmTRn(Wkxn)qmT​kn​(Rm​Wq​xm​)T(Rn​Wk​xn​)(Wq​xm​)TRmT​Rn​(Wk​xn​)根据旋转矩阵的性质RmTRnRn−mRmT​Rn​Rn−m​。因此qmTkn(Wqxm)TRn−m(Wkxn)qmT​kn​(Wq​xm​)TRn−m​(Wk​xn​)Attention 的结果只依赖于向量内容 xm,xnxm​,xn​ 以及它们之间的相对位置n−mn−m具体实现在二维空间中旋转矩阵定义为Rθ,m[cos(mθ)−sin(mθ)sin(mθ)cos(mθ)]Rθ,m​[cos(mθ)sin(mθ)​−sin(mθ)cos(mθ)​]对于高维空间RoPE 将词嵌入的 dd 维向量分成 d/2d/2 对每一对应用一个不同频率的旋转矩阵类似 Sinusoidal 的频率设置从而实现对位置的编码。6.3 RoPE 的几何意义旋转矩阵RoPE 的美妙之处在于它的几何直观性。当 mnmn 时相同位置旋转角度差为 0点积最大。当 mm 和 nn 差距增大时向量之间的夹角变大点积变小由于旋转方向发生改变。这种衰减是平滑且自然的避免了显式设置“最大相对距离”的超参数。优势总结良好的相对位置建模如上所述。远程衰减随着相对距离增大位置编码的内积会衰减符合直觉。兼容线性注意力由于编码不依赖于 Attention 权重的计算可以兼容各种改进的注意力变体。7. RoPE 的工业实践LLaMA、ChatGLM 的成功密码RoPE 提出后迅速在开源社区走红。Meta 的 LLaMA 系列模型全面采用 RoPE使得 LLaMA 成为当时上下文窗口扩展能力最强的基座模型之一。7.1 LLaMA 系列与上下文窗口扩展为什么 LLaMA 能那么容易地扩展上下文因为 RoPE 的本质是旋转它具备良好的外推性。虽然模型只在长度为 2048 的文本上训练过但当遇到长度为 4096 的位置时RoPE 只需要将旋转角度继续线性外推即可而不是像 BERT 那样遇到一个从未见过的向量。然而直接外推在长距离上依然会失效因为模型在训练中没见过这么大的旋转角度注意力分布会变得异常稀疏或混乱。7.2 外推技术PIPosition Interpolation与 NTK为了将 LLaMA 的上下文窗口从 2k 扩展到 32k 甚至 1M研究者提出了两种主要的改进方案1. 位置插值PI, Position Interpolation核心思想既然模型没见过位置 4000 的特征那我强行把 4000 压缩到 2000 以内。假设要将 2048 的训练长度扩展到 8192 的推理长度。将新的位置索引 L′L′ 缩放为 L′∗(2048/8192)L′∗(2048/8192)然后输入模型。优点效果稳定微调少量步数即可。缺点分辨率降低高频信息丢失导致近距离的区分度变差。2. NTK-aware 插值来自社区的研究发现直接均匀缩放所有的旋转频率维度会导致高频信息损失。NTK 感知插值模仿了神经正切核NTK理论对高频维度负责精细定位进行较少的插值对低频维度负责长距离定位进行较多的插值从而保留了模型的细节感知能力。3. 渐进式扩展与 YaRNYaRN 进一步结合了 NTK-aware 插值和注意力温度的调整实现了几乎无损的上下文窗口扩展这也是如今很多大模型如 Qwen 系列能够支持百万级别上下文的关键技术。8. 超越 Transformer状态空间模型与线性注意力虽然 RoPE 极大地提升了 Transformer 处理长文本的能力但 Attention 的 O(n²) 复杂度在物理定律上依然存在。当上下文达到百万级别时即便是 RoPE Transformer计算成本也极其高昂。因此学术界开始探索彻底替代 Attention 的架构。8.1 Mamba选择性状态空间模型Mamba 基于状态空间模型SSM它试图用控制论中的状态方程替代 Attention。SSM 模型的核心是 h′(t)Ah(t)Bx(t)h′(t)Ah(t)Bx(t)将序列建模为一个连续的演变过程。Mamba 的主要创新是选择性机制其参数B, C不再是与输入无关的常量而是根据当前输入动态变化的。这使得模型能够像 Attention 一样“关注”或“忽略”特定的信息。优势推理速度极快复杂度 O(n)且推理时具有恒定的状态大小。无限上下文理论上可以处理无限长度的文本。劣势硬件利用虽然理论计算量小但特殊的计算模式对 GPU 的并行计算不如 Transformer 友好。涌现能力在超大参数规模下的表现是否依然优于 Transformer 还有待验证。8.2 RetNet保留网络RetNet 由微软研究院提出它引入了多尺度 retention 机制同时支持三种计算范式并行训练、循环推理和块递归长文本分块。它试图在训练速度上媲美 Transformer在推理速度上媲美 Mamba。RetNet 通过一种衰减机制类似指数移动平均替代了 Softmax实现了无需 KV Cache 的推理极大地降低了显存占用非常适合于无限长度的对话生成。9. 未来展望与总结从 BERT 的 512 长度到 GPT-4 支持的 128K再到 Anthropic 支持的 200K 上下文NLP 模型处理长文本的能力正在飞速发展。RoPE 的持续优化在可预见的未来RoPE 依然是大模型位置编码的主流。如何设计更优的外推算法让 1M 上下文的微调成本更低是工业界的重要方向。混合架构纯 Attention 可能被混合架构取代。例如在模型的底层使用 Mamba 或 RetNet 处理长序列语义压缩在高层使用 Attention 进行关键信息的精细化交互。硬件协同设计未来的长文本模型将更加考虑硬件特性如稀疏 Attention 的算子融合、状态空间模型在 NPU/TPU 上的适配。进化之路总结BERT时代绝对位置编码 -无法外推。改进时代相对位置编码 稀疏注意力 -可处理更长文本但复杂。RoPE时代绝对形式的相对位置编码 -自然外推成为主流。后Transformer时代状态空间模型 -线性复杂度前景广阔。