大模型RL算法梳理：从全量词元到部分词元的路径演化

一、 引言大模型强化学习算法的演化格局近年来以 OpenAI 的 o1 系列、DeepSeek 的 R1以及 Qwen 系列模型为代表大语言模型在数学证明、代码生成等长链路推理任务中展现出更强的稳定性与推理深度。在这一背景下面向大语言模型的强化学习RL for LLMs, RL4LLM逐步成为后训练对齐阶段的核心技术路径。相较于早期主要依赖监督微调或直接偏好优化DPO的方案RL4LLM 通过直接围绕结果正确性或任务完成质量构建优化目标能够提供更贴近最终能力表现的训练信号并被广泛认为与思维链推理能力的形成密切相关。在以GRPO为代表的策略梯度方法奠定技术基础后围绕 大模型强化学习的方法逐步展开并形成清晰的演进路径。为了更系统地梳理这一脉络本文采用“参与优化的词元范围”作为划分视角一类方法对生成序列中的全部词元进行优化强调全局一致性建模另一类方法仅利用筛选词元的优化信号以降低干扰并提升训练稳定性。依据这一标准现有方法可概括为“全量词元优化Full-Token”与“部分词元优化Partial-Token”两大方向。演化路径为了方便后续公式的理解我们在此统一全局符号• 为输入的问题或提示Prompt。• 为模型生成的第 个回复序列 为其长度。• 为第 个回复中的第 个词元Token。• 与 分别表示当前策略与旧策略。• 表示新旧策略生成该词元的概率比值。• 表示序列级别的优势函数Advantage。• 表示针对同一输入进行组采样时得到的候选回复数量。• 以及后文的 表示策略更新中的裁剪阈值。二、 全量词元的迭代与打磨全量词元优化的核心逻辑是“利用所有输出词元”进行策略更新。这一路线以 GRPO 为代表性起点逐步演进至 DAPO、GSPO 与 SAPO整体目标是在保证优化强度的同时持续提升训练效率与梯度稳定性。1. GRPO轻量化破局GRPO示意图论文DeepSeekMath: Pushing the Limits of Mathematical ReasoninginOpen Language Models链接https://arxiv.org/abs/2402.03300简介GRPO 是当前极具代表性的破局者。自算法问世以来受到了国内外大量的关注。核心创新点以往大模型在强化微调时需要额外的网络进行价值或奖励的评估而该算法采用组采样Group Sampling机制和规则的奖励函数最核心的贡献在于去掉了传统的 Critic 模型大幅降低了显存占用。优化目标该算法的代价是好坏样本的覆盖极度依赖 Rollout 阶段的组内采样数量 采样效率较低整体训练震荡不稳定。2. DAPO策略精细化DAPO效果图论文DAPO: An Open-Source LLM Reinforcement Learning System at Scale链接https://arxiv.org/abs/2503.14476简介DAPO 在 GRPO 的基础上进行了多维度的精细化改良从三个方面对GRPO进行了改进。核心创新点算法引入了全局 token 系数进行归一化稳定了因组内长度差异带来的梯度波动并采用了非对称裁剪 与 克服训练过程中熵坍塌的现象此外算法还采用动态采样丢弃奖励值为全0或全1的无效样本提升效率并加入了对输出长度的软惩罚机制。优化目标3. GSPO序列级视角GSPO效果图论文Group Sequence Policy Optimization链接https://arxiv.org/abs/2507.18071简介GSPO算法主要针对MOE模型训推不一致的情况而进行的改进。核心创新点GSPO 的改进聚焦于重要性采样系数。它将token-level概率替换为整条句子的sequence-level概率从而克服单个token造成的训练不稳定优化目标据此GSPO 可写为将原有 token 级比值 替换为序列级比值 的目标这一改进与预训练阶段困惑度PPL下降的趋势更一致并能有效缓解 MoE 模型中 Rollout Engine 与 Model Engine 的专家路由不一致问题。4. SAPO软信任域SAPO中软门控机制示意图论文Soft Adaptive Policy Optimization链接https://arxiv.org/abs/2511.20347简介SAPO通过修改Ratio的硬截断机制平衡模型的利用和探索。核心创新点SAPO 摒弃了生硬的 Clip 截断操作转而引入了 Token 级别的软信任区域Soft Control其中通过为正负 token 设计非对称的温度参数当优势大于0时使用 否则使用 实现了颗粒度更细致的更新控制。优化目标三、 部分词元的聚焦与筛选虽然全量词元算法在不断打磨局部的平滑与稳定但学术界开始思考一个本质问题一条回复中的所有 token 都对策略更新同等重要吗究竟哪些token对训练起到决定性作用实际上许多基础的连接词提供的梯度信息极低而某些看似合理实则致幻的 token 则会引入严重的破坏性噪声。这就催生了部分词元优化Partial-Token这一前沿分支即不再让所有词元参与 Loss 计算而是使用指示函数 进行进一步筛选。1. Beyond the 80/20路径优化Beyond the 80/20示意图论文Beyond the80/20 Rule: High-Entropy Minority Tokens Drive Effective Reinforcement LearningforLLM Reasoning链接https://arxiv.org/abs/2506.01939简介Beyond the 80/2020-Entropy 的核心思想是“按信息量分配更新预算”抛弃以往token全量参与训练的思想。核心创新点其创新点在于并非所有词元都提供同等有效的学习信号低信息量词元往往会稀释梯度。为此该方法先计算词元熵 再通过阈值 构造筛选掩码仅保留高熵词元参与策略更新。优化目标这种“先筛选、后优化”的机制能够提升有效梯度密度将训练算力集中到对生成质量影响更大的关键位置从而在相同预算下获得更稳定的优化信号。2. STAPO去伪存真STAPO示意图论文STAPO: Stabilizing Reinforcement LearningforLLMs by Silencing Rare Spurious Tokens链接https://arxiv.org/abs/2602.15620简介相较于单纯只关注高熵优势词元清华大学团队最新工作——STAPO走了一条更为巧妙且精准的路线。它的核心在于剔除极少数会导致训练崩溃的虚假词元Spurious Tokens只去除0.01%的token就能取得SOTA的效果。核心创新STAPO 首次明确提出“虚假词元”概念虽然最终奖励为正会被进一步强化但梯度范数大低熵低概率的有害词元。STAPO因此提出了虚假词元剔除机制Silencing Spurious Tokens, S2T其中 与 分别为概率阈值和熵阈值。该判据对应“低概率 低熵 正优势”三元条件当序列整体是正确回答但局部词元同时落入低概率偶然、低熵高度自信区域时S2T 将其视为潜在虚假词元并置零以避免其主导后续梯度更新。优化目标这篇新工作给我们的启示是STAPO 就像一把精准的手术刀在不破坏句子整体连贯性的前提下精准剥离极少数的虚假词元仅0.01%实现了策略熵稳定性和收敛性能的综合提升达到同类算法的SOTA性能。四、 总结与展望总体而言RL4LLM 的方法演化正从“全量统一更新”走向“按词元贡献精细分配更新”的新阶段前者以 GRPO、DAPO、GSPO、SAPO 为代表持续优化训练稳定性与效率后者以 20-Entropy 和STAPO为代表通过对高价值词元的聚焦与对虚假词元的抑制进一步提升了有效梯度密度、策略熵稳定性与收敛表现。这种从“全量覆盖”向“精细筛选”的范式演进正成为提升模型训练效率与逻辑推理连贯性的关键。