【RL-CISPO】MiniMax-M1: Scaling Test-Time Compute Efficiently with Lightning Attention

noteCISPO是2025年6月minimax提出放到今天还是有价值的。CISPO强化学习传统 PPO / GRPO 这类方法在做 token 级 clipping 时会把一些“低概率但很关键”的 token这类token一般是反思、转折、纠错、重新检查等字符类似思维拐点 更新给压掉如果都被clip掉模型就不容易学会真正的长链反思。通过裁剪重要性采样权重而不是更新令牌来稳定训练从而避免了传统PPO/GRPO算法中的令牌裁剪问题。模型架构优化它不是纯标准 softmax attention也不是全线性 attention而是一个 hybrid attention大部分层用 lightning attention线性/闪电注意力负责把长序列成本压低每隔几层再插一个普通 softmax attention每 7 个 transnormer/lightning attention block 后接 1 个 softmax attention block少量 softmax attention 负责保住全局建模能力训练态和推理态概率不一致他们发现 hybrid architecture 下training-mode 的 token probability、inference-mode 的 token probability本来理论上应该一致结果实际不一致直接影响 RL reward 增长。最后他们查到主要问题在 LM output head 的精度把输出头提到 FP32 后这个问题才缓解。MiniMax-M1模型在多个复杂场景中表现出色特别是在软件工程、长上下文和工具使用方面。软件工程在SWE-bench验证任务上MiniMax-M1取得了56.0%的准确率显著优于其他开源模型。长上下文理解在OpenAI-MRCR(1M)任务上MiniMax-M1取得了58.6%的准确率排名全球第二仅次于最新的DeepSeek-R1-0528模型。工具使用在TAU-bench(retail)任务上MiniMax-M1取得了67.8%的准确率超过了所有其他开源模型甚至超过了Gemini-2.5 Pro。文章目录note一、研究背景二、MiniMax-M1模型1、模型架构变化2、CISPO强化学习算法1) GRPO 被 clip 后很多 token 会“没梯度”2) CISPO 被 clip 后token 还有梯度三、模型训练第一步继续预训练第二步SFT 冷启动第三步大规模 RL三、实验设计四、实验结果Reference一、研究背景研究问题这篇文章要解决的问题是如何有效地扩展测试时计算能力以便在大规模推理任务中提高模型的性能。具体来说作者提出了MiniMax-M1这是世界上第一个开源的大规模混合注意力推理模型结合了闪电注意力机制。研究难点该问题的研究难点包括传统Transformer架构中softmax注意力的二次计算复杂度限制了推理长度的扩展现有的优化技术如稀疏注意力、线性注意力等在大规模推理模型中尚未得到充分验证。相关工作该问题的研究相关工作包括OpenAI的o1和DeepSeek-R1等模型这些模型通过大规模强化学习在复杂任务中取得了显著进展。然而这些模型仍然依赖于传统的注意力设计且扩展推理过程具有挑战性。二、MiniMax-M1模型1、模型架构变化混合专家MoE架构MiniMax-M1采用了混合MoE架构结合了多个专家网络来处理不同的输入子集。每个Transformer块后跟随一个闪电注意力模块理论上可以实现对数百个千token长度的推理。闪电注意力机制闪电注意力是一种I/O感知的线性注意力变体通过减少计算复杂度来实现高效的扩展。其核心思想是将长序列的注意力映射到一个低频的傅里叶域上从而降低计算复杂度。MiniMax-M1模型采用了闪电注意力机制这是一种I/O感知的线性注意力变体。其核心思想是将长序列的注意力映射到一个低频的傅里叶域上从而降低计算复杂度。具体来说闪电注意力通过以下步骤实现高效扩展傅里叶注意力映射将长序列的注意力映射到傅里叶域上减少了计算复杂度。动态采样和长度惩罚采用动态采样和长度惩罚技术进一步降低计算开销。I/O感知设计闪电注意力机制特别适用于I/O密集型任务能够在保持高效计算的同时处理长序列输入。这些创新使得MiniMax-M1模型能够在大规模推理任务中显著提高计算效率特别是处理长输入和复杂推理任务时表现出色。2、CISPO强化学习算法新算法CISPO为了进一步提高RL训练效率作者提出了一种新的RL算法CISPO。CISPO通过裁剪重要性采样权重而不是更新令牌来稳定训练从而避免了传统PPO/GRPO算法中的令牌裁剪问题。具体公式如下J CISPO ( θ ) E ( q , a ) ∼ D , { o i } i 1 G ∼ π θ old [ 1 G ∑ i 1 G 1 ∣ o i ∣ ∑ t 1 ∣ o i ∣ r ^ i , t ( θ ) A ^ i , t ] \mathcal{J}_{\text{CISPO}}(\theta) \mathbb{E}_{(q, a) \sim \mathcal{D}, \{o_i\}_{i1}^G \sim \pi_{\theta_{\text{old}}}} \left[ \frac{1}{G} \sum_{i1}^G \frac{1}{|o_i|} \sum_{t1}^{|o_i|} \hat{r}_{i,t}(\theta) \hat{A}_{i,t} \right]JCISPO​(θ)E(q,a)∼D,{oi​}i1G​∼πθold​​​​G1​i1∑G​∣oi​∣1​t1∑∣oi​∣​r^i,t​(θ)A^i,t​​其中r ^ i , t ( θ ) \hat{r}_{i,t}(\theta)r^i,t​(θ)是裁剪后的重要性采样权重r ^ i , t ( θ ) clip ( r i , t ( θ ) , 1 − ϵ low , 1 ϵ high ) \hat{r}_{i,t}(\theta) \text{clip}\left(r_{i,t}(\theta), 1 - \epsilon_{\text{low}}, 1 \epsilon_{\text{high}}\right)r^i,t​(θ)clip(ri,t​(θ),1−ϵlow​,1ϵhigh​)你直觉上看到GRPO:min ⁡ ( r A , clip ( r ) A ) \min(rA, \text{clip}(r)A)min(rA,clip(r)A)CISPO:clip ( r ) A log ⁡ π θ \text{clip}(r) A \log \pi_\thetaclip(r)Alogπθ​会觉得都用了 clip好像差不多。但真正差别是1) GRPO 被 clip 后很多 token 会“没梯度”当A 0 A 0A0且r 1 ϵ r 1 \epsilonr1ϵ时GRPO 里min ⁡ ( r A , ( 1 ϵ ) A ) ( 1 ϵ ) A \min(rA, (1 \epsilon)A) (1 \epsilon)Amin(rA,(1ϵ)A)(1ϵ)A这项对θ \thetaθ来说就是个常数因为 clip 后那个边界值不再随θ \thetaθ变。所以这部分 token 的梯度没了等价于这个 token 被 mask 掉了不再继续学。论文后面其实把它写成了一个显式 mask 形式如果A 0 A 0A0且r 1 ϵ high r 1 \epsilon_{\text{high}}r1ϵhigh​或者A 0 A 0A0且r 1 − ϵ low r 1 - \epsilon_{\text{low}}r1−ϵlow​那M i , t 0 M_{i,t} 0Mi,t​0。也就是这个 token 的更新直接被关掉。2) CISPO 被 clip 后token 还有梯度CISPO 是r ^ A log ⁡ π θ \hat{r} A \log \pi_\thetar^Alogπθ​其中r ^ clip ( r ) \hat{r} \text{clip}(r)r^clip(r)。论文明确说它是“clip importance sampling weight”而不是像 PPO/GRPO 那样 clip token updates。三、模型训练第一步继续预训练他们在 base model 上又继续训了 7.5T tokens而且特别提高了STEM、code、books、reasoning 相关数据这些数据占比提高到 70%。第二步SFT 冷启动再做一轮 SFT给模型灌入想要的 CoT pattern尤其是 long CoT、reflection 风格的回答。第三步大规模 RL然后才是核心的 RL scaling。而且 RL 数据不只做数学和代码还做了很杂的任务数学推理逻辑推理竞赛编程软件工程 sandbox问答创意写作instruction following 等它不是只把模型训成奥数/代码刷题机而是想把它训成更 agentic 的 reasoning model。三、实验设计数据收集实验数据包括数学推理、逻辑推理、编程竞赛、软件工程和一般领域任务。数据来源包括公开数学竞赛、GitHub仓库、合成数据框架SynLogic等。实验设置MiniMax-M1模型在7.5T令牌的数据上进行预训练然后在监督微调阶段注入特定的链式思维CoT模式。RL训练在多种环境中进行包括数学推理、逻辑推理、编程竞赛和软件工程任务。参数配置模型使用AdamW优化器初始学习率为8e-5训练过程中逐步衰减。为了应对计算精度不匹配问题将LM输出头的精度提高到FP32。四、实验结果基准测试在数学推理任务中MiniMax-M1在AIME 2024和AIME 2025基准上分别取得了86.0%和88.9%的准确率接近DeepSeek-R1的性能。在编程任务中MiniMax-M1在LiveCodeBench和FullStackBench上分别取得了65.0%和68.3%的准确率与Qwen3-235B相当。复杂场景在软件工程任务中MiniMax-M1在SWE-bench验证任务上取得了56.0%的准确率显著优于其他开源模型。在长期上下文理解任务中MiniMax-M1在OpenAI-MRCR(1M)上取得了58.6%的准确率排名全球第二。工具使用在代理工具使用任务中MiniMax-M1在TAU-bench(retail)上取得了67.8%的准确率超过了所有其他开源模型。Reference[1]