SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”

PRISM团队 投稿量子位 | 公众号 QbitAISFT之后直接上强化学习就够了吗小心你做的可能不是“训练”而是“还债”。在多模态大模型MLLM的后训练中行业内长期遵循着一个看似天经地义的范式先SFT再RL两步到位。从DeepSeek到Qwen从GRPO到DAPO大家拼命优化RL算法的稳定性、采样效率、奖励设计……却几乎没人回头看一眼SFT到RL之间是不是少了点什么但来自香港科技大学广州、南洋理工大学、清华大学等机构的最新研究Beyond SFT-to-RL(PRISM)给出了一个令人不安的发现SFT不仅没有为RL铺好路反而在悄悄挖坑。被忽视的“隐形断层”SFT到底做了什么先看一组比较有意思的数据7个主流多模态benchmark的平均准确率阶段Qwen3-VL-4BQwen3-VL-8B原始Instruct模型59.7%63.3%SFT之后56.8% (-3.0)58.1% (-5.2)SFT → GRPO61.8%63.3%可以看到SFT之后模型性能反而下降了。8B 模型要更为明显一点SFT掉了5.2个点辛辛苦苦做完强化学习才刚刚爬回基线(baseline)的水平63.3%→58.1%→63.3%。也就是说你的RL可能一直在“还债”而不是在“提升”。而且这绝不是个例。在当下主流的强Instruct模型上Qwen3-VL等只要SFT数据带入一个与基座不一致的新分布比如目前最常见的GPT/Gemini蒸馏数据几乎都会观察到类似的掉点。原因很直接这类基座已经经过大规模、精细的后训练能力本就处于一个相对稳定的高位。SFT逼着模型去模仿一套新分布结果就是用一个更“窄”的分布去覆盖一个更“广”的能力旧能力被冲掉、新能力又没真正学到。换句话说模型越强、越接近实际部署的水平SFT引入的分布偏移就越成为RL之前一道绕不开的“暗坑”。这恰恰是PRISM必须存在的理由。这背后的核心问题是后训练里早已被反复讨论的分布漂移Distributional Drift。但在多模态场景下它有一套更隐蔽、也更难治的表现形式。问题根源SFT引入的两类偏差SFT在多模态场景下会引入两类容易被忽视的偏差偏差一表面模仿——token级loss把过程和结果同权处理SFT的优化目标是在均匀的token级loss下模仿演示轨迹。它不区分“过程”和“结果”对模型来说正确的推理步骤和格式化的模板套话权重是一样的。结果就是模型学会了“长得像”正确答案而不是“想得出”正确答案。 它学到的是表面模式而非忠实的推理能力。偏差二感知漂移与推理漂移在同一个loss里被混起来这是多模态场景特有的麻烦。与纯文本模型不同多模态模型的漂移不是单一的而是两种定性不同的失败模式在同时发生感知漂移视觉定位出错模型“看错了”推理漂移逻辑推导失败模型“想歪了”这两种漂移的成因不同、纠正方式不同但SFT用同一个token loss把它们一起拟合。而当RL阶段时模型已经在感知和推理两端同时偏移即一个“既看不准、又想不对”的模型。现有RL算法为什么救不了从GRPO到DAPO再到GSPORL算法这一段时间确实一直在进步。但它们解决的是RL阶段内部的问题采样效率、梯度方差、策略崩溃。没有任何一个RL算法回头去修复SFT留下的分布偏差。这里举个不太恰当的例子这里就好比你参加百米短跑SFT不仅没有让你往前走反而把你向后推了50米。现有的RL算法都在研究怎么跑得更快但起点还在坑里而PRISM要做的就是在SFT和RL之间补上这一步不仅把你拉回起跑线还顺势往前推一把让RL只用跑50米就能冲线。PRISM的核心方案三阶段流水线(Pipeline)PRISM打破了传统的两阶段范式提出了SFT → 分布对齐 (PRISM) → RLVR的三阶段流水线。关键创新在于中间的分布对齐阶段。混合专家判别器MoE Discriminator感知漂移和推理漂移是两类成因不同的偏差需要分开处理。PRISM为此设计了一个混合专家判别器由两个专门化的专家组成感知专家D_v专门评估视觉描述测量模型的输出是否忠实于图像内容解决感知漂移推理专家D_r专门评估推理轨迹测量逻辑推导是否一致有效解决推理漂移最终判别得分为两者的加权组合r(x,y) α · D_v(x,c) (1-α) · D_r(x,t)这种设计的好处是提供解耦的纠正信号避免将两种完全不同的误差模式塞进一个标量里导致梯度信号变得嘈杂。黑盒蒸馏不需要教师logitsPRISM的另一个优雅之处在于它是黑盒的。很多蒸馏方法需要访问教师模型的logits内部概率分布这意味着你得有教师模型的完整权重。但在实际场景中最强的模型往往只提供API你只能看到输出看不到内部状态。PRISM完全在响应级别工作从强模型Gemini 3 Flash采集高质量输出作为正样本从当前策略采样作为负样本通过对抗博弈来对齐分布。只要能调API就能用PRISM。一个重要的设计决策去掉KL正则化传统RL训练通常会加一个KL散度约束防止策略偏离初始模型太远。但PRISM有意识地去掉了这个约束。道理很简单对齐阶段的目的就是纠正SFT带来的分布偏差。再加一个把策略拉回SFT分布的KL约束本身就和这个目标相互矛盾。分布演变对齐真的把模型拉回到更好的起始点下图直观地展示了分布的演变过程从Base到Post-SFT再到Post-Alignment无论是推理步数还是视觉描述项数的分布都在逐步向监督数据靠拢可以清晰看到Post-SFT蓝线与Supervision黑线仍有明显偏差而Post-Alignment橙线则大幅缩小了这一差距且这种改进在Post-RLVR绿线阶段得以保持。实验验证在Qwen3-VL的4B和8B两个规模上PRISM搭配GRPO/DAPO/GSPO三种主流RL算法在4个数学推理基准MathVista、MathVerse、MathVision、WeMath和3个通用多模态基准MMMU、MMMU-Pro、HallusionBench上全面验证了有效性。下表是论文Table 1的主结果灰色行为PRISM从主表里能读出几个值得展开的信号(1)模型越强PRISM的增益越大8B拿到6.0的平均提升4B为4.4更强的基座被SFT“伤害”得更深也因此从对齐中受益更多(2)PRISM在绝大多数子基准上拿到了同基座下的最佳分数表中加粗覆盖数学推理与通用视觉理解两类任务这意味着对齐带来的不是某个领域的局部增益而是分布层面的全局校准。消融实验每一步都不可或缺从消融表论文Table 2里能直接读出每个组件的贡献(1)去掉SFT阶段直接掉16.8个点说明SFT作为“冷启动”仍不可替代PRISM不是要取代SFT而是修复它带来的副作用(2)去掉对齐阶段掉4.4个点与4B主表的提升幅度完全对应是分布对齐效果的直接证据(3)单个4B判别器替代MoE掉3.4仅文本判别器掉3.9。后者尤为有趣没有视觉感知的判别器只能捕捉表面模式格式、模板、风格导致策略学会了“鹦鹉学舌式对齐”听起来像监督数据但实际上看不到所描述的内容。结语PRISM的出现给多模态大模型的后训练范式打上了一个“补丁”但这个补丁可能比主程序还重要。SFT 和RL之间不是无缝衔接而是存在一道被长期忽略的分布断层。RL算法再强如果起点就歪了跑得越快只会偏得越远。让多模态大模型在推理任务上再进一步未必要靠更复杂的RL算法或更多训练数据。把SFT和RL之间这一步对齐补上模型自然会跑得更稳。Arxivhttps://arxiv.org/abs/2604.28123Githubhttps://github.com/XIAO4579/PRISM合作详询swang886connect.hkust-gz.edu.cn