【VLM】HopChain视觉语言推理多跳数据合成框架

note【数据合成方案进展】讲得是多跳视觉语言推理数据合成框架用于应对视觉语言模型VLMs在长思维链CoT推理中的错误累积以及大多数 RLVR 视觉语言训练数据缺乏全程依赖视觉证据的复杂推理链的问题。工作在《HopChain: Multi-Hop Data Synthesis for Generalizable Vision-Language Reasoning》https://arxiv.org/pdf/2603.17024看核心几个点1数据定义VLMs 以图像 文本查询为输入生成思维链并输出可验证答案2多跳数据合成框架步骤step1.类别识别使用 Qwen3-VL-235B-A22B-Thinking 枚举图像中的语义类别如汽车、人生成类别列表;-step2.实例分割通过 SAM3 对识别出的类别进行实例分割生成分割掩码与边界框得到带空间定位的独立实例-step3.多跳查询生成对 3-6 个实例组合通过 Qwen3-VL-235B-A22B-Thinking 生成多跳查询施加多项约束如包含所有实例、仅用视觉属性描述、数值答案避免语言捷径-step4.真值标注与难度校准4 名标注员独立解答查询仅保留答案一致的样本用较弱模型评估查询移除准确率 100% 的简单查询。这篇论文通过提出HopChain框架成功解决了VLMs在长链式推理任务中的弱点。HopChain通过合成多跳视觉语言推理数据增强了模型在细粒度视觉语言推理任务中的表现。实验结果表明多跳数据在20个基准测试上取得了显著的进步且这些进步具有广泛的泛化能力。未来的工作将进一步减少对实例分割的依赖以处理更多没有可检测对象的图像。文章目录note一、研究背景二、HopChain框架三、实验设计四、结果分析Reference一、研究背景研究问题这篇文章要解决的问题是如何通过多跳数据合成来增强视觉语言模型VLMs在细粒度视觉语言推理任务中的表现。尽管VLMs在多模态基准测试中取得了显著进展但在长链式推理CoT任务中仍存在困难这些任务要求模型仔细关注图像中的多个视觉元素及其关系。研究难点该问题的研究难点包括VLMs在长CoT推理过程中表现出多样化的失败模式包括感知、推理、知识和幻觉错误这些错误会在中间步骤中累积。此外现有的视觉语言训练数据大多不涉及复杂的推理链导致这些弱点在训练过程中未被充分暴露。相关工作该问题的研究相关工作包括LLaVA系列工作通过将视觉特征投影到语言模型的嵌入空间来引入视觉指令调优范式DeepSeek-R1展示了纯RL可以诱导强链式推理最近的研究还表明多模态推理依赖于细粒度的观察和重复的图像检查。二、HopChain框架这篇论文提出了HopChain一个可扩展的框架用于合成多跳视觉语言推理数据以改进VLMs的可验证奖励强化学习RLVR训练。具体来说1、多跳视觉语言推理定义首先定义了目标多跳查询的结构。多跳查询结合了感知级跳变和实例链跳变两种类型。感知级跳变在不同感知级别之间切换而实例链跳变沿显式依赖链移动。每个查询必须满足三个结构条件必须是多跳查询、结合两种跳变类型、并且跳变形成一个逻辑依赖链。2、数据合成管道HopChain采用了一个可扩展的四阶段数据合成管道类别识别使用Qwen3-VL-235B-A22B-Thinking识别图像中的语义类别。实例分割使用SAM3对识别的类别进行实例分割生成具有空间定位的个体实例。多跳查询生成使用Qwen3-VL-235B-A22B-Thinking构建多跳查询每个查询组合3-6个实例。人工验证多个标注者独立解决每个查询只有最终数值答案相同的查询才保留为有效训练样本。3、软自适应策略优化SAPO在多跳数据上应用RLVR使用SAPO算法进行训练。SAPO通过温度控制的软门替换硬裁剪优化以下目标J ( θ ) E ( I , q , a ) ∼ D , { o i } i 1 G ∼ π old ( ⋅ ∣ I , q ) [ 1 G ∑ i 1 G 1 ∣ o i ∣ ∑ t 1 ∣ o i ∣ f i , t ( r i , t ( θ ) ) A ^ i , t ] , \mathcal{J}(\theta) \mathbb{E}_{(I, q, a) \sim \mathcal{D}, \{o_i\}_{i1}^G \sim \pi_{\text{old}}(\cdot \mid I, q)} \left[ \frac{1}{G} \sum_{i1}^G \frac{1}{|o_i|} \sum_{t1}^{|o_i|} f_{i,t} \left( r_{i,t}(\theta) \right) \hat{A}_{i,t} \right],J(θ)E(I,q,a)∼D,{oi​}i1G​∼πold​(⋅∣I,q)​​G1​i1∑G​∣oi​∣1​t1∑∣oi​∣​fi,t​(ri,t​(θ))A^i,t​​,其中r i , t ( θ ) r_{i,t}(\theta)ri,t​(θ)表示策略π \piπ在状态( I , q , o i t ) (I, q, o_{it})(I,q,oit​)下的响应A ^ i , t \hat{A}_{i,t}A^i,t​是期望奖励的归一化值f i , t ( x ) f_{i,t}(x)fi,t​(x)是一个 sigmoid 函数τ i , t \tau_{i,t}τi,t​根据正负令牌的温度进行调节。三、实验设计数据收集从24个基准测试中评估两个模型Qwen3.5-35B-A3B和Qwen3.5-397B-A17B。这些基准测试涵盖STEM和拼图、通用VQA、文本识别和文档理解以及视频理解四个类别。实验设置在三种设置下评估模型原始RLVR数据、仅原始RLVR数据和原始RLVR数据加上合成的多跳数据。每个模型在每个设置下运行1000个梯度步使用mini-batch大小为64或128的随机梯度下降SGD优化器。图像过滤在多跳查询合成之前过滤掉低质量的图像。使用Qwen3-VL-235B-A22B-Thinking和SAM3进行初始筛选然后使用Qwen3-VL-30B-A3B-Thinking进行监督微调最后使用Qwen3-VL-235B-A22B-Thinking进行二次筛选。四、结果分析主要基准测试结果在24个基准测试中添加多跳数据后两个模型在20个基准测试上取得了进步。具体来说Qwen3.5-35B-A3B在STEM和拼图、通用VQA、文本识别和文档理解以及视频理解类别中分别提高了6个、6个、3个和5个基准测试的成绩。Qwen3.5-397B-A17B在这些类别中也取得了类似的广泛进步。跳变结构分析比较了单跳、半多跳和多跳查询的效果。结果表明多跳查询在所有五个代表性基准测试中的平均得分最高其次是半多跳查询单跳查询得分最低。这表明保留较长的跨跳依赖关系对性能提升至关重要。推理长度分析随着响应链的增长多跳查询的优势仍然存在。在Qwen3.5-397B-A17B上按响应标记数量分组的优势在超长响应区间内更加明显。难度覆盖范围超过一半的多跳查询属于部分正确区间分布跨越多个成功桶。这表明合成的多跳数据覆盖了广泛的难度范围可以为不同规模和能力的模型提供有用的RLVR训练信号。错误类型分析多跳增强不仅修复了单一的窄错误类型而且在广泛的错误类型上取得了进步。错误类型的分布与原始错误分布密切相关表明多跳数据在长CoT视觉语言推理中的广泛改进。Reference[1] 大模型推理数据合成前沿进展HopChain视觉语言推理多跳数据合成框架