LangForce方法：强化VLA模型语言依赖，提升分布外泛化能力并保留语言核心功能

LangForce方法强化VLA模型语言依赖提升分布外泛化能力并保留语言核心功能当前VLA模型常依赖视觉线索而非语言指令在新场景下表现不佳。论文提出的LangForce方法通过引入对数似然比损失强化模型对语言的依赖提升其在分布外环境中的泛化能力并保留语言核心功能。视觉 - 语言 - 动作 (VLA) 模型的问题视觉 - 语言 - 动作 (VLA) 模型结合了视觉理解、自然语言处理和动作生成让机器人能遵循人类指令。这些模型利用预训练的视觉 - 语言模型 (VLM) 理解所见内容和被要求做的事再转化为物理动作。然而当前VLA模型存在根本问题常形成「视觉捷径」忽略语言指令仅依赖视觉线索。这是因为典型机器人训练数据集在机器人看到的内容和应执行的动作间创建了可预测映射使语言指令多余。比如看到柜子几乎总意味着「打开柜子」而不管实际指令是什么。从贝叶斯视角看一个VLA策略可分解当相关项较为尖锐时模型可仅从视觉预测动作无需关注语言指令后验策略退化为先验即模型忽略语言指令学习「视觉捷径」在任务有歧义或环境变化时失效。实证研究华中科技大学、哈工大、港科广等发布的最新论文提供实证证据支持假设在目标驱动的数据集上训练的标准VLA模型通常学习的是仅视觉的策略而非真正的语言条件策略。具体而言研究人员采用starVLA中的Qwen3VL - 4B - GR00T模型作为代表性VLA架构进行了三项初步实验以揭示「指令跟随的幻觉」。实验1识别测试中的视觉捷径研究人员先在PhysicalAI - Robotics - GR00T - X - Embodiment - Sim (HuggingFace数据集名称) 的Humanoid机器人桌面操作数据上训练标准VLA模型并在RoboCasa基准的24个任务上评估。因训练和测试场景相似仅使用视觉的模型在全部24个任务上取得44.6%的成功率与语言条件下的基准47.8%接近表明模型无需依赖语言指令也能成功。实验2分歧情境下的失败研究人员在经典的LIBERO基准上训练VLA模型该基准含四个子集。结果显示在三个子集上仅视觉模型表现与完整VLA模型相当但在LIBERO Goal子集上仅视觉模型成功率骤降至12.4%。原因是LIBERO Goal本身存在分歧相同物体配置可能对应多个有效任务。实验3分布外泛化中的灾难性失败研究人员在高质量的BridgeDataV2数据集上训练并在SimplerEnv上评估模型泛化能力。在Bridge数据集上训练时仅视觉模型动作损失与完整语言条件模型损失相当表明模型能识别视觉捷径。但在SimplerEnv上评估时仅使用视觉的基准方法成功率接近0%证实低训练损失是过度拟合特定领域视觉模式而非学习到可泛化操作技能特定视觉线索在分布外环境缺失时策略会失效。对数似然比LLR损失研究人员将「视觉捷径」形式化为指令与动作之间条件互信息CMI的坍缩。理想的VLA策略应保持较高的CMI但CMI受语言条件熵限制在目标驱动的数据集中确定性映射暗示CMI被迫坍缩阻止模型学习动作与指令间超出视觉所捕捉内容的依赖关系。为打破僵局研究人员提出对数似然比LLR损失能有效估计点互信息PMI仅在策略捕捉到指令的特定语义且这些语义不可预测自视觉时给予奖励。LLR损失的实现LLR损失要求同时建模后验和先验。为此研究人员引入潜在动作查询机制通过K 64个可学习的token扩展VLM词表。训练时在输入文本指令中追加Q并仅用其对应最后一层隐状态作为条件注入动作专家的流匹配过程。这一设计能严格分离「仅视觉」与「视觉 - 语言」上下文满足双分支策略需求。为估计先验构建输入序列使Q中的token关注视觉观测但不关注语言指令隐状态仅编码视觉信息用这些特征预测动作并优化流匹配损失。为估计真实策略将输入排列使Q能同时关注视觉和语言生成的隐状态编码完整上下文信息研究人员优化主要流匹配损失学习专家动作。最后除动作预测外显式优化LLR目标最大化两个分支间语言token的对数概率差异最终训练损失结合双分支动作预测损失与LLR极大化项。推理阶段仅执行后验分支获得动作并通过DiT生成动作确保该方法测试时相比标准VLA基准不引入额外计算开销。实验结果分布外泛化能力 (SimplerEnv)LangForce平均成功率达66.5%超越所有对比算法较基线QwenGR00T实现11.3%的绝对提升。分布内性能 (RoboCasa)LangForce平均成功率达52.6%优于包括QwenOFT (48.8%) 和Isaac - GR00T (47.6%) 在内的强大基线。经典的LIBEROLangForce在Goal套件上成功率达99.4%较Qwen3 - VL - GR00T基线97.4%提升2.0%Goal套件存在显著视觉分歧多个任务共享同一场景。研究人员对LIBERO Goal数据集上的条件熵进行定量分析LangForce在NLL上显著高于QwenGR00T。尽管LIBERO Goal语言结构有高度重复性但该方法仍表现出更高的NLL与PPL表明LangForce保持了与视觉场景固有模糊性相符的不确定性水平迫使策略主动利用语言指令解决歧义促进了在Goal套件上的优异表现。语言能力的保留LangForce的关键优势是能保留底层视觉 - 语言模型的原始推理和对话能力。标准VLA微调常导致LLM模型语言能力丧失和通用能力退化而LangForce通过LLR损失强制模型对语言产生强依赖起到正则化作用维持指令功能性保留主干模型的纯文本对话能力。这种能力保留确保VLA的LLM部分不会退化为浅层特征映射器使VLA维持对高层推理和新指令泛化的潜力。论文链接https://arxiv.org/abs/2601.15197