GigaWorld-Policy——以动作为中心的世界–动作模型

前言// 待更第一部分 GigaWorld-Policy: An Efficient Action-CenteredWorld–Action Model1.1 引言与相关工作1.1.1 引言如原论文所说近期一些工作(Cen 等2025Chang 等2025Ni等2025Zhang 等2025)尝试注入未来状态监督到现有的 VLA 框架中通过预测未来的视觉观测如图 2(a) 所示然而基于 VLM的 VLA 模型Chen 等2025Cui 等2025Ding 等2024, 2025Li 等2025Team 等2026Tian 等2025Wang 等2025Wu 等2025通常是针对判别式推理而非高保真生成进行优化的这使得利用这些额外损失来在预测动作中强制实现连续性和物理一致性变得并非易事相比之下近期工作将视频生成领域的世界模型(World Model, WM)Liu et al., 2026;Podell et al., 2023; Wang et al., 2025; Ye et al., 2026引入到机器人策略学习中Bi etal., 2025; Kim et al., 2026; Shen et al., 2025以进一步提升监督密度并改善可扩展性而之所以利用视频生成具有吸引力因为它在观测空间中提供了时间上高密度的监督信号超越了稀疏的动作标签同时还注入了从大规模视频数据中学习到的强时空先验这类方法通常联合优化未来视觉动态和动作预测的目标将未来观测预测与动作选择显式耦合从而利用视频模型在表征和生成方面的能力来引导动作学习如下图2(b–c)所示然而这些方法往往在推理阶段需要通过迭代采样来展开未来视频导致高延迟此外视频预测中的误差还会传播到动作解码阶段从而引发错误并削弱长时域控制性能尤其是在早期的细微误差随时间累积放大的情况下为了解决这些局限来自的研究者提出了 GigaWorld-Policy这是一种以动作为中心且高效的 World–Action 模型具体而言GigaWorld-Policy并非让动作预测过度依赖显式的视频生成而是将未来视觉动态作为推理信号和高密度监督源加以利用且GigaWorld-Policy 被实现为一个因果序列模型在因果掩码下对动作 token 和未来视觉 token 进行表征在训练过程中模型学习从当前的观察情境预测未来的动作序列同时学习一个动作条件下的视觉动态模型该模型在给定相同的当前观察以及预测的动作的情况下预测未来的视觉观察从而将动作学习与明确的二维像素级状态演变相结合这两类学习信号在同一个模型中共同优化使得未来视觉动力学能够对动作的合理性起到正则化作用并提供显著更稠密的监督信号从而提升学习效率关键在于在推理阶段显式的未来视频预测是可选的模型可以在“仅动作”模式下运行直接输出控制指令而无需展开长序列的视频 token这样的设计大幅降低了计算和内存开销避免了长时间视觉展开带来的误差累积并实现了低延迟的闭环控制如图 2(d) 所示且为了获得更强的预训练权重作者采用课程式训练流程在任何任务特定监督之前先从多样化视频源中注入物理先验GigaWorld-Policy 以大规模网络视频基础模型Wan et al., 2025作为初始化然后在具身化、机器人中心的数据上继续预训练这些数据将真实机器人录制与大规模自我视角的人类视频相结合从而提升其对具身特定视角与交互动力学的鲁棒性最后作者在目标机器人的轨迹数据上对模型进行后训练使其对图像、语言与动作进行对齐从而在目标机器人的控制接口与状态分布下专门优化用于指令条件的动作预测1.1.2 相关工作首先对于面向机器人视频生成的世界模型最新的 world model 研究进展Li 等2025Ni 等2025Wang 等2025Zhao 等2025提升了机器人视频生成与预测的能力Chen 等2025Dong 等2025Liu 等2025Ni 等2025Wang 等2025Zhou 等2024其核心目标是学习一种生成模型用以刻画环境的时间演化过程从而实现对未来视觉序列的预测PandoraXiang 等2024提出了一种混合自回归–扩散的世界模型该模型在生成视频的同时还支持通过自由文本动作进行实时控制FreeActionKim 等2025在基于扩散的机器人视频生成中显式利用连续动作参数通过使用按动作缩放的无分类器引导来更好地控制运动强度GigaWorld-0-videoTeam 等2025是一个高保真世界模型数据引擎能够合成时间上一致的高质量 2D 视频序列并对外观和场景布局进行细粒度控制部分方法(Chen 等2025)还探索显式视频世界模型其目标是构建结构化且可操控的三维场景表示Liu 等2024, 2025Ni 等2025Wang 等2025AetherTeam 等2025通过联合优化四维动态重建、动作条件视频预测和目标条件视觉规划实现了几何感知的统一世界建模然而大多数现有工作主要致力于提升视频世界模型的逼真度、一致性和可控性却在很大程度上忽视了如何将通用视频生成器适配为以动作为中心的模型从而在严格的时延约束下直接支持策略学习相较之下作者将视频生成器视为策略初始化并提出了一种以动作为中心的训练方案使主干网络与机器人的观测以及基于动作条件的动力学实现对齐其次对于用于机器人控制的世界–动作模型世界–动作模型World–Action ModelsWAMBi 等2025Kim 等2026Shen 等2025Wang 等2025基于视频生成范式旨在在统一框架下预测机器人的动作以及未来的视觉动态通过对条件于动作的未来观测进行建模WAM 为策略学习提供了密集的时间监督信号以及一个通过学习得到的预测先验从而对策略学习起到正则化作用如图 2(b) 所示VideoVLAShen 等2025直接将视频生成模型作为预训练权重探索如何将大规模视频生成模型转化为机器人操作模型采用多模态扩散 Transformer 联合建模视频、语言与动作模态从而同时预测机器人动作与未来视觉结果MotusBi 等2025提出了一个统一的世界模型该模型利用现有的通用预训练模型和丰富且可共享的运动信息引入 Mixture-of-TransformerMoT架构来融合三个专家模块并采用类似 UniDiffuser 的调度器以支持在不同建模模式之间灵活切换相比之下如图 2(c) 所示Mimic-videoPai 等2025采用两阶段流程首先利用互联网规模的预训练视频骨干网络预测未来视觉观测随后使用基于流匹配的逆动力学动作解码器将得到的视频潜变量映射为低层级机器人动作然而这些方法在推理阶段生成未来视频时通常都需要迭代式的扩散采样这会引入显著的延迟从而限制其实时部署能力同时对显式视频预测的过度依赖也可能较为脆弱像素级预测对随机性和可观测性非常敏感且在长时间范围内小的视觉预测误差会不断累积从而削弱所学习动力学在生成鲁棒动作时的实用价值1.2 GigaWorld-Policy的完整方法论1.2.0 问题表述与方法概述如原论文所述作者将机器人操作建模为一个序列决策任务在每个时间步机器人从一组固定的相机视角接收多视角RGB 观测、自然语言指令以及本体感受状态在这些输入的条件下策略预测长度为的动作片段首先对于视觉-语言-动作策略大多数现有的 VLA 策略都是通过模仿学习进行训练用于在给定观测、机器人状态以及语言指令的条件下建模并采样一个动作片段分布对接下来p 个动作上的策略进行参数化在这一范式中学习完全由来自示范的动作监督驱动在观测空间中没有任何显式监督而对于作者的方法其不同于只对动作分布建模的方法作者采用一种世界建模视角学习在执行一个动作片段后视觉观测如何演化作者将他们的方法实现为一个统一的模型用于参数化两个互补的条件分布对于基于示教的动作建模模型学习在给定观测、机器人状态和语言的条件下对一个动作片段进行采样在这里是一种用于引导视觉预测的动作潜在条件信号对于视觉前馈动态建模在给定相同的上下文和预测的动作条件信号的情况下模型学习对未来观测序列进行采样从而捕捉视觉观测的演化过程其中表示预测观测之间的时间步长且使得模型在步预测范围内预测1.2.1 GigaWorld-Policy 的架构如图 3 所示GigaWorld-Policy 采用了一个参数规模为 50 亿的扩散 TransformerWan 等2025该模型通过以动作为中心的目标进行预训练用作机器人操作的“世界–动作”World–Action模型通过拼接多视角输入该框架能够在多视角间进行一致的联合推理并采用因果掩码机制统一动作生成和视觉动态建模// 待更