北京AI研究院：机器人实现视频动作学习完成复杂任务能力提升

这项由北京人工智能研究院BAAI主导完成的研究以预印本形式于2026年4月30日发布在arXiv平台论文编号为arXiv:2604.27711。研究成果被命名为ExoActor代表着一种让人形机器人无需收集真实世界操作数据仅凭想象执行视频就能完成各类复杂任务的全新框架。你有没有想过如果一个人从来没有练习过某个动作只是看了一段别人做这个动作的视频他能不能就此学会并亲自完成这个问题对人类来说有些勉强但对机器人领域的研究者来说恰恰触及了当前一个最核心的难题如何让人形机器人在没有大量专项训练数据的情况下照样完成各式各样复杂的现实任务过去几年人形机器人技术飞速发展各类学习型控制系统层出不穷。然而当研究者真正希望机器人能在真实家庭或工作环境中与物体、环境流畅互动时障碍就出现了——要同时理解空间位置、动作时序、任务意图还要能随机应变对现有系统来说实在太难了。更麻烦的是每换一个场景或任务就需要重新收集大量真实数据来补课代价极高效率极低。北京人工智能研究院的团队给出了一个思路清奇的解法既然大规模视频生成模型已经能够根据文字描述生成非常逼真的人类活动视频那何不让机器人先想象自己如何完成一项任务——生成一段对应的第三人称视角视频然后再从这段视频里提取动作信息最终驱动机器人真正去完成这个任务这套系统的核心概念就像是给机器人装上了一个脑海中的排练室。在真正上场之前机器人先在脑子里把整个动作流程演练一遍把演练画面拍成视频再把视频里的人体动作解析成机器人能直接执行的运动指令。整个过程不依赖任何任务专属的真实操作数据完全由生成式AI的想象力驱动由通用运动控制器负责落地执行。一、从想象到行动ExoActor的三步走流程要理解ExoActor如何运作可以把整个系统比作一位专业导演在拍摄一部动作短片的过程。导演拿到剧本任务指令先观察一下拍摄现场初始场景图像接着创作出一段完整的动作视频视频生成阶段然后把视频里演员的每一个动作都精确测量记录下来动作估计阶段最后把这些测量数据交给真正的演员——也就是机器人——去现场还原运动执行阶段。第一步是生成视频这是整个框架最具创意的部分。给定一个任务描述和当前场景的第三人称图像系统需要生成一段展示任务执行过程的视频。然而直接让视频生成模型去生成机器人完成任务的画面往往会出现大量奇怪的伪影——机器人的身体变形、动作断断续续、画面前后不连贯——因为这类模型几乎所有的训练数据都是真实人类的活动画面对机器人外形完全不熟悉。为了解决这个语言不通的问题团队设计了一个巧妙的预处理步骤把场景图像里的机器人先用AI图像编辑工具伪装成一个真人。这位替身演员穿着紧身运动服保持机器人原本的姿势、位置和面朝方向身体比例也特意参照了机器人的特征——身形较矮腰部纤细四肢修长。整个场景的背景、光线、摆设一律保持原样不变只是把金属机器人换成了看起来像真人的图像。这个过程通过Gemini 3.1 Pro的图像编辑功能完成提示词中严格要求保持姿势一致性。完成机器人变人的替换之后系统还需要把高层次的任务指令分解成一系列具体可执行的中间步骤。举个例子把你面前的棕色箱子捡起来然后站直这样的指令会被GPT-5.4 Thinking分解为走近箱子、弯腰、抓住箱子、抬起箱子、恢复站立姿势——每一个步骤都是肉眼可见、物理上可实现的独立动作。这些分解后的步骤结合场景描述构成一段详尽的视频生成提示词明确指定了摄像机视角固定、场景不变、动作自然连贯、任务完成状态清晰等要求。视频生成则主要采用了Kling 3这是一款在稳定性和视觉一致性方面表现最优的商用视频生成API对比测试中另外两款模型Veo 3.1和Wan 2.6都因运动漂移、物体交互不自然等问题而表现逊色。第二步是从生成的视频里提取动作数据。这一步相当于把视频里那位替身演员的每一帧动作都精确扫描成三维数字模型然后记录下完整的运动轨迹。技术上团队使用了GENMO这一扩散模型它不是简单地逐帧预测姿势而是把整段视频的特征和二维关键点作为条件信号生成在时间上连贯、物理上合理的三维人体运动序列并用SMPL人体模型参数包括各关节旋转角度和全局位置来表示。对于视频中遮挡帧模型还会自动进行时间插值填补确保运动轨迹平滑。仅有全身动作还不够机器人要拿起和放下物体还需要精确的手部动作数据。团队额外使用了WiLoR这一工具对生成视频逐帧分析恢复双手的三维姿态。每帧视频产生一组手部数据包括左右手各自的姿势描述以及对应的交互状态完全张开、半张开还是握紧。这个信息随后被转化为机器人末端执行器即机械手的控制指令。值得一提的是针对镜头里人物正面朝向摄像机还是背对摄像机这两种情况手部左右的识别逻辑是不同的这样设计是为了避免左右手认错的问题。第三步是让机器人真正去执行这些提取出来的动作。这里的难点在于从视频中估计出的运动轨迹只是一堆几何数据并不包含力的信息——它不知道机器人的关节最大能转多少度也不知道保持平衡需要怎样协调重心。团队采用了SONIC这一通用运动跟踪控制器来解决这个问题。SONIC的作用类似于一个经验丰富的动作翻译官它接收参考运动轨迹同时感知机器人当前的身体状态在满足物理约束的前提下尽可能忠实地还原参考动作。即使参考轨迹里有一些不太自然的跳跃或抖动SONIC也能在不让机器人失去平衡的情况下稳定执行。团队经过测试发现在视频估计动作和真实机器人执行之间加入额外的动作重定向步骤即尝试将人体比例的动作精确地映射到机器人骨架比例上反而会带来明显的空间偏差——机器人走路步幅变了整体轨迹也偏了。于是最终方案是直接把估计动作喂给SONIC让SONIC自行处理细节这样在精度上反而更好。二、不同难度关卡的实战检验为了验证ExoActor的实际能力研究团队专门设计了一套由易到难的任务体系分为B级简单、A级中等和S级困难三个难度档。这套体系就像游戏里的关卡设计每升一级机器人需要处理的交互复杂度就会显著提升。B级任务主要考验基础导航能力机器人只需要走到指定地点或绕开简单障碍比如走到白色桌子前面的篮子旁边停下或者从椅子左侧绕出去。这类任务的核心是检验系统能否把生成视频里的行走轨迹准确转化为稳定的机器人步行动作同时准确到达目标位置。实验结果表明机器人在这类任务上表现稳定可以可靠地向目标物体靠近并完成定位。A级任务在导航基础上增加了粗粒度的物体交互不要求精确的抓握但需要协调全身动作。团队测试了多种场景包括把桌上的瓶子拨到垃圾桶里、走到椅子旁坐下、弯腰捡起箱子然后站起来、低头钻过警戒线、跨过障碍物以及用布擦桌子等。这些任务要求机器人把行走和全身动作协调起来同时与周围物体或环境发生有意义的接触。系统在这个难度档展示出了一定的多步行为执行能力体现了视频生成中对长时程交互场景的理解和表达。S级任务是整个框架面临的最大挑战需要精细操控和多步骤的手眼协调。具体任务包括从黑色椅子上捡起绿色瓶子并竖立放到桌上、从白色架子上拿起黑色雨伞放入桌上的篮子、把瓶子竖直放入篮子、从桌上拿起瓶子扔进垃圾桶等。这些任务既要走到合适位置又要用手精确地抓住特定物体并准确放置。实验中机器人总体上能完成这类任务但存在一个明显的局限由于运动估计对手部高度的判断存在误差机器人有时无法准确地抓到目标物体。团队为此采取了一个权宜之计在目标物体下方垫上小支撑台让物体稍微抬高一些以补偿这个高度偏差。三、哪些环节容易出问题任何系统都不可能完美无缺ExoActor也不例外。研究团队非常坦诚地记录了系统在三个主要阶段分别可能出现的典型失败案例。视频生成阶段最常见的问题是模型发挥过度——它会凭空生成原本不存在的物体或者让原有物体的尺寸发生离谱的变化。论文中举了一个具体例子原本场景里只有一把小雨伞视频生成模型却把它想象成了一把大雨伞导致后续动作估计和执行都出现严重偏差。除此之外动作序列前后逻辑矛盾、场景配置不合常理、最终姿态物理上根本站不住等问题也时有发生。团队发现精心设计提示词结构和对任务进行步骤分解可以显著降低这类问题的出现频率。运动估计阶段最突出的痛点是手部动作细节的准确性。当手应该保持某种特定方向抓握物体时——比如竖握一个瓶子——估计结果往往给出一个横向的腕部朝向。这是因为在单目视频只有一个摄像机视角没有深度信息中细微的腕部旋转提供的视觉线索非常微弱模型难以准确还原。此外当视频里人物的某些身体部位被桌子、椅子等场景物体遮挡时对应的三维运动估计就会出现缺失或错误。从后方视角拍摄的场景也会让估计精度明显下降因为背对摄像机时的自我遮挡问题尤为严重。执行阶段误差主要来自运动数据与机器人物理约束之间的不匹配。最常见的表现就是手部高度对不准——机器人伸手的位置略高或略低无法正确接触目标物体。此外在需要精确走到特定位置的任务中运动距离的偏差也会影响任务完成。这些问题在需要精准接触或抓握的S级任务中尤为明显。四、系统运行效率的真实情况ExoActor目前是一套离线流水线系统也就是说机器人在开始实际行动之前需要等所有上游处理步骤全部完成。研究团队对每个模块的平均耗时进行了详细测量呈现了一张非常直观的数据图景。机器人变人的图像转换步骤每次请求平均需要约10.7秒。任务分解和提示词构建则非常快每次请求仅需约2.5秒。视频生成是整个流程中最耗时的瓶颈环节每生成1秒钟的视频需要花费约13.2秒的处理时间也就是说生成一段10秒的行动视频大约需要2分多钟。全身运动估计相对高效处理每秒视频约需2.9秒。手部运动估计则是第二大耗时环节处理每秒视频需要约16.4秒比全身估计慢了约五倍多。这组数据说明在当前版本的ExoActor中如果要执行一个10秒的任务光是想象和解析这个任务就需要花费数分钟的准备时间然后才能真正开始执行。这对于需要实时响应环境变化的场景来说是明显的限制但对于那些可以提前规划、场景相对稳定的应用场景而言这个代价在当前阶段是可以接受的。五、这套方法还能怎么进化研究团队在论文中详细讨论了当前实现的多项局限以及未来可以改进的具体方向这部分内容反映了他们对整个研究路线的深度思考。最核心的一个问题是当前系统是完全开环的机器人在执行过程中不会感知周围环境的变化只是机械地播放预先生成的动作轨迹。一旦场景里出现了意外情况——比如物体被碰歪了、地面有个障碍——机器人完全感知不到也无法调整。未来的改进方向是建立闭环的、具备场景感知能力的全身控制机制让机器人在执行时能持续观察环境用生成视频提供的参考轨迹作为高层次的行为指引同时根据实时传感器数据随时微调脚步位置、身体姿态和手部动作。另一个重要方向是让视频生成本身更懂物理。当前模型擅长生成看起来很真实的画面但并不真正理解物理规律——物体会穿模、接触关系不合理、动作违反运动学约束等问题时有发生。研究团队认为未来需要把物体永恒性物体不会凭空消失、接触动力学、几何一致性和运动约束等物理知识更深入地融入视频生成模型的训练中同时评估指标也应该转向物理可行性和可执行性而不仅仅是视觉质量。从离线批处理迈向在线流式处理也是一个值得期待的改进方向。未来的系统可以不再等整段视频生成完毕再开始执行而是在机器人行动的同时持续生成短时间窗口内的下一步预测视频实现边想边做的动态规划让机器人能够应对环境的实时变化。此外当前系统要求必须有第三人称视角的外部摄像机来拍摄初始场景这在很多实际环境里并不容易满足。研究团队指出未来一个重要方向是训练能够从机器人自身携带的第一人称摄像头视角重建或推断出第三人称视角画面的模型从而摆脱对外部固定摄像机的依赖。研究团队还提出了以机器人为中心的视频生成这一长远构想。目前的方案先把机器人伪装成人再生成视频这个绕路做法带来了额外的不一致性。理想情况下视频生成模型应该能够直接以机器人本身为主角生成高质量的动作视频同时保持动作的流畅性和物理合理性而不是套用人类外形生成后再反向适配。最后研究团队呼吁建立统一的视频驱动人形机器人控制基准测试集。目前这个领域的评估十分分散——有的只测视频生成质量有的只测运动估计精度有的只测机器人控制效果缺乏从头到尾综合评估整个流程的标准。建立这样的基准对于衡量不同方法之间的真正差异、推动整个领域快速进步至关重要。归根结底ExoActor做的这件事是把大脑里的排练和真实的行动之间搭了一座桥。这座桥目前还有很多颠簸之处——有时候视频里出现了不该出现的大雨伞有时候机器人的手高了几厘米没抓到东西——但它的存在本身就已经意义重大。它证明了一件过去看起来有些离奇的事情一台从未见过某个任务的机器人只需要让AI想象一遍这个任务再把想象的画面解析成动作指令就能真正走上去、弯腰、伸手、把东西放进篮子里。这对整个人形机器人领域的意义在于我们或许不再需要为每一个新任务、每一个新场景都去费力收集大量真实操作数据了。互联网上海量的人类活动视频加上持续进化的视频生成模型可能就是机器人学习如何完成各类任务的最大数据来源。至于这条路最终能走多远能不能让机器人在真实家庭里灵活应对日常的各种突发情况则是留给未来研究者去继续探索的开放问题。如果你对技术细节有更深的兴趣可以在arXiv上通过编号2604.27711查阅完整论文。QAQ1ExoActor框架为什么要把机器人图像替换成人的图像再生成视频而不是直接让AI生成机器人动作视频A现有的视频生成模型几乎所有训练数据都是人类活动画面对机器人外形非常不熟悉直接输入机器人图像会导致生成的视频出现身体变形、动作断续、画面前后不一致等大量问题。把机器人替换成穿紧身服的人形图像相当于把外语输入转换成模型熟悉的母语输入能让视频生成更稳定后续从视频中提取的人体动作数据质量也更高。Q2ExoActor系统在S级复杂操作任务中失败的主要原因是什么A主要原因是运动估计阶段对手部高度的判断存在误差。视频生成模型生成的画面在视觉上看起来合理但从单目视频只有一个摄像机没有深度感知中还原精确的三维手部位置时高度信息容易出现偏差。这导致机器人实际伸手的位置比目标物体略高或略低无法成功抓握。目前的临时解决方案是在目标物体下方垫高支撑台后续需要从算法层面改进腕部姿态的估计精度。Q3ExoActor完成一个任务需要多长时间准备A目前ExoActor是离线流水线系统在机器人真正开始行动之前需要依次完成图像转换约10.7秒、任务分解约2.5秒、视频生成每秒视频约13.2秒处理时间10秒视频约需2分多钟、全身运动估计每秒视频约2.9秒和手部运动估计每秒视频约16.4秒等步骤总准备时间从几分钟到更长不等目前尚不支持实时响应。