最佳论文提名！DancingBox：一台手机，从任意物体捕捉角色动画！

点击下方卡片关注“CVer”公众号AI/CV重磅干货第一时间送达点击进入—【顶会/顶刊】投稿交流群添加微信号CVer2233小助手拉你进群扫描下方二维码加入CVer学术星球可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料及应用发论文/搞科研/涨薪强烈推荐角色动画创作是现代影视游戏行业中艺术张力的基石。然而创作角色动画并非易事。现有动画创作流程中动作捕捉系统需要专门的设备和演出团队导致成本高昂3D 动画软件则需要专业动画师来操作因为在 2D 屏幕内编辑 3D 骨骼运动并不符合人类直觉此类软件往往学习曲线陡峭、经验要求极高。实践中一段动画从设计到交付的周期较长一段 15 秒的角色动画往往需要迭代数天才能完工。为了简化动作创作流程部分研究者们提出 “数字木偶戏” 问题希望通过直观操作物理代理如玩偶、手机、物理传感器、手指等将物理世界中直观演绎的动作转化为虚拟世界中角色的骨骼动画。然而现有系统往往采用基于小样本的、特定规则的、手工设计的传统机器学习算法只能够针对特定的输入物体产出特定预设的有限几种角色动画。这一技术路线不具有泛化能力极大限制了此类系统的实际应用价值。针对这一现状一个来自爱丁堡大学、蔚蓝海岸大学、清华大学的联合研究团队提出了 DancingBox并获得了人机交互Human-Computer Interaction领域顶会 ACM CHI 2026 的最佳论文提名。项目主页https://yyyyyhc.github.io/DancingBox-project-page论文链接https://arxiv.org/html/2603.17704v1代码链接https://github.com/YYYYYHC/DancingBoxDancingBox 第一次实现了仅需 RGB 相机对任意物体生效产出高质量角色动画的能力。下表 1 给出了其与现有工作的对比。表 1DancingBox 与现有工作的对比该团队重新思考了大模型时代的数字木偶戏问题与动作捕捉系统。他们发现将现有的几个视觉大模型结合已经可以实现对任意物体的粗略动作捕捉包围盒运动序列。考虑到视觉大模型空间精度有限且木偶戏类的演出往往缺失细节本研究进一步利用动作生成模型将粗略动捕结果 “翻译” 成对应的、精细的角色骨骼动画。图 1系统概览。本文展示的带模型角色动画使用默认 mesh 模型并由 Blender 插件自动重定向。如图 1DancingBox 系统仅需一台普通相机如手机地面标定如本文使用的视觉标定板等任意平坦物体及任意演出物体即可工作。能够将粗略的物体演出通过包围盒做中介转化为对应的真实感角色动画。系统实现DancingBox 系统分为两个模块基于视觉基础模型的粗略动作捕捉MoCap与基于扩散模型的精细动作生成MoGen。粗略动作捕捉MoCap图 2MoCap 系统。如图 2给定一段用户操作的物体视频该团队的做法是结合三个视觉基础模型SAM2 CoTracker3π3从 2D 输入中估计出 3D 包围盒运动序列。具体而言先使用 π3将视频逐帧转化为 3D 单目点云。而后为了定位感兴趣的物体和抽象层次用户与 SAM2-video 交互将感兴趣物体的各个部分在第一帧内分割出来。结合这二者能够获取各个运动部位的逐帧 3D 点云。此后为了估计出时空中连续的包围盒序列从起始帧估计 PCA 包围盒作为初始化并用 CoTracker3 提取出像素级别的追踪关系这一关系通过 π3 提供的像素-点云对应转化为空间中点与点间的帧间对应关系。通过 SVD 分解便可以解出完整的包围盒运动序列。读者也许会疑惑计算包围盒的动机既然 π3 和 SAM2 已经能够给出每帧的空间信号粗略点云似乎可以直接将这些点云作为后续精细动作生成的输入从而省略掉 CoTracker3 模块。图 3通过包围盒桥接动作估计模块与动作生成模块解除数据稀缺的限制。如图 3使用包围盒的核心考虑是数据问题为了训练由空间信号点云/包围盒序列约束的动作生成模型需要该空间信号和真实动作来自动捕数据集的数据对。然而由于视觉重建方案得出的点云是表面而非骨骼的部分采样仅从动作捕捉数据集的骨骼无法构造出合理的数据对即无法估计骨骼的 “粗细” 和观测时的 “正反面”。包围盒序列就是为了解决这一问题一方面给定点云的视觉跟踪信号CoTracker3包围盒运动信息能够从粗略点云中估计出来另一方面从动捕数据集的骨骼运动数据中可以直接算出对应包围盒序列。只要约定好包围盒大小范围这一中间表示就能够完美桥接两个系统。精细动作生成MoGen承接上文现在我们需要训练以包围盒序列为条件的精细动作生成模型。基于动作捕捉数据集 HumanML3D先从数据集中真实采集的人体骨骼动画中按照图 4 所示的包围盒合并策略计算同一段骨骼运动在各种排布方式下产生的包围盒运动序列。为了模拟真实场景中估计不准确的问题再随机放大/缩小/丢弃掉部分包围盒并向包围盒运动中加入随机速度/位置噪声。图 4初始包围盒生成逻辑。接着再训练一个 ControlNet向预训练好的文本生成动作模型 (Human-Motion-Diffusion-Model简称 MDM注入额外的包围盒控制信号。图 5MoGen 系统。特别地考虑到包围盒内部的顶点顺序、同一时刻包围盒之间的排列顺序不应该影响该时刻提取出的特征如图 5 所示该团队参考 PointNet用平均与最大值运算保证特征的顺序无关性。用户调研本文进行了广泛的用户调研。在用户反馈中DancingBox 符合直觉易于使用即使是新手也可以在短时间内使用系统自由创作。部分问卷结果如图 6。图 6部分问卷结果。特别地从用户调研中该团队发现用户希望有更灵活自由的物体实现精细的多样演出。用户认为双手控制多关节物体运动存在困难。同时物体是否容易站立很大程度上影响操作便利性。该团队表示「自由度与交互简易度构成了一组 trade-off我们希望这能够启发后续研究进一步探索可交互设备的更多可能。」视频结果展示更多视频结果包括正文中各个图片的对应案例请见项目主页。作者信息本文的第一作者袁浩程是爱丁堡大学三年级的博士生他的研究兴趣是用户友好的计算机辅助设计CAD指导老师为爱丁堡大学李昌健助理教授。DancingBox 系统处于持续研究升级中欢迎感兴趣的研究人员与动画/游戏行业人员联系作者团队。本文系学术转载如有侵权请联系CVer小助手删文何恺明在MIT授课的课件PPT下载在CVer公众号后台回复何恺明即可下载566页课件PPT大家赶紧学起来CVPR 2026 所有论文和代码下载在CVer公众号后台回复CVPR2026即可下载CVPR 2026 所有论文和代码CV垂直方向和论文投稿交流群成立扫描下方二维码或者添加微信号CVer2233即可添加CVer小助手微信便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖目标检测、图像分割、目标跟踪、人脸检测识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。 一定要备注研究方向地点学校/公司昵称如Mamba、多模态学习或者论文投稿上海上交卡卡根据格式备注可更快被通过且邀请进群▲扫码或加微信号: CVer2233进交流群 CVer计算机视觉知识星球人数破万如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料一定要扫描下方二维码加入CVer知识星球最强助力你的科研和工作 ▲扫码加入星球学习▲点击上方卡片关注CVer公众号 整理不易请点赞和在看