具身智能表征的ImageNet来了！机器人终于看懂了人类世界

机器人在现实中总“翻车”只因跨不过那道模态鸿沟。今天具身智能真正的 ImageNet 时刻终于到来。从 2025 年春晚的《秧 BOT》到 2026 年春晚里走进武术、小品等不同节目机器人已经不只是舞台上的技术点缀它们的动作越来越复杂角色也越来越丰富。但对于具身智能领域而言真正的问题并不在于机器人能不能完成一场预先设定的表演而在于这些能力能否离开特定的编排和场景泛化到更广泛的真实任务中。互联网上的海量视频构成了物理世界最庞大的交互数据库。人类看段短视频就能学会的物理技能具身模型却迟迟无法从中有效挖掘。画面里只有像素的流动天然缺少机器能读懂的控制指令。视觉信号与动作标签之间隔着一道难以跨越的模态鸿沟。为打破这一僵局美团 LongCat 团队推出了 LARYBench。作为业内首个专门评估此类泛化表征的系统性基准它提供了一把量化标尺旨在帮助具身模型真正从海量视觉数据中学会通用的动作语言。为推动这一路径的探索与验证LARYBench 及其数据集、代码现已全面开源。论文地址https://huggingface.co/papers/2604.11689GitHub地址https://github.com/meituan-longcat/LARYBench项目主页https://meituan-longcat.github.io/LARYBench/HuggingFace地址https://huggingface.co/datasets/meituan-longcat/LARYBenchModelScope地址https://modelscope.cn/datasets/meituan-longcat/LARYBench具身泛化的三大现实瓶颈长期以来具身智能模型之所以难以直接向人类视频学习主要受制于三个现实瓶颈一方面是数据获取难带有精确动作标注的机器人数据极度依赖高成本的遥操作采集规模极为有限而庞大的人类视频库又缺乏机器人可用的底层指令。另一方面是表征难迁移传统的动作数据往往与特定硬件本体高度绑定导致在一个平台上习得的特征很难跨形态复用。更致命的是缺乏统一度量由于没有独立的标尺来衡量中间表征质量目前的模型大多局限于特定任务微调难以走向大规模无监督预训练。隐式动作表征通过学习视频帧间的时空演变来抽象动作语义被视为打破上述瓶颈的关键。LARYBench 的出现正是为了将这种中间表征的质量与下游控制策略彻底解耦为行业提供科学的评价体系。构建动作表征的度量标准针对前述的评估空白LARYBench 建立了一套能够量化隐式动作质量的标准化框架。它并非单纯的单一数据集而是一个从物理执行本体动作与高层理解语义动作两个核心维度切入的综合评价体系。〓 LARYBench 概览数据规模、动作分类体系及多形态机器人平台覆盖这一体系建立在庞大的数据底座之上。LARYBench 整合了超过 120 万个标注视频片段总时长超 1000 小时以及 62 万对图像和 59.5 万条运动轨迹。〓 数据构成组成比例及视频时长分布其样本空间展现了极高的多样性。动作类别精细划分为本体动作、原子语义动作和复合语义动作三个层级共计 151 种既包含 pick、place 等基础交互也覆盖了 shovel积雪、float气球等长尾场景。〓 语义分布动作动词与操作对象的词云分析硬件形态则横跨了从 Franka 单臂到 Agilex Cobot、Realman 以及半人形 G1 在内的 11 种机器人平台并深度融合了人类视角的交互数据。为了实现精准度量LARYBench 构建了一套全链路自动化的多粒度数据引擎。它将视频切片、描述匹配到特征归一化等复杂流程交由算法闭环极大地提升了海量异构数据的处理效率。〓 LARYBench 数据构建流程视频切片、描述匹配与一致性检验系统引入了运动引导采样器MGSampler通过计算帧间运动强度确保提取的时序序列包含足够的物理动态变化并覆盖了从真实住宅厨房到工业场景等多样化环境。〓 左右滑动查看更多典型动作样例该基准对数据质量把控严苛在全链路自动化处理的基础之上辅助以严格的人工抽检做质检校验。〓 LARYBench 整体流程涵盖数据采样、隐式表征提取及解耦评测任务如上图所示在核心评测流程上系统会首先通过待测模型提取出隐式动作表征 z随后利用浅层探测头进行解耦验证其评估逻辑最终收敛为两个独立维度语义动作分类衡量特征 z 对动作意图的识别精度涵盖原子动作与复合行为。本体动作回归衡量特征 z 对末端执行器绝对位姿参数7/12/16-DoF物理细节的还原能力。实验解析从宏观性能到底层机制为了全方位验证隐式动作表征的有效性论文系统评估了具身智能领域现有的四类代表性范式专为具身设计的隐式动作模型Embodied LAMs、语义级通用视觉编码器、像素级通用视觉编码器以及在通用主干上构建的 General LAMs。实验围绕宏观性能、底层物理机制以及超参数规律展开了深入剖析。通用视觉模型在控制任务中占优实验数据给出了明确答案在未接受任何显式动作监督的情况下通用视觉编码器如 V-JEPA 2、DINOv3在语义捕捉和底层控制还原上的表现均明显优于专为机器人研发的 Embodied LAMs。〓 性能对比模型在原子与复合语义分类任务上的准确率对比 DINOv3 与 Wan2.2 VAE 的表现DINOv3 的平均 MSE 低至 0.19优于后者的 0.30。数据表明基于隐式特征空间的视觉编码在物理控制对齐上比像素级生成模型更具精度。〓 回归误差对比各模型在单臂及双臂数据集上的表现研究团队认为这主要是因为专用的具身模型训练数据较少或者是过早受到领域特定约束限制了表征的普适性。长尾分布的泛化能力进一步印证了这一结论。随着动作频率降低强模型与弱模型之间的性能差距进一步拉大证明了高质量视觉预训练能够助力模型在样本稀缺场景中保持精准捕捉。〓 模型在长尾分布动作上的性能表现动态轨迹编码与注意力聚焦隐式表征是否真正编码了动作规律还是仅仅在做静态图像匹配研究团队通过采样步长Stride消融实验给出了证据。当预测步长从 5 增加到 30 时纯像素级生成模型FLUX.2-dev误差严重恶化MSE 飙升至 0.62而隐式动作范式LAMs表现出极高的稳定性。这证明了隐空间确实编码并保留了连续的物理运动轨迹。〓 时间稳定性验证采样步长消融实验结果交叉注意力热力图直观展示了模型底层的聚焦差异。在倾倒动作序列中V-JEPA 2 和 DINOv3 能精准聚焦于手部与物体的物理交互区域。相比之下具身专项模型的注意力呈现弥散状态像素级模型则易受光影等无关变化的干扰。〓 不同模型在倾倒动作序列上的注意力热力图对比动作表征的超参数规律为指引 General LAMs 的构建实验进一步对关键参数进行了消融分析。结果表明调整码本大小、序列长度、隐空间维度和学习率等超参可以有效提升动作表征效果视觉主干是基石将冻结的通用编码器特征作为输入训练出的 LAM 性能显著优于基于像素重建的方案。参数配置的平衡在合理范围内增大序列长度和隐空间维度有利于提升特征表达能力。码本的容量界限实验显示在当前数据分布下码本并非越大越好。当容量从 64 增加到 256 时码本利用率降至 89.5%导致性能出现小幅回落。值得注意的是超参数的配置与训练数据规模高度相关。目前观测到的性能波动仅基于现有数据量。随着数据规模的进一步扩展隐式表征的性能边界仍有巨大的提升空间。〓 超参消融不同配置下的性能演进路径从“看懂”到“行动”的范式转移LARYBench 的实验数据证明有效的动作先验完全可以从海量互联网无标注视频中自然涌现。在未来的 VLA 模型设计中与其在极其稀缺的机器人标注数据上从头构建动作空间不如采用一种更具扩展性的策略。先依托互联网视频庞大的数据规模学习稳健的动作先验再将其对齐到底层控制策略中实现从通用视觉特征空间到物理执行能力的跨越。这种路径有望帮助具身智能彻底突破现有的数据获取瓶颈真正将数据的规模优势转化为模型的行动力——通过打通从认知物理世界到执行复杂任务的闭环指引具身智能走向属于它的 GPT 时刻。现在在「知乎」也能找到我们了进入知乎首页搜索「PaperWeekly」点击「关注」订阅我们的专栏吧·