数据不是石油，是稀土：被误读的具身智能数据竞赛

一个被反复引用的判断是——数据是具身智能时代的石油。 我想说的恰恰相反这个比喻从一开始就错了。一、五十万小时的困境先看一组行业账目。某国内头部具身智能企业在预计投入的 20 亿元科研创新费用中仅数据基础设施一项占比就超过 40%。某上市公司的公开财报显示2025 年全年在数据相关领域的硬性投入达 1.5 亿元占到全年研发投入的 30%。特斯拉的 Optimus 项目账本更为庞大——2022 至 2024 年累计研发投入已超 30–40 亿美元其中数据采集与处理约占三分之一超过 10 亿美元。数据确实是一门生意。但数量从来欺骗不了质量。在卷采集时长、卷数据规模的路上一路狂奔看上去像勇气本质上是惊人的浪费。今天有超过 60% 的公司选择直接删除至少一半此前重金采集的历史数据——因为早期质量太差、格式不统一、与新模型架构完全不兼容。斯坦福大学今年 4 月发布的《AI Index Report 2026》给出了一个更冷的数字通用人形机器人在真实家庭场景中的任务成功率仅约 12%且从 2024 到 2026 年几乎停滞两年间提升不到 2 个百分点。而截至 2026 年初即便在如此规模的投入下全球所有高质量真实物理交互数据加在一起依然只有约50 万小时——不及大语言模型训练数据的两万分之一。某大厂开展“人类历史上规模最大的数据采集行动这就是行业的真实处境钱在加速能力在原地踏步。如果说 90% 的数据投入是无效的那么在认清这个残酷前提之后剩下真正有效的 10% 才值得我们离开光鲜的融资额与百万小时的 PR认真追问一句到底什么样的数据才能改变格局二、为什么具身智能缺数据要理解这 10%得先理解具身智能与大语言模型最根本的分野。大语言模型可以依托互联网上近乎无限的高质量文本完成训练而具身智能走向通用人工智能AGI的最大障碍之一恰恰是操作数据的极度匮乏。机器人需要的不是世界知道什么而是双手如何与物理世界交互——这类数据没有现成的互联网语料库可供抓取。从早期的网络视频预训练到耗资巨大的遥操作采集再到仿真器中的海量合成机器人操作数据的采集范式经历了一场漫长而艰难的进化。这条进化线本质上是整个领域在规模与精度之间反复寻找最优解的过程。下面沿着这条脉络逐一拆解四个阶段的价值与局限。三、数据范式的四次进化阶段一从互联网汲取——网络视频的早期尝试面对操作数据的短缺研究者最直觉的反应是能不能像训练语言模型那样直接用互联网上海量的现成视频YouTube 上的烹饪、组装教程蕴含着极其丰富的人类活动语义与常识。这一阶段的代表性工作是 Meta AI 与斯坦福联合推出的R3M2022它尝试用 Ego4D 视频预训练视觉表征提升下游机器人任务的数据效率谷歌的RT-22023则更进一步将网络图文数据与机器人遥操作数据联合训练让机器人具备了初步的语义理解与常识推理能力。这些工作证明了网络视频在提供通用视觉表征上的价值。但它的局限同样刺眼Apple 在 EgoDexICLR 2026中指出未经结构化的原始视频在图像分布上与灵巧操作之间存在难以弥合的鸿沟。更要命的是视角——网络视频大多是第三人称、固定机位与机器人执行任务时的视角差异巨大同时缺乏精确的手-物交互细节更没有机器人控制所需的动作标注关节角度、末端执行器位姿。RT-2模型架构。通过联合训练互联网规模的视觉-语言-动作VQA数据和机器人动作数据使模型具备了初步的常识推理能力。结论是清楚的网络视频只能停留在提供视觉特征的浅层教不会机器人怎么动手。阶段二让机器人亲自演示——遥操作的规模化既然网络视频缺动作标注那就转向最直接、最精确的方式遥操作Teleoperation。这一阶段见证了操作数据集的爆发式增长从谷歌的 RT-1、BridgeData V2到汇聚 22 种机器人本体、来自 21 家机构的 60 个数据集、包含逾 100 万条轨迹的Open X-Embodiment2024再到覆盖 564 个场景、86 种任务、50 位采集者、共 7.6 万条轨迹的DROID2024。规模与多样性不断被刷新。Open X-Embodiment 数据集概览。汇聚了22种不同的机器人本体、60个数据集总计包含超过100万条操作轨迹。这些数据集为机器人提供了精确的动作标签让端到端模仿学习成为可能并直接催生了跨具身Cross-Embodiment学习。但遥操作有一道无法绕开的天花板规模瓶颈。每一条轨迹背后都需要昂贵的机器人硬件、复杂的标定系统以及一位熟练操作员耗费大量时间。EgoDex 团队直言遥操作受限于物理机器人的操作瓶颈目前尚不清楚如何继续向更大规模扩展。NVIDIA 在发布 GR00T N1 时也点破了另一个问题不同机器人在传感器、自由度、控制模式上差异巨大现有遥操作数据往往沦为一座座数据孤岛Data Islands难以整合成像互联网文本那样连贯、可训练通用模型的大规模语料库。精度有了规模和通用性却付出了高昂代价。阶段三让仿真器生产数据——合成数据的崛起为了摆脱对人类操作员的依赖研究者把目光投向物理仿真器。如果能在虚拟世界中自动生成数据数据的边际成本将趋近于零。NVIDIA 与 UT Austin 的MimicGen2023及其后续 DexMimicGen 展示了这条路的潜力以少量人类演示作为种子在仿真器中做轨迹变换、物体替换与场景随机化批量生产海量操作数据。在 GR00T N1 的训练中研究团队用 DexMimicGen 在短短11 小时内生成了 78 万条仿真轨迹——相当于人类操作员连续工作约 6500 小时约 9 个月的工作量。效率惊人。但仿真同样不是万能解药。MimicGen 系统概览。通过对少量的人类演示进行轨迹变换和场景随机化自动生成大规模的机器人操作数据集DexMimicGen的数据生成流程。展示了在仿真环境中如何对源演示进行分割并生成新的双臂协调操作轨迹。仿真物理引擎接触、摩擦、柔性形变与真实世界之间始终横亘着Sim-to-Real Gap。NVIDIA 的研究人员坦言某些复杂任务——比如把网状杯中的液体或细小颗粒倒进垃圾桶——在仿真中极难生成与模拟。更深层的问题在于仿真数据的任务分布受限于预先构建的 3D 资产库缺乏真实世界中那条无限长尾的语义多样性。取之不尽却难以逼真。阶段四回归人类视角——第一视角数据的独特价值历经网络视频的失焦、遥操作的昂贵、仿真的失真数据进化路线最终收敛到了一个兼具规模与精度的范式人类第一视角Egocentric数据。以 Meta、CMU 等机构的Ego4D20223670 小时日常活动视频和EPIC-KITCHENS为代表的早期数据集已经证明了第一视角在捕捉人类日常活动上的潜力。而最近爆发的一批研究——佐治亚理工的EgoMimicCoRL 2024 Workshop、Apple 的EgoDex以及蚂蚁集团的AoE 系统Always-on Egocentric2026——则彻底把第一视角推到了灵巧操作的舞台中央。Ego4D 数据集概览。展示了跨越全球多个国家和地区的日常人类活动第一视角视频为具身智能提供了丰富的场景先验NVIDIA 在 GR00T N1 中提出的数据金字塔框架恰好为这四个阶段的关系给出了答案塔基海量网络数据与人类第一视角视频Ego4D、EPIC-KITCHENS、HOI4D 等提供广泛的视觉与行为先验塔身仿真合成数据充实技能多样性塔尖少量高精度真实机器人遥操作数据完成最终的物理对齐。在这座金字塔里第一视角数据的独特价值集中体现在三个维度1极致的被动可扩展性Passive Scalability与遥操作需要人类刻意去教机器人不同第一视角数据的采集可以是被动且无感的。Apple 的 EgoDex 利用 Vision Pro 头显在日常生活中自然采集了 829 小时、涵盖 194 种任务的灵巧操作数据规模比现有手部操作数据集大了近一个数量级。AoE 系统更是把门槛降到极致一个成本不到 20 美元的颈挂式手机支架加上端云协同的 App任何人都能随时随地采集高质量操作数据。这种被动扩展性让操作数据第一次有望像互联网文本那样实现自然增长。2天然的视角对齐与迁移潜力人类佩戴头显或胸前设备采集的第一视角视频与人形机器人头部/胸部主摄像头的视角高度一致。这种视角对齐有望显著缩小从人类演示到机器人执行之间的 Domain Gap。EgoMimic 的实验表明在固定的机器人遥操作数据基础上加入人手第一视角数据协同训练机器人策略的任务得分相比纯遥操作基线ACT最高可提升228%绝对成功率最高提升33%。3极其丰富的精细操作语义第三人称网络视频往往看不清手部细节第一视角却能以极近距离捕捉手-物交互的微妙动态。EgoDex 不仅提供高清视频还借助设备自带的 SLAM 与多摄像头系统精确追踪人体上半身及双手每只手 25 个关节的 3D 位姿。这种含精确 3D 骨骼信息的数据覆盖系鞋带、折叠衣物、拧开瓶盖等高度复杂任务为机器人学习精细接触力与空间关系提供了不可替代的监督信号。| NVIDIA GR00T N1 提出的数据金字塔。将海量人类第一视角视频和网络数据作为底层基础支撑起整个具身模型的训练框架。四、四种范式的横向对比数据范式代表工作核心价值主要局限网络视频R3M、RT-2通用视觉表征、常识语义缺动作标注、视角不匹配、操作细节模糊遥操作Open X-Embodiment、DROID精确动作标注、支持端到端学习采集成本极高、扩展性差、易成数据孤岛仿真合成MimicGen、DexMimicGen零边际成本、生成效率极高Sim-to-Real Gap、难以覆盖长尾场景第一视角EgoDex、EgoMimic、AoE被动可扩展、视角对齐、精细操作语义动作标注、具身迁移、质量控制仍待解需要强调的是第一视角并非没有挑战。其一是动作标注。Ego4D 等早期数据集缺乏精细标注需要靠后处理姿态估计、手部追踪提取动作信号而后处理精度往往不如采集时的直接标注。EgoDex 通过在采集时直接记录 3D 手部骨骼解决了这一点代价是依赖专用硬件Apple Vision Pro。其二是具身迁移Retargeting。人手与机器人末端执行器形态差异显著如何把人手的精细动作准确映射到夹爪或多指手仍是开放问题。EgoMimic 等工作目前通过共享视觉观测空间而非直接迁移动作来规避但并不能覆盖所有场景。其三是质量控制。AoE 这类被动采集系统极大降低了门槛却也引入大量噪声非操作场景、遮挡、运动模糊需要复杂的自动化过滤与标注流水线来保证训练质量。五、答案远未定型具身智能的数据探索仍处在极早期。没人确切知道通用操作能力最终需要怎样的数据配方——在这个意义上试错本身就是探索的必要部分。但试错与在已被验证低效的路线上持续下注是两码事。回看整条进化史网络视频规模庞大却缺动作标注遥操作精度极高却难以扩展仿真数据取之不尽却消不掉 Sim-to-Real Gap。规模与精度往往不可兼得没有任何单一范式能同时承载通用操作所要求的规模、精度与真实性。这意味着问题已经变了。它不再是选择哪一条路线而是——如何让这些各具短长的数据源在一个统一框架下形成合力。四个阶段不是相互替代的关系而是一个互补的数据生态。正如 GR00T N1 的数据金字塔所揭示的人类第一视角数据凭借被动可扩展性、视角一致性与精细操作语义正在成为承上启下的关键基石——向下衔接语义理解向上支撑技能迁移。六、结语数据不是石油是稀土所以回到开头。数据不是新时代的石油。石油挖出来就能烧而具身智能的数据更像稀土——一吨矿石里只有几克能点亮反应堆。真正的壁垒从来不在你囤了多少矿石而在你从矿石里提纯出了多少浓缩物。当 90% 的投入注定无效决定胜负的是那 10% 的提纯能力。这才是价值。参考文献R3M: A Universal Visual Representation for Robot Manipulation— https://arxiv.org/pdf/2203.12601RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control— https://arxiv.org/pdf/2307.15818EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric Video— https://arxiv.org/pdf/2505.11709Open X-Embodiment: Robotic Learning Datasets and RT-X Models— https://arxiv.org/pdf/2310.08864DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset— https://arxiv.org/pdf/2403.12945GR00T N1: An Open Foundation Model for Generalist Humanoid Robots— https://arxiv.org/pdf/2503.14734MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations— https://arxiv.org/pdf/2310.17596Ego4D: Around the World in 3,000 Hours of Egocentric Video— https://arxiv.org/pdf/2110.07058EgoMimic: Scaling Imitation Learning via Egocentric Video— https://arxiv.org/pdf/2410.24221AoE: Always-on Egocentric Human Video Collection for Embodied AI— https://arxiv.org/pdf/2602.23893