NVIDIA吴新宙：世界模型是自动驾驶最本质的一环

点击下方卡片关注“自动驾驶之心”公众号戳我-领取自动驾驶近30个方向学习路线编辑 | 自动驾驶之心自动驾驶前沿信息获取→自动驾驶之心知识星球上周四自动驾驶之心很荣幸参加了NVIDIA在北京线下举办的NVIDIA 2026 北京车展媒体会现场分享的主讲人是NVIDIA全球副总裁吴新宙。主题为《迈向 L4 级自动驾驶之路打造可规模化、安全的自动驾驶汽车与 Robotaxi》。这场Workshop的信息量很大。从车端计算、传感器架构、安全操作系统到Alpamayo、DRIVE AV、Cosmos和Omniverse NuRecNVIDIA这次几乎把它对辅助驾驶下一阶段的理解摊开聊了一遍。最让自动驾驶之心印象深刻的是结束前的一个回答。我当时向吴新宙提问了一个问题NVIDIA后续的Alpamayo 2.0会不会使用世界模型以及NVIDIA如何思考世界模型和自动驾驶的结合。他的回答很明确世界模型是自动驾驶最本质的一环。而从自动驾驶之心了解的技术趋势来看VLA和世界模型正在逐渐走向融合。这个判断很重要。过去一年自动驾驶行业对VLA、端到端和世界模型的讨论很多但很多时候大家会把他们拆成几条互相竞争的路线选了VLA就不能聊世界模型讲世界模型就一定要脱离端到端。NVIDIA这次给出的信号再次印证了我们之前的思考VLA和世界模型并不是两条分叉的技术路线在更高阶的辅助驾驶阶段它们一定会深度融合。01.自动驾驶正在进入物理AI阶段这次 Workshop 开头NVIDIA 用了一张很有意思的图。它把过去十几年的 AI 发展放在一条时间线上。2012 年 AlexNet 之后是感知 AI典型代表是语音识别、推荐系统、医疗影像。随后是生成式 AI覆盖数字营销、内容生成。再往后是代理式 AI比如代码助手、客服、医疗护理。到了下一阶段NVIDIA 把辅助驾驶和通用机器人都放进了物理 AI 里面物理 AI 的构建与安全部署是未来十年的核心挑战。自动驾驶过去很多年本质上都在解决一个问题车辆如何看见世界以及如何把世界结构化。Camera、Radar、Lidar围绕感知网络、BEV、OCC、在线建图再到后面的端到端、VLA行业已经卷了很久。但到了 L2、L3、L4 这个阶段只看清楚已经不够了。在一个非确定的环境下感知前方车辆或障碍物并不算难难的是如何判断交通参与者的意图自车需不需要进行制动或者避让以及当前动作之后整个交通场景会如何演化。这就是物理 AI 和传统感知 AI 的分野。感知 AI 是在回答世界现在是什么样子。物理 AI 要回答的是世界接下来如何变化车辆发生动作之后世界又会怎么反应。所以NVIDIA 把辅助驾驶和通用机器人放在同一个物理 AI 框架里不是偶然。两者都不是静态识别任务而是在连续时间里和真实世界互动。02.自动驾驶远没有到终局NVIDIA给出了一个数据很反直觉。在全球出行经济数据里乘用车是 15 亿辆商用车和卡车是 2.8 亿辆商用出租车是 1800 万辆全球年度行驶里程是 13T但自动驾驶里程只有 700M。这个比例非常低低到足以提醒我们自动驾驶在全球出行系统里的真实渗透仍然处在极早期。粗略换算一下自动驾驶里程在全球年度行驶里程里的占比大约只有0.006%。行业讨论自动驾驶已经很多年了现在大家每天都在讨论端到端、VLA、城区 NOA、Robotaxi但如果把视角拉到全球出行总量自动驾驶仍然只是一个很小的变量。真正的大规模应用还远远没有被打开。且自动驾驶并不是一个单点功能。未来会进入汽车、外卖、智慧城市、物流、农业、零售、医疗等大量物理世界场景。只要车和机器人开始真正进入开放环境背后需要的就不只是一个更强的模型而是一整套能够持续训练、验证、部署、回流的物理 AI 系统。这也是这次 Workshop 里最值得关注的部分NVIDIA 没有只讲一个模型。03.NVIDIA 的五层蛋糕真正想做的是自动驾驶生产系统在NVIDIA的设计中它把 DRIVE 全栈辅助驾驶平台拆成了「五层蛋糕」。最底层是硬件 DRIVE Hyperion也就是 ECU 和传感器架构。往上是操作系统和平台软件 Halos OS承担 Operating System 和 Safety Guardrails。再往上是模型 Alpamayo也就是当前推出的开放推理模型。然后是应用 DRIVE AV提供从辅助驾驶到全自动驾驶的软件栈。最上面是基础设施 Cosmos and Omniverse NuRec对应 Data、Tools、Pipelines。将这五层放在一起看NVIDIA的愿景是搭建一套辅助驾驶的生产系统。在吴新宙展望的L4级自动驾驶愿景中这套系统一定要能够规模化复制。换一座城市、换一套传感器、换一个车型、换一类道路结构系统都要继续工作。遇到 corner case 之后数据要能回流仿真要能复现模型要能再训练安全系统要能验证车端还要能稳定部署。这才是自动驾驶真正走向 L4 的工程问题。所以 NVIDIA 的五层蛋糕其实是在回答一个更底层的问题辅助驾驶要从模型能力走向系统能力。Hyperion 提供统一的车端硬件和传感器参考架构。Halos OS 提供安全底座。Alpamayo 提供车端的推理和轨迹输出能力。DRIVE AV 提供面向 L2 到 L4 的应用栈。Cosmos 和 Omniverse NuRec 提供数据、仿真和生成能力。它们合在一起才构成了 NVIDIA 对物理 AI 辅助驾驶的完整答案。04.Alpamayo 一直在升级这篇文章里自动驾驶之心最想重点聊的还是 Alpamayo。去年十一月我们就和大家分享过 Alpamayo 1.0。当时我们判断 Alpamayo 是 NVIDIA 为辅助驾驶量产准备的车端推理 VLA 模型。论文整体看下来在工程上做的非常成熟不是一个简单只在开放数据集上验证的VLA。到了这次 Workshop吴新宙分享了更多关于Alpamayo 1.5 的升级细节。相比1.0的版本1.5本次主要增加了导航功能并且适配更多的传感器和配置。从模型结构上看是一个非常标准的推理型VLA。并且强调因果推理即语言解释和自车轨迹的强耦合。很多没实际参与过 VLA 模型训练的同学可能不太理解这件事的难度。以往大模型最大的诟病之一就是幻觉。放到自动驾驶里幻觉和因果混淆都会非常危险。举一个因果混淆的例子车辆给出的语言解释是前方红灯自车需要在斑马线前停车但给出的轨迹却是一条继续直行的轨迹。举一个幻觉的例子模型误判前方有车辆自车需要减速避让但实际上前方道路状况良好车辆可以正常行驶。这些情况都需要模型在数据、训练层面下很大功夫。当然如果直接去除语言输出Driving Decision和Causal Reasoning是文本输出只保留自车轨迹的输出模型在数据闭环和车端训练上都会更容易但对用户来说未必是最优解。所以 Alpamayo 真正难的地方是让语言解释、驾驶决策和轨迹输出在同一个因果链里闭合。而因果推理和世界模型的关系非常近。理解物理世界的变化趋势因果推理是其中的关键能力之一。模型需要知道一个事件为什么发生一个动作会带来什么后果当前场景里真正影响决策的因素是什么。这些问题已经超出了传统感知分类和简单轨迹拟合。这也是我理解中吴新宙说世界模型是自动驾驶最本质的一环的原因。VLA 解决的是从视觉、语言到动作的推理链路。世界模型补上的是场景演化、动作后果和物理反馈。到了自动驾驶这里这两件事迟早要合到一起。05.8万小时训练数据背后是一套数据金字塔Alpamayo 能走到这一步数据规模肯定是绕不开的。吴新宙分享了 Alpamayo 开放模型训练的数据结构底层是 2000 万小时真实世界视频往上是 2 亿视频片段也就是精选优质视频再往上是 370 万推理样本最终沉淀到 8 万小时辅助驾驶训练数据和70 万因果链数据。不要小看 8 万小时的数据。如果只是按 15 秒一个 Clip 粗略折算8 万小时大约对应 2000 万条 Clip。这个规模已经超过绝大多数车端模型的训练数据量。另外在 Alpamayo 的开放生态里吴新宙提到Alpamayo 1.5 是 100 亿参数的模型。物理 AI 数据集则包括 30 万视频片段、1700 小时驾驶数据、覆盖 2500 个城市和 25 个国家。这里真正值得注意的是 NVIDIA 已经把数据组织成了明显的金字塔结构。底层的真实物理世界视频中间是精选的视频片段负责筛选质量和多样性上层是推理样本和因果链数据用于训练模型理解驾驶决策背后的原因。最终才沉淀为面向辅助驾驶训练的高质量数据。06.NuRecNVIDIA闭环仿真的起点讲完 Alpamayo就必须拆解下NVIDIA的闭环仿真系统 — NuRec。很多人看到 Omniverse NuRec第一反应可能是 3DGS、场景重建、仿真渲染。但NuRec 的定位明显不止于此。现场的分享中Omniverse NuRec 是基于真实世界数据大规模生成 3D 仿真。它包括 NCore 数据格式Fixer 去除重建伪影Asset Harvester 从图像中生成 3D assets还有 NuRec Container 和 AlpaSim 这样的工作流与开放仿真框架。吴新宙也直接展示了 NuRec 如何助力 Alpamayo 开发。一个旧金山道路实测场景可以先被重建成道路事件再插入摩托车、滑板车、锥桶等干扰资产生成新的轨迹和新的道路事件。这套闭环仿真系统基本上覆盖了工程上考虑的所有元素。再结合前面聊到的车端模型真实数据采集、数据处理、训练集和测试集构建、仿真验证、部署车队、corner event 回流、数据再生成这些环节在 Alpamayo 的量产落地图里已经连成了一个闭环。这条链路跑起来之后世界模型才真的有意义。07.NVIDIA 做 L4拼的是物理AI基础设施分享完技术细节之后最后聊一下我对 NVIDIA L4 布局的看法。在NVIDIA设想的路线中2025 年L2 开始量产2026 年进入 L2 点到点辅助驾驶2027 年推进 L4 级无人驾驶出租车和 L4 级乘用车2028 到 2030 年继续推进 L4。这条路线和很多 Robotaxi 公司不太一样反而给我们的感觉很务实。从去年的Alpamayo开始到后面的FastDriveCoT和最新的数据工作MOSAICNVIDIA还是很有自己做辅助驾驶工程应用的思考。在技术人的视角中吴新宙这句「世界模型是自动驾驶最本质的一环」其实不止是依据单纯的技术思考背后更是NVIDIA对下一代量产落地方向的判断。整场分享最大的感受是NVIDIA 对 L4 的理解不会只落在某一辆车或者某一个城市它要做的是一套可以规模化复制的物理 AI 自动驾驶底座。而这个愿景现在就在我们脚下。自动驾驶之心求点赞求分享求喜欢