自动驾驶数据集三剑客：nuScenes、nuImages 与 nuPlan 的技术矩阵与生态协同

目录

1、引言

2、主要内容

2.1、定位对比：感知与规划的全维覆盖

2.2、数据与技术特性对比

2.3、技术协同：构建全栈研发生态

2.4、应用场景与评估体系

2.5、总结与展望

3、参考文献

---

1、引言

• 随着自动驾驶技术向全栈化迈进，Motional 团队构建了涵盖 3D感知、2D检测 及 规划决策 的数据集矩阵，为自动驾驶系统提供了从环境感知到行为决策的全链路支持。
• nuScenes：多模态 3D 感知的行业标杆
• nuImages：大规模 2D 图像标注与时空信息拓展
• nuPlan：闭环验证下的长时规划与决策测试平台
  三者相辅相成，形成了从单帧理解到长期决策的技术闭环，加速了自动驾驶算法的研发与落地。

2、主要内容

2.1、定位对比：感知与规划的全维覆盖

1. nuScenes – 3D 感知标杆

   • 核心任务：在复杂场景中实现多模态（激光雷达、摄像头、雷达融合）的 3D 检测与语义分割
   • 数据特点：精选 1000 个场景，提供 23 类物体的 3D 边界框以及点云语义标注

2. nuImages – 2D 视觉的时空扩展

   • 核心任务：构建大规模 2D 图像实例分割与视频理解数据集，重点覆盖长尾场景
   • 数据特点：
     • 93,000 张关键帧图像（涵盖雨雪、夜间等复杂天气条件）
     • 超过 80 万实例分割标注及 10 万张语义分割（可行驶区域）
     • 每个场景配有前后 13 帧的时序图像（2Hz 采样），支持动态目标分析

3. nuPlan – 规划决策的闭环测试平台

   • 核心任务：实现长时轨迹预测与复杂交互决策的闭环验证
   • 数据特点：覆盖 1200 小时真实驾驶数据，标注包括四城交通信号及各类挑战性场景，为规划与决策算法提供丰富素材
   • 项目地址：GitHub - motional/nuplan-devkit: The devkit of the nuPlan dataset.

---

2.2、数据与技术特性对比

维度	nuScenes	nuImages	nuPlan
数据规模	1000 场景（约 15 小时）	93K 张图像（覆盖 500+ 日志）	1200 小时驾驶数据
传感器配置	6 路摄像头、1 台激光雷达、5 路雷达、IMU/GPS	6 路摄像头（支持时序图像采集）	8 路摄像头、5 台激光雷达、IMU/GPS
标注重点	3D 边界框、点云语义	2D 实例/语义分割及属性标注	驾驶轨迹、地图语义、交通灯状态
场景特性	高密度交通场景（每场景 20 秒左右）	主动筛选长尾场景（雨雪、夜间等复杂条件）	自然驾驶场景（涵盖常规与极端情况）
地理覆盖	波士顿、新加坡	波士顿、新加坡（附带扩展日志）	波士顿、匹兹堡、拉斯维加斯、新加坡

---

2.3、技术协同：构建全栈研发生态

1. 感知层互补

   • 2D-3D 融合预训练：利用 nuImages 丰富的实例分割标注，提升 nuScenes 3D 检测模型的泛化能力
   • 时序信息融合：nuImages 提供的 13 帧时序数据有助于构建视频目标检测算法，与 nuScenes 的 2Hz 标注形成优势互补

2. 规划层赋能

   • 场景泛化素材：nuImages 中覆盖的长尾场景（如夜间行人）可为 nuPlan 提供极端情况测试数据
   • 仿真环境输入：通过 nuImages 语义分割结果，构建更真实的仿真场景，提升 nuPlan 中规划算法的鲁棒性

3. 工具链整合

   • 统一数据格式：三大数据集采用相似的关系型数据库结构，有效降低多任务协同开发的门槛
   • 可视化协同：结合 nuScenes 的 WebGL 查看器与 nuPlan 的 nuBoard，实现 2D/3D 数据的联动分析

---

2.4、应用场景与评估体系

1. nuScenes – 3D 感知核心验证平台

   • 主要任务：
     • 多模态 3D 目标检测（车辆、行人等）
     • 点云语义分割（涵盖 32 类标签）
   • 评估指标：mAP（3D 检测）、IoU（分割）、AMOTA（跟踪）

2. nuImages – 2D 视觉长尾挑战库

   • 主要任务：
     • 实例分割（23 类前景目标及可行驶区域）
     • 视频目标检测（注重时序一致性）
     • 属性识别（如行人姿态、车辆状态）
   • 评估指标：COCO 风格 AP（实例分割）、VPQ（视频全景质量）

3. nuPlan – 规划决策闭环考场

   • 主要任务：
     • 无保护左转决策测试
     • 密集车流中的切入与交互决策
   • 评估体系：碰撞率、乘坐舒适性（加速度/抖动）、规则遵守率等

---

2.5、总结与展望

nuScenes、nuImages 与 nuPlan 构成的“感知-检测-规划”数据三角，为自动驾驶技术研发提供了从环境理解到行为决策的全链路支持。未来的发展方向可能包括：

• 跨模态预训练：通过整合 nuImages 2D 标注，进一步增强 nuScenes 3D 模型的泛化与鲁棒性
• 端到端仿真：借助 nuPlan 的规划场景和 nuImages 的时序数据，实现虚实融合的闭环训练环境
• 开源社区共建：推动三大数据集在开发工具、数据格式及可视化分析方面的深度互通，促进行业生态协同发展

这一数据集矩阵将持续推动自动驾驶系统在复杂场景下的稳定性和泛化能力，为全行业的技术落地提供有力支撑。

3、参考文献

• nuScenes: A multimodal dataset for autonomous driving (CVPR 2020)
• nuImages: A Multimodal Dataset for Robust Scene Understanding (ECCV 2022)
• nuPlan: A closed-loop ML-based planning benchmark (NeurIPS 2021 Workshop)
• nuPlan数据集介绍与快速入门 - 深蓝学院 - 专注人工智能与自动驾驶的学习平台
• nuPlan新SOTA！清华提出Diffusion Planner：扩散模型重塑自动驾驶路径规划（ICLR'25）