【BEV感知】3-BEV开源数据集

1 KITTI

KITTI

1.1 KITTI数据怎么采集?

通过车载相机、激光雷达等传感器采集。

只提供了相机正视图90度范围内的标注数据。

1.2 KITTI数据规模有多大?

共14999张图像及其对应点云。其中7481张作为训练集，7518张作为测试集

1.3 KITTI标注了哪些目标?

目标类别包括:车、行人和骑车的人共计80256个标注对象

1.4 转换矩阵

$y=P_{rect}^{(i)}{R}_{rect}^{(0)}{T}_{velo}^{cam}x$

$x$：表示点云坐标x,y,z。$y$：表示像素坐标，$T_{velo}^{cam}$ ：表示从LiDar坐标系转换到相机坐标系。$R_{rect}^{(0)}$ ：表示相机畸变矫正参数。$P_{rect}^{(i)}$ ：表示相机内参，将图像从相机坐标系转换到像素坐标系。

该转换矩阵可以实现点云坐标和像素坐标之间的双向转换。

1.5 标签文件

每个txt文件代表一个场景，场景用六位数字编号。

文件内容如下，每一行标识一个物体。


以000000.txt文件及其对应的图像为例。

Pedestrian 0.00 0 -0.20 712.40 143.00 810.73 307.92 1.89 0.48 1.20 1.84 1.47 8.41 0.01

参数名	参数值	参数值类型	参数值范围	备注
目标类别	Pedestrian
截断程度	0.00	连续值	[0.0,1.0]	截断是指目标只有一部分出现在图片中
遮挡程度	0	整数，离散值	{0,1,2,3}	0无遮挡，1部分遮挡，2严重遮挡，3无法辨识是否遮挡
观测角度	-0.20	弧度值	[-π,π]	当前标注物体与相机之间夹角
2d label	712.40 143.00 810.73 307.92	坐标值		2d目标框的坐标位置，前两个值表示左上角点坐标，后两个值表示右下角点坐标
3d label	1.89 0.48 1.20 1.84 1.47 8.41	坐标值	单位：米	前三个值表示高h宽w长l，后三个值表示中心点位置坐标，与观测角度组成7个3d目标检测量
置信度	0.01	概率值		表示当前目标以该位置以类别存在的概率有多大，通常在测试时网络预测后使用的值

2 nuScenes

nuScenes

6个相机，车顶LiDAR，5个毫米波雷达。可提供 图像数据、点云数据、目标标注（转换矩阵）。

2.1 nuScenes Vs KITTI

2.2 标注文件

| -nuSecenes
| - | - maps：后继规划任务使用，目标检测中用不到。
| - | - samples：抽取的关键帧，已标注。
| - | - sweeps：未被抽取为关键帧的其余帧，未标注。
| - | - v1.0-*：json标注文件，*表示train,val,test,mini不同文件夹。
| - | - | - attribute.json：描绘了一个实例的属性。
| - | - | - calibrated_sensorjson：车辆上已经校准的特定传感器(激光雷达/雷达/摄像机)的标定数据，其实就是转换矩阵。
| - | - | - category.json：对象类别的分类。
| - | - | - ego_pose.json：车辆在特定时刻的一个姿态。
| - | - | - instancejson：一个物体的实例。
| - | - | - log.json：提取数据的日志的信息。
| - | - | - map.json：用二值分割掩膜所保存的地图数据口，规划中常用目标检测中不常用。
| - | - | - sample.json：样例。指出哪些帧是关键帧。
| - | - | - sample_annotation.json：3d bounding box，关键帧中的目标信息。
| - | - | - sample_data.json：所有的传感器数据。除关键帧外的其他帧。
| - | - | - scene.json：场景数据
| - | - | - sensor.json：传感器的种类
| - | - | - visibility.json：实例的可见性