智能驾驶汽车虚拟仿真视频数据理解(一）

赛题官网

datawhale 赛题介绍
跑通demo paddle
跑通demo torch

• 提交的障碍物取最主要的那个？不考虑多物体提交。
• 障碍物，尽可能选择状态发生变化的物体。如果没有明显变化的，则考虑周边的物体。
• 车的状态最后趋于减速、停止，时序模型可能会影响结果。样本处理时有对运动做加速，但是视频剪辑没有剪得特别好，考虑中间主要的运动场景。
• 注释文本：中英文。
• 没有公开训练数据集，只有测试数据集。

五个样例，甚至30个测试样本也可以用来自己标注。
滴滴？

标签信息

“scerario” : [“suburbs”,“city street”,“expressway”,“tunnel”,“parking-lot”,“gas or charging stations”,“unknown”]
“weather” : [“clear”,“cloudy”,“raining”,“foggy”,“snowy”,“unknown”]
“period” : [“daytime”,“dawn or dusk”,“night”,“unknown”]
“road_structure” : [“normal”,“crossroads”,“T-junction”,“ramp”,“lane merging”,“parking lot entrance”,“round about”,“unknown”]
“general_obstacle” : [“nothing”,“speed bumper”,“traffic cone”,“water horse”,“stone”,“manhole cover”,“nothing”,“unknown”]
“abnormal_condition” : [“uneven”,“oil or water stain”,“standing water”,“cracked”,“nothing”,“unknown”]
“ego_car_behavior” : [“slow down”,“go straight”,“turn right”,“turn left”,“stop”,“U-turn”,“speed up”,“lane change”,“others”]
“closest_participants_type” : [“passenger car”,“bus”,“truck”,“pedestrain”,“policeman”,“nothing”,“others”,“unknown”]
“closest_participants_behavior” : [“slow down”,“go straight”,“turn right”,“turn left”,“stop”,“U-turn”,“speed up”,“lane change”,“others”]

上传json格式示例

{
"author" : "abc" ,
"time" : "YYMMDD",
"model" : "model_name",
"test_results" :[
{
"clip_id" : "xxxx_1",
"scerario" : "cityroad",
"weather":"unknown",
"period":"night",
"road_structure":"ramp",
"general_obstacle":"nothing",
"abnormal_condition":"nothing",
"ego_car_behavior":"turning right",
"closest_participants_type":"passenger car",
"closest_participants_behavior":"braking"
},
{
"clip_id" : "xxxx_2"
... ...
},
... ...
}

数据集

行人检测数据集(极市平台的补充版)
无人驾驶数据集使用指南2019

bdd100k

技术栈参考？

官方技术栈参考

下一步规划

clip
夏令营往期优秀笔记

解题思路

YOLO 目标检测

关键点

提取到关键点之后，做关键点匹配。
匹配有一个距离的计算，做暴力计算。

通过视频，做关键点匹配，判断左图到右图是否有旋转的变化？判断关键点的运动。

运动间隔

两帧的结果，查看变化，

车道线检测

识别道路路线，得到分割的结果，判断是不是直行，拐弯。

CLIP

OPENAI 开源的一个多模态模型.
自监督的方式训练文本对的对应关系。

可以做 zero-shot 的预测。