OpenMMLab MMTracking 目标跟踪算法库

MMTracking是OpenMMLab商汤科技与港中文MMLab联合推出体系下的一款开源视频目标感知工具箱。你可以把它理解为“视频版”的MMDetection它将该领域内纷繁复杂的算法、数据集和评估标准统一整合到了一个高效、模块化的框架中。 核心定位不止是“跟踪”它并非只做“跟踪”而是致力于解决三大核心的视频目标感知任务核心任务任务目标通俗理解视频目标检测 (VID)定位并识别视频每一帧中的所有目标。只需要找出当前画面中“有什么”、“在哪里”不关心不同画面中的目标是否为同一个。多目标跟踪 (MOT)同时跟踪视频中的多个目标并为他们维持各自独立的ID。不仅要找出每帧中的目标还要区分出“这是第一辆车那是第二个人”并持续记录他们的完整轨迹。单目标跟踪 (SOT)给定第一帧中任意一个目标在后续所有帧中持续跟踪它。“指哪打哪”你一开始框住哪个物体它就盯住这个物体不放不管它怎么运动。这种一体化的设计让你可以很方便地在同一套框架下比较不同任务的算法甚至复用其他任务如用VID任务中的检测器来辅助MOT任务。️ 架构亮点站在巨人的肩膀上MMTracking的一大优势在于它并非“重复造轮子”而是充分利用了OpenMMLab生态的强大基础。无缝集成它的检测器模块直接复用了MMDetection图像目标检测工具箱中所有成熟的算法如Faster R-CNN, YOLO系列等ReID重识别模块则复用了MMClassification图像分类工具箱的能力。高度模块化任意一个跟踪算法的配置文件看起来都像是一份标准的“零件清单”modeldict(typeTracktor,# 使用Tracktor算法detectordict(...),# 检测器零件来自MMDetectionreiddict(...),# ReID零件来自MMClassificationmotiondict(...),# 运动模型零件如卡尔曼滤波trackerdict(...)# 跟踪器核心逻辑零件)这种设计让你在更换某个部件如把普通检测器换成更强的时只需修改配置文件里的一小段而不需要改动核心代码。 能力矩阵它支持哪些具体算法经过多个版本的迭代MMTracking支持的算法已经非常丰富多目标跟踪 (MOT)经典方法SORT, DeepSORT, TracktorSOTA方法QDTrack, ByteTrack, OCSORT, StrongSORT, Mask2Former (用于视频实例分割)单目标跟踪 (SOT)SiameseRPN, PrDiMP, STARK视频目标检测 (VID)DFF, FGFA, SELSA, Temporal RoI Align️ 使用流程以多目标跟踪MOT为例在MMTracking中完成一次跟踪任务通常遵循“三步走”策略第一步运行Demo最直观的方式是直接用提供的预训练模型跑一个Demo验证环境并查看效果。核心命令python demo/demo_mot.py加上你的配置文件、输入视频路径等参数。注意配置文件通常有private和public之分private代表算法自己完成检测和跟踪public则表示会使用外部提供的检测结果。第二步准备环境与数据配置环境并将你的数据集如MOT17、自定义数据集按照要求的格式整理好。MMTracking支持多种主流学术数据集。第三步训练与测试训练由于许多MOT算法由“检测器”和“ReID模型”组成你需要分别训练它们。训练检测器可使用支持USE_MMDETTrue的配置文件调用MMDetection的训练流程。./tools/dist_train.sh {检测器配置文件} {GPU数量}训练ReID模型使用基于MMClassification的配置文件。./tools/dist_train.sh {ReID配置文件} {GPU数量}测试与评估训练完后MMTracking会使用tools/dist_test.sh来运行测试并自动计算出如MOTA多目标跟踪准确率、IDF1识别F值等标准评估指标。简单来说MMTracking就像一个专业的视频目标感知“工作台”它把该领域的各个环节标准化、模块化让你能快速复现论文、用上最新的SOTA算法或者基于现有模块高效地构建自己的方案。