YOLO-UniOW: 高效通用开放世界目标检测模型【附论文与源码】

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

项目名称	项目名称
1.【人脸识别与管理系统开发】	2.【车牌识别与自动收费管理系统开发】
3.【手势识别系统开发】	4.【人脸面部活体检测系统开发】
5.【图片风格快速迁移软件开发】	6.【人脸表表情识别系统】
7.【YOLOv8多目标识别与自动标注软件开发】	8.【基于深度学习的行人跌倒检测系统】
9.【基于深度学习的PCB板缺陷检测系统】	10.【基于深度学习的生活垃圾分类目标检测系统】
11.【基于深度学习的安全帽目标检测系统】	12.【基于深度学习的120种犬类检测与识别系统】
13.【基于深度学习的路面坑洞检测系统】	14.【基于深度学习的火焰烟雾检测系统】
15.【基于深度学习的钢材表面缺陷检测系统】	16.【基于深度学习的舰船目标分类检测系统】
17.【基于深度学习的西红柿成熟度检测系统】	18.【基于深度学习的血细胞检测与计数系统】
19.【基于深度学习的吸烟/抽烟行为检测系统】	20.【基于深度学习的水稻害虫检测与识别系统】
21.【基于深度学习的高精度车辆行人检测与计数系统】	22.【基于深度学习的路面标志线检测与识别系统】
23.【基于深度学习的智能小麦害虫检测识别系统】	24.【基于深度学习的智能玉米害虫检测识别系统】
25.【基于深度学习的200种鸟类智能检测与识别系统】	26.【基于深度学习的45种交通标志智能检测与识别系统】
27.【基于深度学习的人脸面部表情识别系统】	28.【基于深度学习的苹果叶片病害智能诊断系统】
29.【基于深度学习的智能肺炎诊断系统】	30.【基于深度学习的葡萄簇目标检测系统】
31.【基于深度学习的100种中草药智能识别系统】	32.【基于深度学习的102种花卉智能识别系统】
33.【基于深度学习的100种蝴蝶智能识别系统】	34.【基于深度学习的水稻叶片病害智能诊断系统】
35.【基于与ByteTrack的车辆行人多目标检测与追踪系统】	36.【基于深度学习的智能草莓病害检测与分割系统】
37.【基于深度学习的复杂场景下船舶目标检测系统】	38.【基于深度学习的农作物幼苗与杂草检测系统】
39.【基于深度学习的智能道路裂缝检测与分析系统】	40.【基于深度学习的葡萄病害智能诊断与防治系统】
41.【基于深度学习的遥感地理空间物体检测系统】	42.【基于深度学习的无人机视角地面物体检测系统】
43.【基于深度学习的木薯病害智能诊断与防治系统】	44.【基于深度学习的野外火焰烟雾检测系统】
45.【基于深度学习的脑肿瘤智能检测系统】	46.【基于深度学习的玉米叶片病害智能诊断与防治系统】
47.【基于深度学习的橙子病害智能诊断与防治系统】	48.【基于深度学习的车辆检测追踪与流量计数系统】
49.【基于深度学习的行人检测追踪与双向流量计数系统】	50.【基于深度学习的反光衣检测与预警系统】
51.【基于深度学习的危险区域人员闯入检测与报警系统】	52.【基于深度学习的高密度人脸智能检测与统计系统】
53.【基于深度学习的CT扫描图像肾结石智能检测系统】	54.【基于深度学习的水果智能检测系统】
55.【基于深度学习的水果质量好坏智能检测系统】	56.【基于深度学习的蔬菜目标检测与识别系统】
57.【基于深度学习的非机动车驾驶员头盔检测系统】	58.【太基于深度学习的阳能电池板检测与分析系统】
59.【基于深度学习的工业螺栓螺母检测】	60.【基于深度学习的金属焊缝缺陷检测系统】
61.【基于深度学习的链条缺陷检测与识别系统】	62.【基于深度学习的交通信号灯检测识别】
63.【基于深度学习的草莓成熟度检测与识别系统】	64.【基于深度学习的水下海生物检测识别系统】
65.【基于深度学习的道路交通事故检测识别系统】	66.【基于深度学习的安检X光危险品检测与识别系统】
67.【基于深度学习的农作物类别检测与识别系统】	68.【基于深度学习的危险驾驶行为检测识别系统】
69.【基于深度学习的维修工具检测识别系统】	70.【基于深度学习的维修工具检测识别系统】
71.【基于深度学习的建筑墙面损伤检测系统】	72.【基于深度学习的煤矿传送带异物检测系统】
73.【基于深度学习的老鼠智能检测系统】	74.【基于深度学习的水面垃圾智能检测识别系统】
75.【基于深度学习的遥感视角船只智能检测系统】	76.【基于深度学习的胃肠道息肉智能检测分割与诊断系统】
77.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】	78.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】
79.【基于深度学习的果园苹果检测与计数系统】	80.【基于深度学习的半导体芯片缺陷检测系统】
81.【基于深度学习的糖尿病视网膜病变检测与诊断系统】	82.【基于深度学习的运动鞋品牌检测与识别系统】
83.【基于深度学习的苹果叶片病害检测识别系统】	84.【基于深度学习的医学X光骨折检测与语音提示系统】
85.【基于深度学习的遥感视角农田检测与分割系统】	86.【基于深度学习的运动品牌LOGO检测与识别系统】
87.【基于深度学习的电瓶车进电梯检测与语音提示系统】	88.【基于深度学习的遥感视角地面房屋建筑检测分割与分析系统】
89.【基于深度学习的医学CT图像肺结节智能检测与语音提示系统】	90.【基于深度学习的舌苔舌象检测识别与诊断系统】
91.【基于深度学习的蛀牙智能检测与语音提示系统】	92.【基于深度学习的皮肤癌智能检测与语音提示系统】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

论文地址：https://arxiv.org/abs/2412.20645
代码地址：https://github.com/THU-MIG/YOLO-UniOW

摘要

传统的目标检测模型受限于封闭数据集，只能检测训练时遇到的类别。尽管多模态模型通过对齐文本和图像模态扩展了类别识别能力，但由于跨模态融合引入了显著的推理开销，并且仍然受限于预定义的词汇表，因此在开放世界场景中处理未知对象时效果不佳。本文提出了通用开放世界目标检测（Uni-OWD），这是一种新的范式，统一了开放词汇和开放世界目标检测任务。为了应对这一挑战，我们提出了YOLO-UniOW，这是一种新颖的模型，提升了效率、多功能性和性能的边界。YOLO-UniOW引入了自适应决策学习（AdaDL），用CLIP潜在空间中的轻量级对齐替代了计算昂贵的跨模态融合，实现了高效检测而不牺牲泛化能力。此外，我们设计了通配符学习策略，能够将分布外对象检测为“未知”，同时支持动态词汇扩展，而无需增量学习。该设计使YOLO-UniOW能够无缝适应开放世界环境中的新类别。大量实验验证了YOLO-UniOW的优越性，在LVIS数据集上实现了34.6 AP和30.0 APr，推理速度为69.6 FPS。该模型还在M-OWODB、S-OWODB和nuScenes数据集上设立了新的基准，展示了其在开放世界目标检测中的卓越性能。

方法

Uni-OWD旨在统一开放词汇检测（OVD）和开放世界检测（OWOD）任务，使模型不仅能够识别训练时未见过的类别，还能将未知对象分类为“未知”。为了实现这一目标，YOLO-UniOW提出了以下关键方法：

1. 自适应决策学习（AdaDL）：通过引入低秩适应（LoRA）技术，AdaDL在CLIP文本编码器中动态调整文本特征，使其能够更好地与图像特征对齐，从而在无需跨模态融合的情况下构建更有效的决策边界。

2. 通配符学习：通过引入“未知”类别的通配符嵌入，模型能够检测不在预定义词汇表中的对象，并将其标记为“未知”。该策略通过自监督学习进行优化，能够动态适应新类别的出现。

3. 高效的双头匹配：YOLO-UniOW基于YOLOv10的双头匹配机制，通过区域文本对比学习，确保模型在检测已知和未知对象时都能保持高效和准确。

创新点

1. 统一开放词汇和开放世界检测：YOLO-UniOW首次将开放词汇检测和开放世界检测任务统一在一个模型中，解决了动态类别和未知目标识别的挑战。

2. 自适应决策学习（AdaDL）：通过低秩适应技术，AdaDL在不增加计算开销的情况下，显著提升了模型在开放世界场景中的泛化能力。

3. 通配符学习策略：该策略使模型能够检测未知对象，并支持动态词汇扩展，而无需进行增量学习，极大地提升了模型的适应性和扩展性。

实验结果

YOLO-UniOW在多个基准数据集上进行了广泛的实验验证，结果如下：

1. LVIS数据集：在零样本设置下，YOLO-UniOW在LVIS数据集上实现了34.6 AP和30.0 APr，推理速度达到69.6 FPS，显著优于现有的开放词汇检测模型。

2. M-OWODB和S-OWODB数据集：在开放世界检测任务中，YOLO-UniOW在未知类别的召回率（U-Recall）和已知类别的mAP上均取得了显著提升，特别是在M-OWODB任务中，未知类别的召回率达到了80.6%。

3.nuScenes数据集：在自动驾驶场景中，YOLO-UniOW在未知类别的检测上表现优异，展示了其在复杂场景中的强大适应能力。

总结

YOLO-UniOW通过引入自适应决策学习和通配符学习策略，成功地将开放词汇检测和开放世界检测任务统一在一个高效的模型中。实验结果表明，YOLO-UniOW不仅在开放词汇检测任务中表现出色，还在开放世界检测任务中展现了卓越的性能和适应性。该模型为动态环境中的目标检测提供了新的解决方案，具有广泛的应用前景。

---![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/19a19b1d392944be90df72e4fa6b7b3d.png)**好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！**