CVPR‘26 | 雷达+相机多模态融合新SOTA

点击下方卡片关注「3D视觉工坊」公众号选择星标干货第一时间送达来源3D视觉工坊「3D视觉从入门到精通」知识星球(点开有惊喜) 星球内有20多门3D视觉系统课程、3DGS独家系列视频教程、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研欢迎加入0.这篇文章干了啥这篇文章提出了 R4Det一种用于高性能 3D 目标检测的 4D 雷达 - 相机融合框架。现有 4D 雷达 - 相机 3D 目标检测方法面临绝对深度估计不准确、缺少自车姿态时时间融合性能下降、难以检测小目标等挑战。为解决这些问题R4Det 引入了三个与鸟瞰图BEV范式兼容且可插拔的模块。Panoramic Depth FusionPDF模块通过邻域交叉注意力机制聚合图像语义采用概率监督、基础模型引导的深度监督和结构排序监督生成高精度的全景深度图增强绝对和相对深度的相互强化Deformable Gated Temporal FusionDGTF模块将空间对齐和时间更新解耦通过可变形卷积进行运动感知对齐利用门控单元进行时间推理实现无姿态依赖的稳定特征聚合Instance - Guided Dynamic RefinementIGDR模块利用 2D 实例原型构建语义先验对 BEV 特征进行动态校准抑制特征污染提高小目标的检测性能。实验表明R4Det 在 TJ4DRadSet 和 VoD 数据集上取得了最先进的 3D 目标检测结果且所提出的模块具有可插拔性能有效提升其他融合框架的性能。下面一起来阅读一下这项工作~1. 论文信息论文题目R4Det: 4D Radar - Camera Fusion for High - Performance 3D Object Detection作者Zhongyu XiaYousen TangYongtao WangZhifeng WangWeijun Qin论文链接https://arxiv.org/pdf/2603.115662. 摘要4D 雷达 - 相机感知配置在自动驾驶中变得越来越重要。然而现有的融合 4D 雷达和相机数据的 3D 目标检测方法面临着若干挑战。首先它们的绝对深度估计模块不够鲁棒和准确导致 3D 定位不准确。其次当自车的位姿缺失或不准确时它们的时间融合模块的性能会急剧下降甚至失效。第三对于一些小目标稀疏的雷达点云可能完全无法从其表面反射。在这种情况下检测必须仅依赖视觉单模态先验。为了解决这些局限性我们提出了 R4Det它通过全景深度融合模块提高了深度估计质量实现了绝对深度和相对深度的相互增强。对于时间融合我们设计了一种不依赖自车位姿的可变形门控时间融合模块。此外我们构建了一个实例引导动态细化模块该模块从 2D 实例引导中提取语义原型。实验表明R4Det 在 TJ4DRadSet 和 VoD 数据集上取得了最先进的 3D 目标检测结果。3. 效果展示图6. R4Det 与基线方法在挑战性场景如低光照条件或小目标下的示例可视化结果。4. 主要贡献我们提出了一种用于高精度、高效且鲁棒的 3D 目标检测的 4D 雷达 - 相机检测器。我们提出了三个与鸟瞰图BEV范式兼容、即插即用的模块即全景深度融合Panoramic Depth Fusion、可变形门控时间融合Deformable Gated Temporal Fusion和实例引导动态细化Instance - Guided Dynamic Refinement分别用于生成高质量的全景绝对深度估计、在无需自车姿态的情况下融合时间信息以及处理小目标。R4Det 在 VoD 和 TJ4DRadSet 数据集上均实现了最先进的性能。5. 基本原理是啥整体框架R4Det 框架是一个渐进式净化管道用于解决 4D 雷达 - 相机目标检测中的三个核心挑战。首先全景深度融合PDF模块以稀疏雷达特征为查询建立准确的几何基础以提取密集图像语义。得到的图像 BEV 与雷达 BEV 通过多模态融合块连接生成初始融合的 BEV 特征图 Xt。接着可变形门控时间融合DGTF模块对 Xt 进行无姿态空间对齐 and 门控更新维持时间上一致的隐藏状态 Ht 并输出融合特征 F_RC。最后实例引导动态细化IGDR模块利用 2D 实例原型动态校准 F_RC输出净化后的特征 F_final 到 3D 检测头。全景深度融合PDF采用邻域交叉注意力机制以稀疏雷达特征为查询聚合密集图像语义。在此基础上引入三重监督来解决深度模糊和几何污染问题。概率监督使用稀疏高精度 LiDAR 点 dg_sparse 监督预测的深度分布 P将每个稀疏点转换为高斯目标分布最小化稀疏位置 M_sparse 上的 KL 散度 L_prob确保后续视图变换中的“Splat”操作基于准确的分布防止几何散射。基础模型引导的深度监督对于解码后的预期深度图 d_hat结合稀疏雷达锚定深度和密集伪地面真值Metric3D dg_dense 作为监督应用平滑 L1 损失防止潜在雷达离群值导致的梯度爆炸通过损失函数确保关键点的高精度和全场景的结构覆盖。结构排序监督采用相对深度排序损失为保留局部深度关系选择像素对时设置动态阈值 tau_ij 过滤平坦表面的噪声小差异。同时应用前景偏置的双重采样策略分离边缘区域和背景通过相对深度损失增强物体边界的深度过渡清晰度和几何精度。总深度损失整体深度损失 L_depth 促使网络生成概率准确、度量尺度精确和结构连贯的深度图为下游 3D 检测提供强几何先验。可变形门控时间融合DGTF将时间上融合密集 BEV 特征的挑战解耦为空间校正和特征演化两个问题提出具有两个分支的 DGTF 模块。运动感知对齐分支根据当前 BEV 特征 Xt 和先前隐藏状态 Ht-1通过偏移预测卷积预测采样偏移 delta p 和调制掩码 m然后使用可变形卷积DCNv2对先前隐藏特征进行对齐补偿无自车姿态先验下的运动引起的空间不对齐产生跨帧几何一致的特征。门控信息更新分支通过门控更新单元进行时间推理。重置门 rt 估计对齐的历史特征的相关性候选特征 H_tilde_t 整合过滤后的历史和当前观察更新门 zt 自适应平衡新信息 and 历史信息最终精炼特征 Ht 经过轻量级卷积层处理得到时间对齐的多模态特征 F_RC。实例引导动态细化IGDR核心思想是利用并行、干净的 2D 实例特征作为语义先验主动校准主 BEV 特征流解决 BEV 中重叠区域的特征污染和远处小物体模糊表示问题。实例 - 语义先验构建IGDR 接收多模态 BEV 特征 F_RC、2D 实例分支特征 E_features 和实例空间分布图 S_BEV 作为输入。对 E_features 进行全局平均池化和投影层操作得到实例原型向量 E_proj通过 Softmax 加权融合将原型广播到 BEV 空间构建干净的实例特征图 E_BEV。原型引导的动态校准将 E_BEV 作为条件生成器通过卷积层预测每个空间位置的仿射变换参数尺度 gamma_BEV 和偏置 beta_BEV对可能有噪声的 F_RC 进行特征级仿射变换得到校准后的特征 F_calibrated有效减轻跨实例污染并改善远处小物体的表示。前景门控融合引入前景门 G_bg确保校准仅影响实例区域同时保留背景结构。通过对 S_BEV 求和并应用 3×3 门控卷积层生成平滑门控图最终输出通过门控融合得到最终特征 F_final。6. 实验结果数据集与指标在 TJ4DRadSet 和 View - of - DelftVoD两个大规模 4D 雷达 - 相机数据集上进行实验。对于 TJ4DRadSet报告 70m 内目标的 AP3D 和 APBEV对于 VoD报告 APEAAEntire Annotated Area和 APDCDriving Corridor统一 IoU 阈值为汽车和卡车 0.50行人和自行车 0.25。主要结果TJ4DRadSet 数据集R4Det 在所有类别上显著优于现有方法相比 SGDet3D 基线3D 和 BEV 的平均精度均值mAP分别提高了 5.47% 和 6.91%对自行车等小物体效果显著超过之前最佳结果 7.91%。VoD 数据集R4Det 展现出了最先进的性能。推理速度在单张 3090 GPU 上进行推理速度测试 R4Det 实现了更好的速度 - 精度平衡。模块可插拔性将提出的模块应用于 BEVFusion 和 RCBEVDetmAPEAA 分别提高了 6.34% 和 5.34%证明了方法的可插拔性。消融实验PDF 模块通过细粒度深度补全增强几何感知不同监督配置对应不同损失权重组合添加度量损失可提高 mAP最终设置实现了稳定性和准确性的平衡。DGTF 模块逐步消融研究验证了各组件的有效性简单特征拼接可改善时间一致性可变形对齐增强运动感知融合引入门控机制增益最大Squeeze - and - Excitation 无额外益处DGTF 增强了 BEV 定位和 3D 检测性能且使用最近的前一帧融合效果最佳。IGDR 模块全面消融研究验证了各组件的有效性从基线到原型融合引入门控机制可显著提高性能动态校准进一步提升 mAP卷积生成器效果最佳IGDR 实现了最高性能。7. 总结 未来工作在本文中我们提出了 R4Det这是一种用于高精度、高效且稳健的 3D 目标检测的 4D 雷达 - 相机多模态 3D 目标检测器。R4Det 通过全景深度融合模块提高了深度估计质量实现了绝对深度和相对深度之间的相互增强。对于时间融合我们设计了一个不依赖于自车姿态的可变形门控时间融合模块。此外我们构建了一个实例引导动态细化模块该模块从 2D 实例引导中提取语义原型。实验表明R4Det 在 TJ4DRadSet 和 VoD 数据集上均取得了最先进的 3D 目标检测结果。本文仅做学术分享如有侵权请联系删文。3D视觉方向论文辅导来啦可辅导SCI期刊、CCF会议、本硕博毕设、核心期刊等。添加微信cv3d001备注姓名方向单位邀请入群。