论文研读 | End-to-End Object Detection with Transformers

DETR：端到端目标检测的创新 —— 作者 Nicolas Carion 等人

一、背景与挑战

目标检测是计算机视觉领域的一个核心任务，要求模型精确识别图像中的物体类别和位置。传统方法如 Faster R-CNN，因其区域建议网络等复杂结构，使得模型调参困难。而且这些方法通常需要硬件支持，并不易于大规模部署。因这些问题无法被简单解决，模型训练和优化的复杂程度让人望而却步。

在这样的背景下，Nicolas Carion 等人提出了 DETR（Detection Transformer）模型。DETR 的出现旨在简化检测流程，避开传统方法中繁琐的中间步骤，实现真正的端到端训练。

二、关键问题

DETR 的核心问题是如何简化目标检测过程，直接将输入图像映射到检测结果。
并发现自然语言处理的Transformer模型，也许正好可以抛开中间的区域建议和后处理步骤。

三、模型架构

DETR 的架构由四个部分组成：CNN 残差骨干网络、Transformer 编码器、Transformer 解码器，以及分类层。骨干网络通过密集卷积操作提取图像深层特征，为后续的自注意力操作铺路。Transformer 编码器和解码器学习全局特征，实现更精准的特征获取。最终，分类层输出物体类别和边界框预测。

为了匹配模型输出与真实标签，使用了匈牙利算法选取最合适的预测值。通过这种方法，将类别差异和边界框误差控制在同一数量级，增强训练效果。

四、模型运行机制

以一幅 3\*800\*1066 尺寸的图片为例：经过密集卷积后，特征图尺寸变为 2048\*25\*34。在进入 Transformer 编码器前，该特征图需展平成一维序列，且包含位置信息。借助 1\*1 卷积核，通道数缩减至 256，再进行展平操作。

展平后，输入序列为 850\*256，经过多个 Transformer 编码器的处理，长度保持不变。

随后，在 Transformer 解码器中，自注意力机制帮助减少重复框，最终通过全连接神经网络输出类别与边界框预测。

## 五、实验证明

通过在 COCO 2017 数据集上的实验，DETR 与 Faster R-CNN 模型进行了对比。在大物体检测中，DETR 优势显著，这是由于 Transformer 全局建模能力。但它在小物体检测上表现略逊一筹。尽管如此，DETR 的创新在于其简洁性和易于扩展性。

六、关键结论

DETR 模型展示了 Transformer 架构在目标检测中的有效性，通过直接输入图像特征到 Transformer，DETR 实现了纯粹的端到端检测。在 COCO 等数据集上的表现与传统方法相当，同时大大简化了结构和训练流程。

七、实际意义

DETR 在目标检测中引入了新思路，证明了 Transformer 在视觉任务的潜力，开启了自然语言处理成功经验在其他领域应用的先河。DETR 的简化特性提升了模型的训练和部署效率，适用于自动驾驶、智能监控等需要实时响应的应用领域。它的出现与后续研究激发了更多关于基于 Transformer 的新解决方案的探索。