DiffusionDet: Diffusion Model for Object Detection

论文题目：DiffusionDet: Diffusion Model for Object Detection
论文来源：arXiv preprint 2022
论文地址：https://arxiv.org/abs/2211.09788
论文代码：https://github.com/ShoufaChen/DiffusionDet

DDPM
DDIM

论文概述

传统方法根据经验设计region proposals/anchor boxes/queries等
本文可从随机初始化的boxes进行回归和分类
方法概述：

生成模型：从噪声到图像/从随机的框到精确的框

模型架构图

不同之处

整体流程

训练阶段：

1. 初始化一组boxes，并逐渐加入高斯噪声，得到noisy boxes
2. 使用ResNet/Swin Transformer作为encoder提取特征
3. 用noisy boxes从2.得到的特征中裁剪出RoI
4. 将3.中的RoI送入detection decoder，用于预测真值，计算损失

推理阶段：

1. 随机初始化高斯噪声noisy boxes；用encoder提取特征
2. 迭代多次：
   将当前的noisy boxes送入decoder，预测目标框；
   (DDIM)传入当前noisy boxes和预测的目标框，预测上一时刻分布；
   (Box renewal)根据阈值筛去undesired框，再加入噪声