用于医学图像分类的双引导的扩散网络

DiffMIC: Dual-Guidance Diffusion Network for Medical Image Classification

摘要

近年来，扩散概率模型在生成图像建模中表现出了显著的性能，引起了计算机视觉界的广泛关注。然而，尽管大量基于扩散的研究集中在生成任务上，但很少有研究将扩散模型应用于一般医学图像分类。在本文中，我们提出了第一个基于扩散的模型(称为DiffMIC)，通过消除医学图像中的意外噪声和扰动并鲁棒地捕获语义表示来解决一般医学图像分类问题。为了实现这一目标，我们设计了一种双条件引导策略，该策略将每个扩散步骤设定为多个粒度，以提高逐步的区域注意力。此外，我们提出在扩散前向过程中通过强制最大均值差异正则化来学习每个粒度的互信息。我们评估了DiffMIC在三种不同图像模式下的医学分类任务中的有效性，包括超声图像上的胎盘成熟度分级、皮肤镜图像上的皮肤病变分级和眼底图像上的糖尿病视网膜病变分级。我们的实验结果表明，DiffMIC在很大程度上优于最先进的方法，表明了所提出模型的通用性和有效性。
代码地址

本文方法

图1显示了我们的医学图像分类网络的示意图。给定输入医学图像x，我们将其传递给图像编码器以得到图像特征嵌入ρ(x)，并采用双粒度条件引导(DCG)模型生成全局先验(yg)和局部先验(yyl)。在训练阶段，我们在ground truth y0和不同的先验上应用扩散过程，生成三个有噪声的变量ygt, ylt和yt (ygt的全局先验，ylt的局部先验和yt的双先验)。然后，我们将三个噪声变量y g t, y l t和yt及其各自的先验组合起来，并将它们分别投影到潜在空间中。我们进一步将三个投影嵌入分别与图像特征嵌入ρ(x)在去噪U-Net中进行整合，并预测y g t, y l t和yt采样的噪声分布。我们在yg t和yl t的预测噪声上设计了条件特定的最大平均差异(MMD)正则化损失，并利用yt的预测噪声的均方误差(MSE)的噪声估计损失来协同训练DiffMIC网络。

最大均值差异(Maximum-Mean difference, MMD)是通过比较两个分布的所有矩来衡量它们之间的相似性，这可以通过核函数有效地实现。受InfoVAE的启发，我们引入了一对附加条件特定的MMD正则化损失来学习采样噪声分布和高斯分布之间的互信息。
具体来说，我们从时间步长t仅受全局先验条件约束的扩散过程中采样噪声变量y g t，然后计算mmregularization损失为:

实验结果