基于GAN的多尺度门合并多模态MRI图像合成

基于GAN的多尺度门合并多模态MRI图像合成

IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS, VOL. 26, NO. 1, JANUARY 2022

背景

多模式磁共振成像（MRI）在当今临床诊断和治疗中起着至关重要的作用。MRI的每种模式都有其自己的特定解剖特征，这些特征作为其他模式的补充信息，可以提供丰富的诊断信息。然而，由于时间和成本的限制，患者的一些图像序列可能会丢失或损坏，这对准确诊断构成了障碍。尽管目前的多模态图像合成方法能够在一定程度上缓解这些问题，但它们还远远不能有效地融合模态。

贡献

1. 考虑到不同模态在每个尺度上的特征的特异性及其对目标模态合成的不同贡献，我们的方法在每个下采样层应用融合模块，通过组合来自同一尺度的特征来补充来自可用模态的更多相关信息。
2. 我们引入了一种门合并（GM）策略，以在每个尺度上对来自不同编码器的模态特征进行融合，而不是使用传统的简单和硬的融合策略。通过自学习矩阵，网络可以跨位置适当地调整每个模态的权重，以合并对目标合成更有用的补充信息。
3. 在公共BRATS2015数据集上进行评估后，我们的MGM-GAN相对于几种多模态合成方法取得了最先进的性能。

实验

BraTs 2015


Add、Conv-cat、Cat-conv、GM的消融实验

方法

从两个源模态合成目标模态为例，生成器将模态1和模态2都作为输入，通过多尺度的卷积块和融合模块生成逼真的合成目标模态。之后，以源输入和真实或合成目标模态作为输入组，鉴别器打算将伪组与真实组区分开来

生成器

有多种模态作为输入进行处理。如前所述，不同模态的固有特征信息是独特的。为了保持这种特异性，有必要将每个模态逐一对应于一个独立的编码器，而不是简单地将它们堆叠作为输入

gate mergence (GM) strategy（门控融合策略）

引入了门合并（GM）策略作为主要的集成机制，该策略能够针对不同模态的特征学习自动权重矩阵，从而增强相关信号并抑制噪声

判别器

鉴别器包含多个卷积块，每个卷积块使用4×4kernel stride=2。第一层生成64个特征图，每个后续层的特征图数量将增加一倍。在最后一层，应用S形激活来确定输入是真实图像组还是合成组。

损失函数

对抗损失、一致性损失、图像梯度差分损失（GDL）函数

Thinking