NestedFormer:用于脑肿瘤分割的嵌套模态感知Transformer

NestedFormer: Nested Modality-AwareTransformer for Brain Tumor Segmentation

摘要

背景
多模式MR成像通过提供丰富的互补信息，在临床实践中被常规用于诊断和研究脑肿瘤。先前的多模态MRI分割方法通常通过在网络的早期/中期连接多模态MRI来执行模态融合，这几乎没有探索模态之间的非线性相关性。
本文方法

1. 提出了一种新的嵌套模态感知转换器（NestedFormer），以明确探索用于脑肿瘤分割的多模态MRI的模态内和模态间关系。
2. 基于Transformer的多编码器和单解码器结构，我们对不同模态的高级表示执行嵌套多模态融合，并在较低尺度上应用模态敏感门控（MSG）以获得更有效的跳过连接。
3. 多模态融合是在本文提出的嵌套模态感知特征聚合（NMaFA）模块中进行的
   代码地址
   

方法

1. 多个编码器以获得不同模态的多尺度表示
2. NMaFA融合模块以探索多模态高级嵌入内部和之间的相关特征
3. 门控策略以选择性地将模态敏感的低分辨率特征传输到解码器

Global Poolformer Encoder

集合图2和公式就知道了：

LN：layer normalization
GP：全局池化

Nested Modality-Aware Feature Aggregation

详情可以去原文了解，就是对模块进行融合，基于通道的
一个基于三个方向：

一个基于模态

Modality-Sensitive Gating

实验结果