【论文阅读】 Cola-Dif； An explainable task-specific synthesis network

CoLa-Diff: Conditional Latent Diffusion Model for Multi-modal MRI Synthesis

论文地址 https://conferences.miccai.org/2023/papers/126-Paper2305.html
摘要：
大多数基于扩散的 MRI 合成模型都使用单一模态；一般在保存结构方面失败；并且为了减少内存消耗。
提出：

在浅层进行扩散，减少内存消耗


和扩散模型基本一致，就是在输入网络里面加入了条件y。损失函数也就是在里面加入了条件y。

类似的协同过滤：
将特征信息进行提取以及融合处理；这里面都是通过小波变换提取的信号。块匹配 δ或阈值 γ。
结构指导：
使用FSL-FAST来分割四种类型脑组织。E里面的结构。将其作为条件输入进去。
自动权重适应：


可以理解为计算能量。

S是Sigmoid激活函数，v,o是可学习的权重。

An Explainable Deep Framework: Towards Task-Specific Fusion for Multi-to-One MRI Synthesis

论文地址 https://conferences.miccai.org/2023/papers/057-Paper0599.html
和本篇论文相关的HyperConv论文地址：https://arxiv.org/abs/2302.00517
摘要：
很多方法缺乏量化不同输入序列的贡献和估计所生成图像中的区域特定质量的能力，使得其难以实用。提出了一个可解释的任务特定的融合序列到序列（TSF-Seq 2Seq）网络，它具有自适应权重的特定合成任务与不同的输入组合和目标。

首先将每个特征通过E进行特征提取，然后进行融合，之后通过TSC编码（0-1）进行加权融合。同时并行的将融合特征通过TSA进行处理。
当某个序列没有输入时：使用0代替。
Task-Specific Weighted Average

c是编码，b是偏执，theta是为了避免除0错误。

Task-Specific Attention
使用HyperConv代替CBAM中的卷积，HyperConv是一个动态滤波器，其内核从共享权重库映射，映射函数由给定的目标代码生成。
损失函数

希望这两个都可以重建为目标图像

特定任务增强映射

得到的结果就是增强映射。通过实验可以看到在重要，难得部分有很大效果。