MulFS-CAP: Multimodal Fusion-supervisedCross-modal

一种用于无注册红外-可见图像融合的单阶段框架。与传统的两阶段方法不同，MulFS-CAP结合了隐式注册和融合，简化了处理流程并增强了实用性。该方法使用共享的浅层特征编码器，同时进行特征对齐和图像融合。通过引入可学习的模态字典，该方法有效减少了模态差异对交叉模态特征对齐的影响，能够在同时进行注册和融合的同时保持特征一致性。此外，MulFS-CAP提出了一种新的交叉模态对齐方法，利用相关矩阵来细化红外和可见图像的融合过程。实验结果表明，该方法优于现有的两阶段方法，且不依赖于显式注册，具有更高的效率和准确性。

 

• 两阶段方法的复杂性：现有的图像融合方法通常需要两阶段处理，分别进行图像注册和融合，导致流程复杂且对计算资源要求高。
• 模态差异问题：红外图像和可见图像的模态差异使得精确对齐变得困难，现有方法多通过生成伪图像来缓解这一问题，但效果依赖于生成图像的质量。