即插即用特征融合模块，即用即涨点！

特征融合（Feature Fusion）是深度学习中的一种重要技术，它可以帮助模型更好地理解数据的内在结构和规律，提高模型的性能和泛化能力。

另外，特征融合还可以提高模型的分类准确率，减少过拟合风险，帮助我们更好地利用数据集。 目前已有的特征融合方法已经取得了显著的进展，但仍然存在一些挑战和问题。

为了进一步探索新的特征融合方法，以更好地解决上述问题，研究者们提出了许多优秀的魔改方法。我这次就整理了16个特征融合经典魔改方法，每个方法涉及到的模型、论文原文以及代码都放上了，建议同学们收藏一下仔细研读。

三篇论文详解

1、A Multi-Stage Adaptive Feature Fusion Neural Network for Multimodal Gait Recognition

方法

这篇论文提出了一个多阶段自适应特征融合神经网络（MSAFF），用于多模态步态识别。主要方法包括：

• 多阶段特征融合策略（MSFFS）：在特征提取过程的不同阶段执行多模态融合，包括帧级融合、时空级融合和全局级融合。

• 自适应特征融合模块（AFFM）：考虑轮廓和骨架之间的语义关联，将不同的轮廓区域与更相关的骨架关节融合。

• 多尺度时空特征提取器（MSSTFE）：在不同的空间尺度上提取和聚合时空链接信息，以全面学习空间-时间链接特征。

• 特征维度池化（FD Pooling）：提出一种简单有效的方法，通过池化操作显著降低步态表示的维度，而几乎不损失准确性。

创新点

这篇论文的主要创新点包括：

• 多阶段特征融合：提出了一种新的多阶段特征融合策略，该策略在不同层次上进行特征融合，以充分利用不同模态之间的互补优势。

• 自适应特征融合模块：设计了一种新的自适应特征融合模块，该模块能够根据轮廓和骨架之间的语义关联动态地调整特征融合的权重。

• 多尺度时空特征提取：提出了一种新颖的多尺度时空特征提取器，能够在不同的空间尺度上同时提取时空链接特征，增强了对步态时空特征的捕捉能力。

• 特征维度池化：提出了一种特征维度池化方法，有效降低了特征维度，减少了计算复杂度，同时保持了识别精度。

• 多模态步态识别：通过结合上述策略和模块，提出了一个多阶段自适应特征融合神经网络（MSAFF），在多个数据集上实现了最先进的性能。

 

2、Adaptive Feature Fusion for Cooperative Perception using LiDAR Point Clouds

方法

这篇论文提出了一种自适应特征融合模型，用于基于激光雷达（LiDAR）点云数据的协作感知。协作感知允许连接的自动驾驶车辆（CAV）与其他附近的CAV进行交互，以增强对周围物体的感知，从而提高安全性和可靠性。主要方法包括：

• 自适应特征选择模块：提出了具有可训练特征选择模块的自适应特征融合模型。

• 空间自适应特征融合（S-AdaFusion）：在多个CAV之间进行特征融合时，考虑空间信息，通过最大池化和平均池化来选择特征。

• 通道自适应特征融合（C-AdaFusion）：使用3D卷积神经网络（CNN）来提取通道特征，并减少输入特征通道的数量。

• 特征编码：使用Pillar Feature Network (PFN)将点云转换为伪图像。

• 中间特征提取：使用2D金字塔网络从伪图像中提取多尺度特征。

• 特征投影：将不同CAV提取的特征映射投影到接收器的坐标系中。

• 对象检测：使用Single Shot Detector (SSD)进行3D对象检测。

创新点

这篇论文的主要创新点包括：

• 自适应特征融合：提出了一种新颖的自适应特征融合方法，该方法可以根据特征图的空间信息动态选择和融合特征。

• 空间和通道自适应融合模型：提出了两种自适应融合模型，分别在空间和通道层面上进行特征融合。

• 多任务验证：在两个公共协作感知基准数据集（OPV2V数据集和CODD数据集）上验证了模型的有效性，包括车辆检测、行人检测和领域适应。

• 性能提升：在多个数据集上，提出的S-AdaFusion模型在车辆检测和行人检测任务上超过了现有的最先进模型。

 

3、Adaptive Mixed-Scale Feature Fusion Network for Blind AI-Generated Image Quality Assessment

方法

这篇论文提出了一种新颖的盲图像质量评估（IQA）网络，名为AMFF-Net，用于评估人工智能生成的图像（AGIs）的质量。该网络从三个维度评估AGI的质量：视觉质量、真实性和一致性。主要方法包括：

• 多尺度输入策略：AMFF-Net将图像进行多尺度缩放，将缩放后的图像和原始尺寸的图像作为输入，以获得多尺度特征。

• 自适应特征融合（AFF）块：使用自适应特征融合块来融合多尺度特征，该块通过可学习的权重自适应地融合特征，而不是简单地连接或相加。

• 内容一致性评估：通过比较文本编码器和图像编码器提取的语义特征，评估文本提示和图像之间的一致性。

• 多任务框架：采用多任务框架来同时评估视觉质量、真实性和内容一致性。

创新点

这篇论文的主要创新点包括：

• 多尺度特征提取：提出使用多尺度输入策略来捕捉图像在不同粒度级别的细节，这有助于更准确地评估视觉质量和真实性。

• 自适应特征融合：提出了一种新颖的自适应特征融合块，该块能够自适应地计算不同特征的权重，减少了信息被掩盖的风险。

• 多维度质量评估：与现有方法相比，AMFF-Net能够从视觉质量、真实性和一致性三个维度全面评估AGI的质量。

• 有效的一致性评估：通过计算文本提示和图像特征之间的相似性，提供了一种有效的方法来评估文本到图像的一致性，而不需要设计师的经验。