大模型被偷家？CNN结合多模态！

2025深度学习发论文&模型涨点之—— CNN+多模态

卷积神经网络是一种特殊类型的神经网络，其主要结构包括卷积层、池化层、全连接层和输出层。卷积层通过卷积操作学习图像的特征，池化层通过下采样操作减少参数数量，全连接层和输出层通过分类或回归来完成任务。

多模态学习是指在不同类型数据之间学习共享表示的过程。多模态数据可以是图像、文本、音频等，每种模态都有其特定的表示和特征。因此，在多模态学习中，我们需要设计一种能够处理不同模态数据并在不同模态之间共享知识的算法。

我整理了一些 CNN+多模态【论文+代码】合集，需要的同学公人人人号【AI创新工场】自取。

论文精选

论文1：

Change Detection between Multimodal Remote Sensing Data Using Siamese CNN

使用孪生卷积神经网络进行多模态遥感数据的变化检测

方法

多模态数据转换：将3D激光扫描点云和2D影像转换为2.5D数字表面模型（DSM），进一步转换为2D灰度图像块。

孪生卷积神经网络（Siamese CNN）：使用S-CNN架构，通过比较两个输入图像块的特征向量来检测变化。

预处理和数据增强：对图像块进行数据增强（如翻转和旋转），以平衡正负样本数量。

对象级变化检测：将检测到的变化图像块分组并验证为单个对象的变化，利用点云分割和归一化植被指数（nEGI）进行验证。

创新点

多模态数据融合：提出了一种将3D激光扫描和2D影像融合的框架，解决了多模态数据特性差异带来的挑战。

孪生卷积神经网络的应用：首次将S-CNN应用于多模态遥感数据变化检测，能够有效区分真实变化和由数据误差引起的虚假变化。

性能提升：实验结果表明，该方法在变化检测任务中能够正确分类86.4%的图像块对，显著优于传统方法。

论文2：

CNN‑Siam: multimodal siamese CNN‑based deep learning approach for drug‒drug interaction prediction

CNN‑Siam：基于多模态孪生卷积神经网络的药物-药物相互作用预测深度学习方法

方法

多模态数据表示：将药物的化学结构、靶点和酶信息通过一热编码和Jaccard相似性转换为特征向量。

孪生卷积神经网络（Siamese CNN）：使用S-CNN架构，通过两个共享权重的CNN分支分别学习药物对的特征表示，并将结果输入到多层感知机中进行分类。

优化算法：结合RAdam和LookAhead优化算法，提高模型训练的稳定性和收敛速度。

损失函数：采用Focal Loss，重点关注难以分类的样本，提升模型对不平衡数据集的分类能力。

创新点

多模态数据融合：通过S-CNN架构同时学习药物对的多模态信息，提升了特征表示的准确性。

优化算法的改进：使用RAdam和LookAhead优化算法，显著提升了模型的训练效率和性能。

性能提升：在基准数据集上，CNN-Siam的AUPR分数达到0.96，准确率达到92%，相比现有最佳方法（准确率为86%）有显著提升。

论文3：

Multimodal Convolutional Neural Networks for Matching Image and Sentence

用于匹配图像和句子的多模态卷积神经网络

方法

图像和句子的卷积神经网络（CNN）：使用图像CNN编码图像内容，匹配CNN建模图像和句子的联合表示。

多模态匹配：通过不同层次（单词、短语、句子）的语义片段与图像的交互，学习图像和句子之间的匹配关系。

多层感知机（MLP）：将匹配CNN生成的联合表示输入到MLP中，生成最终的匹配分数。

多模态卷积层：设计了多模态卷积层，使图像与句子的语义片段在不同层次上进行交互。

创新点

多模态匹配的层次化处理：通过单词、短语和句子三个层次的匹配关系，全面捕捉图像和句子之间的语义关联。

性能提升：在Flickr8K和Flickr30K数据集上，m-CNN模型显著优于现有最佳方法。例如，在Flickr30K数据集上，m-CNNENS（使用VGG初始化）的R@10指标达到74.9%，相比其他方法有显著提升。

卷积架构的应用：首次将卷积架构应用于图像和句子匹配问题，为多模态匹配提供了更强大的表示能力。