多模态机器学习火热idea汇总！

想发论文，却完全没头绪？那我非常推荐你关注这个潜力方向：多模态机器学习！

它能够把不同模态的数据，映射到统一的高维向量空间，实现模态间的语义对齐，从而促进模态间的相互理解，提高模型的性能。多媒体内容理解、医疗健康、自动驾驶、情感分析等领域都离不开它。也因此，其在NeurIPS、ICML、CVPR等顶会上都有多篇成果！

但其也面临诸多挑战：模态间的不一致性、计算资源的限制、模型的可解释性等。同时这也给我们论文创新提供了可发挥的空间！

为让大家能够紧跟领域前沿，掌握领域主流研究方法，我给大家准备了12种创新思路，原文和源码都有。

论文原文+开源代码需要的同学看文末

论文：MuSe-GNN: Learning Unified Gene Representation From Multimodal Biological Graph Data

内容

该论文介绍了一种名为 MuSe-GNN 的新型模型，旨在通过结合多模态机器学习和深度图神经网络（GNNs），从单细胞测序和空间转录组数据中学习统一的基因表示。该模型利用82个训练数据集构建信息丰富的图结构，并通过加权相似性学习和对比学习策略，将不同数据中的基因嵌入到联合空间中，从而捕捉基因在不同上下文中的功能相似性。

论文：A Concept-based Interpretable Model for the Diagnosis of Choroid Neoplasias using Multimodal Data

内容

该论文介绍了一种基于多模态数据的可解释性模型——多模态医学概念瓶颈模型（MMCBM），用于诊断罕见眼底肿瘤，构建了迄今为止最大的包含750名患者的多模态数据集，涵盖了荧光素眼底血管造影（FA）、吲哚青绿血管造影（ICGA）和超声（US）三种影像学检查方式。MMCBM通过从放射学报告中提取与领域专家见解相结合的概念，实现了对三种脉络膜肿瘤类型的区分。

论文：4M: Massively Multimodal Masked Modeling

内容

该论文介绍了一种名为 4M 的多模态训练框架，旨在通过统一的 Transformer 编码器-解码器架构和掩码建模目标，训练能够处理多种输入/输出模态（如文本、图像、几何和语义信息）的通用视觉模型。4M 通过将不同模态映射为离散标记，并在小批量随机子集上进行掩码建模，实现了模型的可扩展性。

论文：Deep Imbalanced Learning for Multimodal Emotion Recognition in Conversations

内容

该论文提出了一种名为CBERL的模型，用于解决多模态对话情感识别（MERC）中的数据不平衡问题。CBERL 通过数据增强、深度联合变分自编码器（DJVAE）和多任务图神经网络（MGNN）等方法，从数据增强、采样策略和损失敏感性三个层面缓解数据不平衡问题，同时融合多模态特征并提取上下文语义信息。

 关注下方《人工智能学起来》

回复“多模机器”获取全部论文+开源代码

码字不易，欢迎大家点赞评论收藏