【MVCP】基于解纠缠表示学习和跨模态-上下文关联挖掘的多模态情感分析

多处可看出与同专栏下的DCCMCI很像

abstract

多模态情感分析旨在从多模态数据中提取用户表达的情感信息，包括语言、声学和视觉线索。

然而，多模态数据的异质性导致了模态分布的差异，从而影响了模型有效整合多模态互补性和冗余性的能力。此外，现有的方法通常在获得表征后直接合并模式，忽略了它们之间潜在的情感相关性。

为了解决这些挑战，我们提出了一个多视图协同感知（MVCP）框架，用于多模态情感分析。该框架主要由两个模块组成：多模态解纠缠表示学习（MDRL）和跨模态上下文关联挖掘（CMCAM）。

MDRL模块采用一个联合学习层，包括一个通用编码器和一个专用编码器。这一层将多模态数据映射到一个超球体，学习每个模态的通用和专有表示，从而减轻由模态异构引起的语义差距。

为了进一步弥合语义差距并捕获复杂的多模态相关性，CMCAM模块利用多种注意机制来挖掘跨模态和上下文情感关联，产生具有丰富多模态语义交互的联合表示。在此阶段，CMCAM模块仅发现共同表示之间的相关信息，以保持不同模态的独占表示。

最后，采用多任务学习框架实现单模态任务间参数共享，提高情绪预测性能。在MOSI和MOSEI数据集上的实验结果证明了该方法的有效性。

intro

情感分析最初是指通过自然语言处理和文本挖掘方法，识别和提取主观文本中包含的观点和情感信息[1,2]。然而，TikTok、微博、YouTube、Twitter等多媒体社交网络的繁荣，将情感分析的研究对象从文本扩展到了多媒体内容[3]。在短视频爆炸的今天，从包含文字、音频和视觉数据的多媒体内容中挖掘态度、观点和情感信息的多模态情感分析开始受到关注[4]。多模态情绪分析具有重要的意义，因为它可以为经济和社会领域的许多相关应用提供强有力的支持，如民意分析、辅助决策、风险管理和市场预测bb0。因此，越来越多的研究人员开始投身于这一有前途的领域。

深度学习方法是目前多模态情感分析的主要解决方案[6,7]。这些方法试图通过表征学习、模态内和多模态关联挖掘和多模态融合在异构多模态数据和情感取向之间建立可靠的映射。与仅使用文本内容[8]的单模态情感分析相比，多模态情感分析的优势在于它可以利用视听数据中包含的情感信息来构建更好的情感分析模型[9,10]。

然而，多模态情感分析也面临着更多的挑战，特别是在多模态表征学习和多模态融合方面。例如，多模态数据的异质性导致每个模态都有自己独特的特征表示。这些特征表示的多样性增加了不同模态之间数据直接集成的复杂性。此外，多模态数据的异质性也导致了模态分布的不一致性，使得模型在处理不同模态时难以获得兼顾共性和个性的多模态表示。因此，多模态数据的异质性极大地影响了情感分析模型的性能[5,12]。此外，人类能够感知的高级语义信息与从原始数据中提取的低级特征之间存在很大差距，多媒体内容的多样性进一步加深了多模态情感分析中的这种语义差距。因此，跨语义间隙从异构多模态数据中挖掘主观情感信息已成为一个难题。

我们的工作重点是解决模式异质性问题，实现不同模式的有效整合和利用。获得良好的表征是保证多模态任务性能的关键。在多模态情感分析中引入了领域分离的思想[13]，通过将表征划分为子空间来获得合适的模态表征：包含多模态数据潜在共性的公共表征和包含每个模态唯一信息的专属表征。然而，大多数现有的研究倾向于直接融合模式的表征，而忽略了它们之间潜在的情感相关性。

多模态情感分析不是一个简单的分类问题，它集成了来自多模态数据的代表性信息。其目的是彻底发现跨模态关联，并在表征和情感结果之间构建可靠的映射关系。然而，由于多模态数据的不对齐特性，很难有效地发现跨模态上下文关联。此外，子空间划分在获得每个模态表示的过程中，破坏了原始数据内部的内在相关性。这反过来又增加了相关性挖掘任务的复杂性。因此，有效地利用不结盟模态之间的潜在情感联系，同时获取每种模态的共同和专属表征仍然是一项艰巨的挑战。

基于领域分离的多模态情感[14]分析将每个模态投影到公共和专有的子空间中进行表征学习，并在进行情感分类之前简单地重组子空间表征。考虑到子空间划分弥补了公共空间的异构性差距，我们将公共表示和排他表示区别对待，在保持不同模态的排他表示的同时，只挖掘公共表示之间的相关信息。

我们还希望捕获多模态之间的跨模态情感关联以及模态内部和模态之间的上下文情感关联，以增强多模态融合和互动。

•我们提出了一个多视角协同感知（MVCP）框架，从表征约束、关联挖掘和多任务合作的角度进行多模态情感分析。它利用多模态数据的共性和排他性信息来弥合异构性差距，利用多模态数据中隐藏的关联信息来缩小语义差距，利用多任务学习机制进一步实现跨模态任务协作。

•我们提出了一种基于多模态解纠缠表示学习（MDRL）的情感关联挖掘方案，以同时关注多模态情感分析过程中模态的共性和个性。MDRL模块可用于突出模式的共性，同时保留其独特性。

•我们提出了一个跨模态-上下文关联挖掘（CMCAM）模块，