【THRMM】追踪情绪动态变化的多模态时间背景网络

1. 单一模态的局限性​​

​​不足​​：传统方法依赖生理信号（如EEG、ECG）或静态图像特征，数据收集成本高，且无法捕捉动态交互，导致模型泛化性差。
​​改进​​：提出​​THRMM模型​​，整合多模态数据（面部表情、声学特征、对话语义、场景信息），利用Transformer的全局建模能力，动态融合多模态特征，提升现实场景下的情感分析鲁棒性。

---

​​2. 静态建模无法捕捉时间动态​​，普通的transformer不算创新

​​不足​​：基于静态图像的模型无法建模时间序列中的情绪变化和人物互动，导致动态情感预测失效。
​​改进​​：通过​​Transformer的自注意力机制​​，建模长距离时间依赖关系，跟踪角色情绪状态的演变及其互动关系，实现动态情感轨迹建模。

---

​​3. 忽视多尺度时间动态​​

​​不足​​：情绪持续时间差异显著（如短暂惊讶 vs 持久悲伤），现有方法缺乏对不同时间尺度的动态建模。
​​改进​​：提出​​多尺度相对时间编码方案​​，与Transformer结合，捕捉短期（如瞬间表情）和长期（如持续性情绪）的时间动态，增强模型对不同情绪持续时间的适应能力。

---

​​4. 多模态数据时间不对齐​​

​​不足​​：视频帧与对话字幕的时间错位导致训练噪声（如对话引用非当前场景内容）。
​​改进​​：设计​​宽松语义对齐模块​​，通过动态校正多模态数据的语义一致性（如对话与场景的关联），减少错位噪声的影响，提升模型对跨模态交互的理解。

abstract

在医学领域，对人类情绪的分析和理解是精神疾病研究的关键途径。许多心理或精神疾病表现出不一致的，往往是微妙的症状，这使得基于单一特征的人类情感预测变得复杂。因此，本研究整合了一系列模态线索。该研究提出了THRMM，这是一种基于变压器的网络，用于利用多种上下文线索进行时间建模。THRMM架构有效地提取全局视频特征、角色特征和对话线索，以监测情绪变化，捕捉情绪动态，以便及时准确地预测情绪。消融和比较研究证实了THRMM在时间语境建模中的有效性，强调了场景、任务和对话信息在情绪解释中的重要性。

intro

医生通常通过长期观察和现代医学技术来诊断心理或精神障碍。先前的研究表明，生理信号——脑电图[1,2]、心电图[3-5]和肌电图[6,7]——是诊断和预测精神健康状况最有效的特征之一。在实践中，医生通常通过长期观察和现代医学技术来诊断心理或精神障碍。

先前的研究表明，生理信号——脑电图[1,2]、心电图[3-5]和肌电图[6,7]——是诊断和预测精神健康状况最有效的特征之一。实际上，收集生理信号是复杂和昂贵的，阻碍了广泛采用，使其在所有治疗阶段都不切实际。未来的研究目标是开发一种经济、高效、实时的自动化情绪分析工具，用于即时诊断和早期发现心理健康风险。

本研究主要关注以人为中心的外部线索与情境现实的整合，涵盖时间和内容两个维度。它结合了多模态数据，如面部表情、声学特征、会话语义和环境场景，以增强多标签情感分析。同时，Transformer架构的应用程序允许通过自关注机制对远距离时间信息的依赖关系进行建模，从而在考虑模态动态的同时有效地捕获标签依赖关系。

情绪是一个研究得很好的医学课题。在传统研究中，大多数关注的是通过面部