【传知代码】机器情绪及抑郁症算法 四（论文复现）

在现代心理健康研究中，抑郁症一直是一个备受关注的课题。随着科学的进步，研究人员逐渐认识到，抑郁症的成因远不止单一因素，而是由复杂的生物学、心理学和社会环境因素交织而成的。最近，MSA（综合性综合性模型）在揭示抑郁症机制上展现了惊人的潜力。通过多维度的分析，MSA模型为我们提供了一个全新的视角，让我们能够更深入地理解抑郁症的根源、影响以及可能的干预措施。   

本文所涉及所有资源均在地址可获取

目录

概述

核心逻辑

复现过程

写在最后

---

概述

      近年来，多模态情感分析（MSA）受到越来越多的关注，多模态情感分析是一个综合了视觉、听觉等语言和非语言信息的重要研究课题。多模态机器学习涉及从多个模态的数据中学习。这是一个具有挑战性但又至关重要的研究领域，在机器人领域具有现实应用、对话系统、智能辅导系统和医疗诊断。许多多模态建模任务的核心在于从多模态中学习丰富的表示。例如，分析多媒体内容需要学习跨语言、视觉和声模态的多模态表示。虽然多模态的存在提供了额外的有价值的信息，但是当从多模态数据学习时，存在两个关键挑战需要解决：

1）模型必须学习复杂的模态内和跨模态相互作用以进行预测

2）训练模型必须对测试期间意外丢失或有噪声的模态具有鲁棒性

同时，繁重的工作量、紧迫的期限、不切实际的目标、延长的工作时间、工作不安全感和人际冲突等因素，导致了员工之间的紧张关系。超出一定限度的压力会对员工的工作效率、士气和积极性产生负面影响，同时还会引发各种生理和心理问题。长期的压力可能导致失眠、抑郁和心脏病。最新研究表明，长期的压力和癌症之间存在正相关。国际劳工组织在2019年宣布，“压力，过长的工作时间和疾病，导致每年近280万工人死亡，另外3.74亿人因工作受伤或生病”。

早期诊断和治疗对于减少压力对员工健康的长期影响和改善工作环境至关重要。检测抑郁症的常规方法通常由生理学家通过问卷访谈进行。但这种方法是定性的、耗时的且缺乏私密性，无法保证员工提供真实的答案，很多时候无法达到初步筛选的目的。相比之下，HRV（心率变异性）、ECG（心电图）、GSR（皮肤电反应）、血压、肌电图和EEG（脑电图）等方法是客观的，但同样缺乏私密性，而且由于这些测试能够推断私人健康信息，员工可能会对其产生抵触情绪。

这篇文章开始介绍情感计算经典论文模型，他是ICRL 2019的一篇多模态情感计算的论文 “LEARNING FACTORIZED MULTIMODAL REPRESENTATIONS”，其中提出的模型是MFM，此外，原创部分为加入了抑郁症数据集以实现抑郁症检测任务，以及在SIMS数据集和SIMV2数据集上进行实验，地址 :

多模态情感分析和抑郁症检测是一个热门的研究领域，它利用多模态信号对用户生成的视频进行情感理解和抑郁症程度判断。此外，由于存在多个异构信息源，多模态表征的学习是一个非常复杂的研究问题。虽然多模态的存在提供了额外的有价值的信息，但在从多模态数据学习时，五个核心挑战：对齐、翻译、表征、融合和共同学习。其中，表征学习处于基础性地位，其主要贡献为：

1）提出了用于多模态表征学习的多模态分解模型（MFM）

2）MFM将多模态表示分解为两组独立因子：多模态区分因子和特定于模态的生成因子

3）特定于模态的生成因子使我们能够基于因子化变量生成数据，解释缺失的模态，并对多模态学习中涉及的交互有更深入的理解。

核心逻辑

如下图所示，MFM的功能可以分为两个主要阶段：Generative Network 和 Inference Network；通过两个模块组合生成整体MFM结构；多模态因子分解模型（MFM）是一种潜变量模型（a），对多模态判别因子和模态特定生成因子具有条件独立性假设。根据这些假设，提出了一个因子分解的联合分布的多峰数据。由于对这种分解分布的精确后验推理可能很难处理，我们提出了一种基于最小化多模态数据上的联合分布Wasserstein距离的近似推理算法。最后，推导出MFM目标通过近似的联合分布Wasserstein距离通过广义平均场假设：

为了将多模态表示分解为多模态判别因子和特定模态生成因子，MFM假设一个贝叶斯网络结构，如上图 a 所示。在该图模型中，因子 FyFy​ 和 Fa{1:M}Fa{1:M}​ 由具有先验 PZPZ​ 的相互独立的潜变量 Z=[Zy,Za{1:M}]Z=[Zy​,Za{1:M}​] 生成。具体地，$Z_y% 生成多模态判别因子 FyFy​，并且 Za{1:M}Za{1:M}​ 生成模态特定生成因子 Fa{1:M}Fa{1:M}​。通过构造，FyFy​ 有助于生成 Y^Y^，而 {Fy,Fai}{Fy​,Fai​} 共同有助于生成 X^iX^i​。因此，联合分布 P(X^1:M,Y^)P(X^1:M​,Y^) 可以分解，由于对 ZZ 的积分，方程1中的精确后验推断在解析上可能是不可行的。因此，我们求助于使用近似推断分布 Q(Z∣X1:M,Y)Q(Z∣X1:M​,Y)，其详细内容见以下小节。结果，MFM 可以被视为一种自编码结构，包含编码器（推断模块）和解码器（生成模块）（上图（c））。Q(.∣.)Q(.∣.) 的编码器模块使我们能够轻松地从近似后验中抽样 ZZ。解码器模块根据方程1和图（a）所给出的 P(X^1:M,Y^∣Z)P(X^1:M​,Y^∣Z) 的因子分解进行参数化：

在自编码结构中，常用的近似推断方法有变分自编码器（VAEs）和Wasserstein自编码器（WAEs）。前者优化证据下界目标（ELBO），后者则推导出Wasserstein距离的原始形式的近似。我们选择后者，因为它同时在潜在因子的解缠和样本生成质量上优于其对应方法。然而，WAEs设计用于单模态数据，并没有考虑生成多模态数据的潜在变量上的分解分布。因此，我们提出了一个变体，以处理多模态数据上的分解联合分布。

如Kingma & Welling（2013）所建议的那样，我们在编码器和解码器中采用了非线性映射的设计（即神经网络架构）（上图（c））。对于编码器 Q(Z∣X1:M,Y)Q(Z∣X1:M​,Y)，我们学习了一个确定性映射 Qenc:X1:M,Y→ZQenc​:X1:M​,Y→Z。对于解码器，我们将潜在变量的生成过程定义为 Gy:Zy→FyGy​:Zy​→Fy​， Ga1:M:Za1:M→Fa1:MGa1:M​​:Za1:M​​→Fa1:M​​， D:Fy→Y^D:Fy​→Y^，和 F1:M:Fy,Fa1:M→X^1:MF1:M​:Fy​,Fa1:M​​→X^1:M​，其中 Gy,Ga1:M,DGy​,Ga1:M​​,D 和 F1:MF1:M​ 是由神经网络参数化的确定性函数。

令 Wc(PX1:M,Y,PX^1:M,Y^)Wc​(PX1:M​,Y​,PX^1:M​,Y^​) 表示在成本函数cXicXi​​ 和 cYcY​ 下的多模态数据上的联合分布Wasserstein距离。我们选择平方成本c(a,b)=∥a−b∥22c(a,b)=∥a−b∥22​，从而使我们能够最小化2-Wasserstein距离。成本函数不仅可以定义在静态数据上，还可以定义在时间序列数据上，例如文本、音频和视频。例如，给定时间序列数据 X=[X1,X2,⋯ ,XT]X=[X1​,X2​,⋯,XT​] 和 X^=[X^1,X^2,⋯ ,X^T]X^=[X^1​,X^2​,⋯,X^T​]，我们定义 c(X,X^)=∑t=1T∥Xt−X^t∥22c(X,X^)=∑t=1T​∥Xt​−X^t​∥22​：

多模态学习的一个关键挑战是处理缺失的模态。一个优秀的多模态模型应该能够在给定观测模态的情况下推断缺失的模态，并且仅基于观测模态进行预测。为了实现这一目标，MFM的推断过程可以通过使用代理推断网络来轻松地适应，代理推断网络在给定观测模态的情况下重建缺失模态。形式上，设 ΦΦ 表示代理推断网络。在给定观测模态 X2:MX2:M​的情况下，生成缺失模态 X^1X^1​ 的过程可以公式化如下： 

复现过程

在情感计算任务中，可以看到 MFM 模型性能超越其他模型，证明了其有效性：

在下载附件并准备好数据集并调试代码后，进行下面的步骤，附件已经调通并修改，可直接正常运行，下载多模态情感分析集成包进行训练：

pip install MMSA
$ python -m MMSA -d mosi/dosei/avec -m mmim -s 1111 -s 1112

训练过程与最终过程如下所示：

MFM模型适用于分析社交媒体平台上用户的多模态数据，包括文本、图像和音频，从而深入理解用户的情感倾向、态度和情绪变化。例如，可以用于监测社交媒体上的舆情、分析用户对特定事件或产品的反应等，其项目特点如下所示：

1）多模态融合： MFM模型能够有效整合文本、图像和音频等多种数据源，充分利用不同模态之间的关联性和信息丰富度，提升情感分析的全面性和准确性。

2）情感感知和表达建模： 通过先进的深度学习技术，MFM模型能够深入学习和模拟情感感知与表达过程，实现对复杂情感信息的准确捕捉和高效表示。

3）自适应学习和个性化： MFM模型具备自适应学习能力，可以根据具体任务和用户需求调整情感建模策略，实现个性化的情感分析和反馈。

4）跨领域应用能力： 由于其多模态分析的通用性和灵活性，MFM模型不仅适用于社交媒体分析和智能健康监测，还能应用于广告推荐、产品评价和人机交互等多个领域。

综上所述，MFM模型在多模态情感分析和智能应用领域展现出广泛的适用性和高效的技术特点，为实际应用场景提供了强大的分析和决策支持能力

写在最后

        在探索MSA+模型对抑郁症的深刻见解的旅程中，我们不仅揭示了疾病的复杂性，还找到了应对和治疗的崭新思路。MSA+模型通过将生物、心理和社会因素融入一个综合框架，挑战了传统单一因素的理解方式，为我们描绘了一幅更为全面的抑郁症图景。它让我们意识到，抑郁症不仅仅是神经化学的失衡，而是一个多层次、多维度的互动过程。

        通过MSA+模型，我们不仅能够更准确地识别抑郁症的风险因素，还能在个体化治疗方案上取得突破。其创新性的整合方式，为我们提供了一种全新的思考路径，激发了对未来研究和治疗的无限可能。这种综合视角不仅有助于我们更好地理解抑郁症的多样性，还推动了个体化和精准医学的发展。

        总之，MSA+模型的应用标志着心理健康领域的一个重要进步。它不仅为我们提供了新的研究工具，也为临床实践注入了新的希望。未来，我们有理由相信，通过不断探索和应用这一模型，我们将能够在抑郁症的预防、诊断和治疗上取得更大的突破，从而为那些受困于抑郁症的患者带来真正的改变与希望。

详细复现过程的项目源码、数据和预训练好的模型可从该文章下方附件获取。