低质量数据的多模态融合方法

目录

多模态融合

低质量多模态融合的核心挑战

噪声多模态数据学习

缺失模态插补

平衡多模态融合

动态多模态融合

启发式动态融合

基于注意力的动态融合

不确定性感知动态融合

论文

---

多模态融合

多模态融合侧重于整合多种模态的信息，以实现更准确的预测，在自动驾驶、医疗诊断等多种场景中取得了显着的进展。然而，多模态融合的可靠性在很大程度上仍未得到探索，特别是在低质量数据设置下。本文调查了多模态融合的常见挑战和最新进展，并以综合分类法呈现它们。从以数据为中心的角度来看，确定了低质量数据的多模态融合面临的四个主要挑战，即 （1）被异质噪声污染的噪声多模态数据，（2）缺少某些模态的不完整多模态数据， （3）不平衡多模态数据，不同模态的质量或属性显著不同；（4）质量变化多模态数据，每种模态的质量相对于不同样本动态变化。这种新的分类法将使研究人员能够了解该领域的现状并确定几个潜在的方向。本文还对该领域的开放问题以及有趣的未来研究方向进行讨论。