【深度学习】多粒度、多尺度、多源融合和多模态融合的区别

多粒度（multiresolution）和多尺度（multiscale）

多粒度（multiresolution）和多尺度（multiscale）都是指在不同的空间或时间尺度上对数据或信号进行分析和处理。其中

1. 多尺度：通常是指在不同的空间或时间尺度上对数据或信号进行分析和处理，通常采用不同的滤波器或分解方法，以从低到高分析不同尺度的信号结构。例如，在图像处理中，可以使用高斯金字塔或小波变换对图像进行多尺度分析。多尺度分析可以用于识别不同尺度的特征，例如，在图像中检测不同大小的物体或在信号中检测不同频率的成分。
2. 多粒度：则更加强调数据的分辨率不同，特别是在数字图像处理中，指的是不同分辨率的图像表示。例如，通过对原始图像进行下采样，可以得到具有不同分辨率的图像金字塔，然后可以将这些图像用于不同的应用，例如图像压缩或目标检测。多粒度分析也可以应用于其他领域，例如地理信息系统和信号处理中。因此，虽然多尺度和多粒度的概念有一些相似之处，但它们的应用范围和重点略有不同。

多源数据融合和多模态数据融合

1. 多源信息融合(简称为信息融合)：是指组合和合并多个来源的信息或数据以便形成一个统一结果的技术。它起源于军事领域中的多传感器综合应用,往往又叫多传感器数据融合(或数据融合)，是对人或动物利用各种感官来获取信息并通过大脑综合分析来认识客观世界的一种功能模拟。随着研究的进展,信息融合领域中的“传感器”泛指各种信息来源，除了电子传感器,还包括数据库、网络系统等等。
2. 多模态融合：一般来说，模态是指事物发生或存在的方式，多模态是指两个或者两个以上的模态的各种形式的组合。对每一种信息的来源或者形式，都可以称为一种模态（Modality），目前研究领域中主要是对图像、文本和语音三种模态的处理。之所以要对模态进行融合，是因为不同模态的表现方式不一样，看待事物的角度也会不一样，所以存在一些交叉（所以存在信息冗余），互补（所以比单特征更优秀） 的现象，甚至模态间可能还存在多种不同的信息交互，如果能合理的处理多模态信息，就能得到丰富特征信息。多模态数据的融合策略主要包括数据级融合、特征级融合和决策级融合，在数据分析的不同阶段选取恰当的融合策略，利用多模态数据之间的信息互补来提升数据分析的准确性。

融合的策略

传统特征融合算法主要可以分为三类：
1.基于贝叶斯决策理论的算法 2.基于稀疏表示理论的算法 3.基于深度学习理论算法。传统方法不做整理，其中的深度学习方法按照融合的层次从下到上每一层都可以fusion：

1. pixel level（像素级）：对原始数据最小粒度进行融合。
2. feature level （特征级）：对抽象的特征进行融合，这也是用的最多的。包括early 和 late fusion，代表融合发生在特征抽取的早期和晚期，如上图。early是指先将特征融合后（concat、add）再输出模型，缺点是无法充分利用多个模态数据间的互补性，且存在信息冗余问题（可由PCA，AE等方法缓解）。late分融合和不融合两种形式，不融合有点像集成学习，不同模态各自得到的结果了之后再统一打分进行融合，好处是模型独立鲁棒性强。融合的方式即在特征生成过程中（如多层神经网络的中间）进行自由的融合，灵活性比较高，如金字塔融合。
3. decision level（决策级）：对决策结果进行融合，这就和集成学习很像了。
4. hybrid（混合）：混合融合多种融合方法。