[迁移学习]领域泛化

一、概念

        相较于领域适应，领域泛化(Domain generalization)最显著的区别在于训练过程中不能访问测试集。

         领域泛化的损失函数一般可以描述为以下形式：

                

                该式分为三项：第一项表示各训练集权重的线性组合，其中π为使该项最小的系数；第二项表示域间距离，其中表示目标域和源域之间最小的距离、表示源域之间两两组合的最大距离；第三项表示理想风险(ideal joint risk)，一般情况下可以忽略。

二、分类

        1.数据操作(Data manipulation)

                该方法体现在对数据集的操作，主要分为数据增强(Data augmentation)和数据生成(Data generation)

                 其中数据增强主要的方式是对图像进行尺寸、颜色、亮度、对比度的调整，旋转、添加噪声等操作。可由其增强的方向分为：相关数据增强和对抗数据增强。

                数据生成主要有3种方式：VAE、GAN(对抗生成)、Mixup(混合增强)，主要的目的是增强模型的泛化能力。

        2.学习表征(Representation learning)

                该方法可以表征为：

                        

                         通过对以上式子中各部分的学习来表征域的特征，主要方法有四种

                        ①Kernel-based method：传统方法，主要依赖核投射技巧

                        ②Domain adversarial learing：对抗方法，基于对抗网络进行混淆

                        ③Explicit feature alignment：显式的减少域之间的差异，域对齐

                        ④Invariant risk minimization：范式方法

                        ⑤Feature disentanglement：解耦，提取出相同类别中共同特征

                                 主要分为两种：1.UndoBias：将权重分为两种(其中为所有域的公共特征，为每个域私有的特征)

                                                           2.Generative modeling：使用生成网络进行解耦

        3.学习策略(Learning strategy)

                ①Meta-learning(源学习)

                         将源域分解为若干个小任务

                ②Ensemble learning(集成学习)

                         认为目标域是源域的线性组合，表现在实际操作中是各种结果按照一定权重进行组合（类似于投票）