关于迁移学习的一点理解

举个栗子，老虎图片的数量非常少，可以让网络先学会识别猫的图片
1、预训练模型
内容：利用在 ImageNet1000 数据集训练好的模型，将所需的模型参数下载，嵌入到对应的网络架构中，使用对预训练模型的搭建。目前Pytorch框架中可以下载多种模型，包括 ResNet、ResNeXt、Xception、MobileNetV2等。
2、微调与冻结
2.1 微调：主要用来调整网络模型结构以适应于当前实验的分类。
2.2 冻结：保证模型前几层参数（梯度系数、权重、偏置等参数不发生变化）、主要是加快模型的训练速度，也可以增加准确率的效果。
3、领域自适应
3.1 内容：将两个领域的数据映射到同一个域不变特征的空间，然后进行分布对齐，以解决域分布不一致的问题。通俗的讲就是相似化特征，缩小相同分类结果之间的差距。
3.2 常用方法：JDA、BDA、DDA等
JDA：Transfer Feature Learning with Joint Distribution Adaptation
BDA：Balanced Distribution Adaptation for Transfer Learning
DDA：Transfer Learning with Dynamic Distribution Adaptation
4、学习资料
此网站包含当前最新的研究论文、数据集、数据结果、对比试验等
网址：https://github.com/jindongwang/transferlearning