Fine tune简介

目录

Intro

Related work

Example

.1 重新训练

.2 使用新的数据集进行fine tune

 .3 修改net结构

References

---

移学习不是一种算法而是一种机器学习思想，应用到深度学习就是微调（Fine-tune)。通过修改预训练网络模型结构（如修改样本类别输出个数），选择性载入预训练网络模型权重（通常是载入除最后的全连接层的之前所有层 ，也叫瓶颈层）再用自己的数据集重新训练模型就是微调的基本步骤。 微调能够快速训练好一个模型，用相对较小的数据量，还能达到不错的结果。

Intro

开个头

因为有定制化的下游任务需求，所以需要进行fine tune

 

 

1）Transfer Learning：冻结预训练模型的全部卷积层，只训练自己定制的全连接层。
2）Extract Feature Vector：先计算出预训练模型的卷积层对所有训练和测试数据的特征向量，然后抛开预训练模型，只训练自己定制的简配版全连接网络。
3）Fine-tune：冻结预训练模型的部分卷积层（通常是靠近输入的多数卷积层），训练剩下的卷积层（通常是靠近输出的部分卷积层）和全连接层。
* 注：Transfer Learning关心的问题是：什么是“知识”以及如何更好地运用之前得到的“知识”，这可以有很多方法和手段，eg：SVM，贝叶斯，CNN等。而fine-tune只是其中的一种手段，更常用于形容迁移学习的后期微调中。

Related work