吴恩达机器学习笔记 二十一 迁移学习 预训练

迁移学习（transfer learning）：直接把神经网络拿来，前面的参数可以直接用，把最后一层改了。

两种训练参数的方式：

1.只训练输出层的参数

2.训练所有参数

当只有一个小数据集的时候，第一种方法很好；若数据集稍微大一些的话第二个方法更好。

两个步骤：

监督预训练(supervised pretraining):在一个大数据集上训练，得到参数

微调(fine tuning)：进一步训练，微调权重以适应具体的应用

迁移学习的另一个优点：可以直接用别人训练好的神经网络

迁移学习为什么有用？ 例如图像识别来说，一个识别猫狗的神经网络的某些隐藏层可能是用来识别边界、识别线条，这些都是一些基本的操作，所以也可以直接用来识别手写数字。