机器学习任务功略

 loss如果大，训练资料没有学好，此时有两个可能：

1.model bias太过简单（找不到loss低的function）。

解决办法：增加输入的feacture，设一个更大的model，也可以用deep learning增加弹性。

2.optimization做得不好（合适的function确实存在但是无法正确选择出来）。

如何判断是上面的哪种情况？

• 比较图像信息。（例如如果20层的network已经可以做得很好有很低的loss了，56层的明显错误便并不是model bias弹性不够导致的，是optimization做得不好）
• 可以先看比较浅的network（model），因为它们不太会有optimization的问题。
• 如果深层的model并没有包含更小的数据差，那就是optimization的问题。（例如↓）

 看testing data

1.依旧很小，那很完美。

2.如果training data的loss小（并且确定model bias没有问题，optimization够大了）但是testing data的loss大有可能是overfitting。

• 上面是个特例极端情况。
• 正常来说：没有给足够的资料做为训练，因为model自由度很大就会导致overfitting。

解决方法：

1.增加训练资料。

2.data augmentation（用自己对问题的理解自己创造一些资料）。

注意：不能随便做，要是有道理的数据。根据对资料的特性，基于自己的理解，增加data augmentation。

3.缩减弹性，写极限。

比如：减少神经元数目 或者 让model公用参数 或者 用比较少的features 或者 early stopping 或者 regularization 或者 drop out。

但是注意不要给模型太多的限制。限制太大了在测试上就没有好结果，也就导致了model bias。