过拟合、验证集、交叉验证

过拟合

简单描述：训练集误差小，测试集误差大，模型评估指标的方差（variance）较大；
判断方式：
1、观察 train set 和 test set 的误差随着训练样本数量的变化曲线。
2、通过training accuracy 和 test accuracy 数值大小，直观的判断模型是否过拟合。
过拟合原因：数据，模型。 1、模型复杂度过高 2、训练数据过少 3、数据噪声较大
如果，数据质量较高，并且呈现出某种特有的“规律”，那么对于新数据，模型具有非常好的泛化能力。
解决方式：
1、重新清洗数据(删除稀疏特征、对噪声数据进行处理)
2、重新采样（改变采样方法等）
3、增加训练数据
4、采用交叉验证训练模型
5、重新筛选特征
6、降低模型复杂度（增加正则项：L1、L2）
7、dropout (让神经元一定概率不工作)。

你真的了解交叉验证和过拟合吗？

验证集

作用：1、评估模型效果 2、调整超参数
调整超参数： 调整模型参数，需要用到训练集，测试集最终评估；
调整模型参数，训练集，调整超参数，验证集，测试集最终评估。
多一种参数调节，多一种验证集，不调超参数就不用验证集。
评估模型效果：
观察验证集准确率收敛情况，及时终止。
虽然也可以观察拟合情况，但很多时候未必有用。因为你的验证集毕竟出自训练集
（训练集=子训练集+验证集），训练集里的噪音验证集也一并继承，所以你有时可能会发现这样一种情况：训练集和验证集准确率都非常高（90%以上），测试集却低得惊掉下巴。

深度学习的验证集怎么用？

交叉验证

核心思想：对数据集进行多次划分，对多次评估的结果取平均，从而消除单次划分时数据划分得不平衡而造成的不良影响。因为这种不良影响在小规模数据集上更容易出现，所以交叉验证方法在小规模数据集上更能体现出优势。
交叉验证不同作用时方式不同：
1、模型选择，即选择超参数
方式：数据集需要划分成训练集、验证集、测试集三部分，训练集和验证集的划分采用N折交叉的方式。
过程：
首先在训练集和验证集上对多种模型选择（超参数选择）进行验证，选出平均误差最小的模型（超参数）。选出合适的模型（超参数）后，可以把训练集和验证集合并起来，在上面重新把模型训练一遍，得到最终模型，然后再用测试集测试其泛化能力。
(这个验证集是不是只需要在训练完成之后，最后验证一下得到精度，而不需要每训练几个epoch，验证一次，选择中间验证精度最高的。)

2、模型评估
模型是确定的，没有多个候选模型需要选，只是用交叉验证的方法来对模型的performance进行评估。
数据集被划分成训练集、测试集两部分，训练集和测试集的划分采用N折交叉的方式。
这种情况下没有真正意义上的验证集，可以叫做”交叉测试“。

交叉验证与过拟合的关系：
1、当用交叉验证进行模型选择时，可以从多种模型中选择出泛化能力最好的（即最不容易发生过拟合）的模型。从这个角度上讲，交叉验证是避免发生过拟合的手段。
2、当用交叉验证进行模型评估时，交叉验证不能解决过拟合问题，只能用来评估模型的performance。

交叉验证优缺点：
优点：获得对模型更合理更准确的评估，尤其是数据集很小时，更能体现出这个优势。
缺点：增加了计算量。

N折交叉验证的作用（如何使用交叉验证）