ML 系列：机器学习和深度学习的深层次总结(08)—欠拟合、过拟合，正确拟合

ML 系列赛：第 9 天 — Under、Over 和 Good Fit

一、说明

在有监督学习过程中，对于指定数据集进行训练，训练结果存在欠拟合、过拟合的情况，这两个情况都对模型的泛化是不利的，本篇对监督学习的训练的泛化问题进行解释。

二、了解欠拟合、过拟合和实现正确的平衡

在监督式学习中，数据集由输入和输出组成，监督式学习算法学习如何以最佳方式将输入示例映射到输出示例。这个函数是一个数学函数，也叫映射函数，监督学习算法试图找到最合适的函数，换句话说，监督学习被称为函数的近似。在监督学习问题中，我们假设输入和输出数据之间存在未知函数或关系，监督机器学习算法试图近似这个函数。虽然我们假设存在这样的映射函数，但我们对此一无所知，这就是为什么我们称它为近似值。

将输入映射到输出的 True 函数（实际函数）是未知的，通常称为目标（或目标）函数，学习过程的目标是仅使用可用数据（训练数据）来近似目标函数。如果我们知道目标函数，就不需要近似监督机器学习算法。

在机器学习中，从训练数据中学习目标函数被描述为归纳学习。归纳是指从具体示例中学习一般概念，是机器学习旨在解决的问题。同时，在演绎学习中，我们正在寻找从一般规则中学习特定概念。

三、关于泛化

泛化是一种抽象形式，其中特定实例的共同特征被表述为一般概念。机器学习中的泛化是指将模型在学习过程中学到的概念转移到学习过程中没有见过的例子中，机器学习模型的目标是将从训练过程中学到的知识泛化到模型从未见过的数据中。泛化在许多情况下与知识的传递直接相关，要传递的知识通常被称为抽象。

图 1 显示了泛化的一般概念。

图 1.泛化的一般形式
图 1 意味着我们希望算法对单个树不敏感，而是学习上图所示的树的抽象概念。

四、欠拟合

欠拟合是指我们的模型非常简单且几乎没有复杂性，可以近似一个可以在数据上训练并产生合适结果的函数。换句话说，我们关于数据分布的假设是错误的，而且过于简单化。例如，我们的数据需要 4 次多项式函数，但我们选择的模型是 1 次的函数。这种情况也称为高偏置。这意味着我们的数据太难了，模型无法正确预测，即使是在训练期间已经看到的样本上也是如此。

欠拟合是一个在训练和测试过程中都表现不佳的模型，并且它不能很好地泛化到新数据上。可能的解决方案包括：

• 选择功能更强大的模型，具有更多参数

• 为学习算法选择更好的特征（特征工程）

• 减少模型限制 （例如，减少 “正则化” 约束）

五、过拟合

过拟合也称为模型对于我们打算训练模型的数据来说过于复杂的情况。换句话说，我们关于数据分布的假设是错误的，而且非常复杂。例如，我们的数据是线性的，而我们选择的模型是高阶多项式。这种情况也称为高方差，这意味着算法无法做出准确的预测。

当模型不仅在训练数据上表现良好，而且在很大程度上学习了训练数据中的细节和噪声（对训练数据过度泛化），但模型在测试数据（模型看不到的数据）上的泛化性能非常弱时，就会发生过拟合。

换句话说，训练数据中的噪声或随机波动被模型选择并作为概念学习，问题是这些概念损害了模型的泛化能力。

当模型与数据的复杂度之比非常高时，就会发生过拟合，在可能的解决方案中可以提到以下内容：

• 简化模型并选择参数较少的模型 （例如，线性模型而不是高阶多项式）。

• 减少训练数据中的特征数量

• 限制模型并向模型添加限制，例如“正则化”技术

• 收集更多训练数据

• 减少训练数据中的噪声（例如，消除数据错误和去除异常值）

六、适度拟合

理想情况下，我们希望在过拟合和欠拟合之间的合适点选择一个模型，并且当训练数据和测试数据的误差最小时，调用适当的模型。

为了获得正确的观点，您可以同时查看模型在训练和测试数据上的加班性能。随着时间的推移，随着算法学会减少训练数据上的模型误差，测试数据集上的误差也会减少。如果我们长时间训练模型，模型在训练数据集上的性能可能会继续下降（因为模型过度拟合训练数据，训练数据集中不相关的细节和噪声学习），同时，随着模型的泛化能力下降，测试集误差再次开始增加。最佳点是在测试数据集上的误差开始增长之前，此时模型在训练数据集和测试数据集上都具有良好的技能。图 2 显示了根据误差图的过拟合、欠拟合和良好拟合的概念，其中横轴是指模型的复杂程度，纵轴是指误差量。此外，黄线表示测试数据中的错误，蓝线表示模型在训练过程中的错误。

图 2.根据误差图进行过拟合、欠拟合和正确拟合
图 3 显示了训练后过拟合、欠拟合和正确拟合的概念，以及如何预测模型。

图 3.训练后的过拟合、欠拟合和良好拟合以及如何预测模型

七、结论

在第 9 部分中，我们讨论了与模式泛化相关的三个重要概念 Underfit、Overfit 和 Good-fit;。在第 10 部分：机器学习系列：第 10 天 — 偏差方差权衡中，我们将定义并讨论偏差-方差权衡，它描述了模型的复杂性、预测的准确性以及它对以前未用于训练模型的数据进行预测的能力之间的关系。