sklearn线性回归--岭回归

岭回归也是一种用于回归的线性模型，因此它的预测公式与普通最小二乘法相同。但在岭回归中，对系数（w）的选择不仅要在训练数据上得到好的预测结果，而且还要拟合附加约束，使系数尽量小。换句话说，w的所有元素都应接近于0。直观上来看，这意味着每个特征对输出的影响应尽可能小（即斜率很小），同时仍给出很好地预测结果。这种约束就是正则化。正则化是指对模型做显示约束，以避免过拟合。岭回归用到的这种被称为L2正则化。下面来看一下岭回归对波士顿房价数据集的效果如何（该数据集的介绍见链接: link）：

由上图可以看出，Ridge模型在训练集上的分数要低于LinearRegression，但在测试集上的分数更高。线性回归对数据存在过拟合。Ridge是一种约束更强的模型，所以更不容易过拟合。复杂度更小的模型意味着在训练集上的性能更差，但泛化性能更好。由于我们只对泛化性能感兴趣，所以应该选择Ridge而不是LinearRegression模型。
Ridge模型在模型的简单性（系数都接近于0）与训练集性能之间做出权衡。简单性和训练集性能二者对于模型的重要程度可以由用户通过设置alpha参数来指定。在前面的例子中，我们用的是默认参数alpha=1.0。但没有理由认为这会给出最佳权衡。alpha的最佳设定值取决于用到的具体数据集。增大alpha会使得系数更加趋向于0，从而降低训练集性能，但可能会提高泛化性能。例如：

减小alpha可以让系数受到的限制更小。对于非常小的alpha值（比如0.1），系数几乎没有受到限制，我们得到一个与LinearRegression类似的模型。