从房价预测到模型选择：手把手教你用sklearn玩转线性回归、岭回归和Lasso回归

房价预测实战线性回归与正则化模型的选择艺术在数据科学领域预测建模往往面临一个关键抉择如何在保持模型简单性的同时确保预测的准确性当我们处理像波士顿房价这样的结构化数据集时线性模型因其可解释性和计算效率成为首选。但面对多重共线性、特征冗余等问题时普通线性回归可能力不从心。本文将带您深入探索三种核心线性模型——普通线性回归、岭回归(Ridge)和Lasso回归——在房价预测中的实战应用揭示模型选择的底层逻辑。1. 数据准备与基线模型构建波士顿房价数据集包含13个特征变量和1个目标变量(房价中位数)是练习回归模型的经典选择。让我们先建立数据处理的标准化流程import pandas as pd from sklearn.datasets import fetch_openml from sklearn.model_selection import train_test_split # 加载数据集 boston fetch_openml(nameboston, version1) df pd.DataFrame(boston.data, columnsboston.feature_names) df[PRICE] boston.target # 划分训练测试集 X_train, X_test, y_train, y_test train_test_split( df.drop(PRICE, axis1), df[PRICE], test_size0.2, random_state42 )建立基线模型时普通线性回归是我们的起点。这个看似简单的模型实际上蕴含了几个关键假设线性关系特征与目标变量间存在线性关联同方差性误差项的方差恒定无自相关误差项间相互独立无多重共线性特征间高度相关会扭曲系数估计评估模型时我们采用三个核心指标指标公式特点MAE$\frac{1}{n}\sum|y-\hat{y}|$对异常值不敏感MSE$\frac{1}{n}\sum(y-\hat{y})^2$惩罚大误差R²$1-\frac{SS_{res}}{SS_{tot}}$解释方差比例from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score lr LinearRegression() lr.fit(X_train, y_train) # 评估表现 def evaluate_model(model, X, y): pred model.predict(X) return { MAE: mean_absolute_error(y, pred), MSE: mean_squared_error(y, pred), R2: r2_score(y, pred) } train_metrics evaluate_model(lr, X_train, y_train) test_metrics evaluate_model(lr, X_test, y_test)注意永远在测试集上评估最终模型性能训练集指标仅用于诊断过拟合2. 处理共线性岭回归实战当特征间存在高度相关性时普通线性回归的系数估计会变得极不稳定。这时岭回归通过L2正则化系数平方和惩罚来稳定模型$$\min_w |Xw - y|_2^2 \alpha |w|_2^2$$其中α控制正则化强度。选择合适的α值至关重要α太小正则化效果微弱α太大模型过于简单可能欠拟合sklearn提供了RidgeCV来自动选择最优αfrom sklearn.linear_model import RidgeCV # 尝试不同的α值 alphas [0.01, 0.1, 1, 10, 100] ridge RidgeCV(alphasalphas, cv5) ridge.fit(X_train, y_train) print(f最佳alpha值: {ridge.alpha_}) # 比较性能 ridge_metrics evaluate_model(ridge, X_test, y_test)实践中当出现以下情况时优先考虑岭回归特征间存在中等程度的相关性所有特征都有潜在预测价值需要更稳定的系数估计通过观察不同α值下的系数变化可以诊断数据中的共线性问题import matplotlib.pyplot as plt coefs [] alphas np.logspace(-3, 3, 100) for a in alphas: ridge Ridge(alphaa) ridge.fit(X_train, y_train) coefs.append(ridge.coef_) plt.figure(figsize(10, 6)) plt.plot(alphas, coefs) plt.xscale(log) plt.xlabel(Alpha (log scale)) plt.ylabel(Coefficient Value) plt.title(Ridge Coefficients vs Regularization Strength) plt.show()3. 特征选择利器Lasso回归解析当数据集包含许多特征但只有部分真正有用时Lasso回归的L1正则化系数绝对值之和可以自动执行特征选择$$\min_w \frac{1}{2n} |Xw - y|_2^2 \alpha |w|_1$$Lasso的关键特性是能够产生稀疏解——将不重要特征的系数精确压缩为零。这在特征数量多但相关特征少的场景尤其宝贵。from sklearn.linear_model import LassoCV # 使用内置交叉验证选择alpha lasso LassoCV(cv5, random_state42) lasso.fit(X_train, y_train) print(f选择的alpha值: {lasso.alpha_}) print(f非零特征数量: {sum(lasso.coef_ ! 0)}) lasso_metrics evaluate_model(lasso, X_test, y_test)Lasso回归特别适用于高维数据集特征数样本数存在大量无关特征的情况需要简化模型解释的场景通过观察系数路径我们可以直观理解Lasso的选择过程alphas np.logspace(-3, 0, 100) coefs [] for a in alphas: lasso Lasso(alphaa) lasso.fit(X_train, y_train) coefs.append(lasso.coef_) plt.figure(figsize(10, 6)) plt.plot(alphas, coefs) plt.xscale(log) plt.xlabel(Alpha (log scale)) plt.ylabel(Coefficient Value) plt.title(Lasso Coefficients vs Regularization Strength) plt.legend(boston.feature_names) plt.show()4. 模型选择策略与实战建议面对三种线性模型如何做出明智选择以下决策框架可供参考初步诊断检查特征相关性矩阵计算条件数评估共线性观察普通线性回归的系数稳定性模型选择标准若所有特征都有价值 → 岭回归若需要特征选择 → Lasso回归若数据干净且特征少 → 普通线性回归交叉验证实践from sklearn.pipeline import make_pipeline from sklearn.preprocessing import StandardScaler from sklearn.model_selection import cross_validate models { Linear: LinearRegression(), Ridge: RidgeCV(alphas[0.1, 1, 10]), Lasso: LassoCV(cv5) } results {} for name, model in models.items(): pipe make_pipeline(StandardScaler(), model) cv_results cross_validate(pipe, X_train, y_train, cv5, scoring[neg_mean_absolute_error, r2]) results[name] { MAE: -cv_results[test_neg_mean_absolute_error].mean(), R2: cv_results[test_r2].mean() }最终评估矩阵对比模型测试MAE测试R²特征数训练时间线性回归3.190.71130.01s岭回归3.120.73130.02sLasso回归3.250.7090.05s提示实际项目中Lasso常作为特征选择的第一步筛选后的特征可输入其他复杂模型5. 高级技巧与陷阱规避**弹性网络(Elastic Net)**结合了L1和L2正则化适用于当特征高度相关且数量多于样本数的情况from sklearn.linear_model import ElasticNetCV en ElasticNetCV(l1_ratio[.1, .5, .7, .9, .95, .99, 1], cv5) en.fit(X_train, y_train) print(f选择的l1_ratio: {en.l1_ratio_})标准化预处理对正则化模型至关重要因为正则化对系数大小敏感from sklearn.preprocessing import StandardScaler from sklearn.pipeline import Pipeline pipeline Pipeline([ (scaler, StandardScaler()), (model, RidgeCV()) ])常见陷阱包括忽略特征缩放导致正则化偏差过度依赖自动α选择而未手动验证未检查模型假设线性、同方差等在特征工程前过早应用正则化可视化诊断工具能帮助发现问题# 残差图检查同方差性 pred lr.predict(X_test) residuals y_test - pred plt.figure(figsize(10, 6)) plt.scatter(pred, residuals) plt.axhline(y0, colorr, linestyle--) plt.xlabel(Predicted Values) plt.ylabel(Residuals) plt.title(Residual Plot) plt.show()在真实业务场景中模型选择还需考虑部署环境对模型大小的限制预测延迟要求特征获取成本模型解释性需求