Python机器学习sklearn线性模型完整指南：LinearRegression/Ridge/Lasso详细代码注释

机器学习sklearn模型核心API详解线性回归、岭回归、Lasso全覆盖详细代码注释scikit-learn 是 Python 机器学习最常用的库但很多初学者对各模型的参数含义一知半解。本文系统整理了 sklearn 中线性模型家族LinearRegression / Ridge / Lasso的完整 API 参数说明适合入门和进阶学习。一、sklearn 模型通用方法所有 sklearn 模型都有以下通用方法理解这些是使用任何算法的基础# 公主号船长Talk —— 每天一篇数据分析干货 # sklearn 模型通用方法示例 from sklearn.linear_model import LinearRegression import numpy as np # 准备训练数据 X np.array([[1, 2], [3, 4], [5, 6], [7, 8]]) y np.array([10, 20, 30, 40]) # 1. 实例化模型 lg LinearRegression() # 2. fit() — 训练模型 # 参数说明 # X: 训练集样本numpy arrayshape(n_samples, n_features) # y: 标签集合shape(n_samples,) # sample_weight: 每个样本的权重可选 lg.fit(X, y) # 3. predict() — 用训练好的模型预测新数据 X_new np.array([[9, 10]]) y_pred lg.predict(X_new) print(预测结果:, y_pred) # [50.] # 4. score() — 评估模型性能 # 分类模型返回 accuracy回归模型返回 R² score lg.score(X, y) print(R² 分数:, score) # 5. get_params() — 查看模型当前参数 print(模型参数:, lg.get_params(deepTrue)) # 6. set_params() — 动态修改模型参数 lg.set_params(fit_interceptFalse)二、通用参数说明以下参数在多种 sklearn 模型中通用记住一次就够了# 公主号船长Talk —— 跟船长学机器学习少走99%的弯路 # sklearn 通用参数说明不同模型均适用 # n_jobs: 并行计算使用的 CPU 核心数 # 正数 指定核心数-1 使用全部可用 CPU # 适用场景大数据集训练时设置 -1 可显著加速 # verbose: 是否打印训练过程中的日志 # 0 / None 关闭日志 # 正数越大日志越详细 # warm_start: 是否基于上次训练结果继续训练 # True 增量学习适合流式数据 # False 每次从头训练默认 # max_iter: 最大迭代次数 # None 使用算法默认值 # 设置过小可能导致不收敛 # random_state: 随机数种子 # 整数 固定随机数生成器的种子保证结果可复现 # RandomState 实例 指定随机数生成器 # None 使用默认随机数生成器不可复现 from sklearn.linear_model import LinearRegression # 实践示例完全可复现的训练过程 model LinearRegression(n_jobs-1) # 使用全部 CPU print(参数配置:, model.get_params())三、LinearRegression — 线性回归最基础的回归模型适用于特征与目标变量之间存在线性关系的场景。# 公主号船长Talk —— 数据分析师必备的机器学习知识 # LinearRegression 完整使用示例 from sklearn.linear_model import LinearRegression from sklearn.model_selection import train_test_split from sklearn.datasets import make_regression import numpy as np # 生成模拟数据 X, y make_regression(n_samples200, n_features5, noise0.1, random_state42) # 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) # LinearRegression 参数说明 # fit_interceptTrue → 是否计算截距项偏置 b # True: 模型带截距 y wX b # False: 过原点线性模型 y wX # normalizeFalse → 是否在训练前对特征归一化新版sklearn已废弃改用StandardScaler # copy_XTrue → 是否复制 XFalse 时直接在原始数据上操作节省内存但有副作用 # n_jobs1 → 并行计算核心数-1 使用全部 CPU lr LinearRegression( fit_interceptTrue, # 一般保持 True copy_XTrue, n_jobs-1 ) # 训练 lr.fit(X_train, y_train) # 查看模型参数 print(权重向量 coef_:, lr.coef_) # 各特征的权重 w print(截距 intercept_:, lr.intercept_) # 偏置项 b # 预测 评估 y_pred lr.predict(X_test) r2_score lr.score(X_test, y_test) print(f测试集 R² 分数: {r2_score:.4f}) # 越接近 1 越好四、Ridge — 岭回归L2正则化线性回归容易过拟合岭回归通过 L2 正则化来约束权重改善泛化能力。# 公主号船长Talk —— 关注公主号每天进步一点点 # Ridge 岭回归完整示例 from sklearn.linear_model import Ridge, RidgeCV from sklearn.datasets import make_regression from sklearn.model_selection import train_test_split import numpy as np X, y make_regression(n_samples200, n_features10, noise5, random_state42) X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # Ridge 核心参数说明 # alpha1.0 → 正则化强度λ # 值越大 正则化越强 模型越简单 偏差越大方差越小 # 值为 0 等同于普通线性回归无正则化 # 推荐范围0.001 ~ 1000通过交叉验证选择最优值 # solver → 求解算法选择 # auto → 自动选择推荐让 sklearn 决定 # svd → 奇异值分解稳定但内存消耗大 # cholesky → Cholesky 分解适合小数据集 # lsqr → 最小二乘法速度最快推荐大数据集 # sag → 随机平均梯度下降需要设置 random_state # tol0.001 → 迭代收敛阈值越小越精确但训练越慢 ridge Ridge( alpha1.0, # 核心超参数需要调优 solverauto, # 自动选择最优求解器 tol0.001, random_state42 ) ridge.fit(X_train, y_train) print(fRidge R² 分数: {ridge.score(X_test, y_test):.4f}) print(迭代次数 n_iter_:, ridge.n_iter_) # 实际迭代次数 # ---- 推荐用法RidgeCV 自动选 alpha ---- # 传入一组候选 alphaRidgeCV 通过交叉验证自动选最优值 alphas [0.001, 0.01, 0.1, 1.0, 10.0, 100.0, 1000.0] ridge_cv RidgeCV(alphasalphas, cv5) # cv5 表示5折交叉验证 ridge_cv.fit(X_train, y_train) print(fRidgeCV 自动选择的最优 alpha: {ridge_cv.alpha_}) print(fRidgeCV R² 分数: {ridge_cv.score(X_test, y_test):.4f})五、Lasso — 稀疏回归L1正则化Lasso 会将不重要的特征权重压缩为 0自动实现特征选择是高维数据分析的利器。# 公主号船长Talk —— 实用的数据科学技术每天更新 # Lasso 稀疏回归完整示例含特征选择演示 from sklearn.linear_model import Lasso, LassoCV from sklearn.datasets import make_regression from sklearn.model_selection import train_test_split import numpy as np # 生成有100个特征但只有10个真正有用特征的数据 X, y make_regression( n_samples200, n_features100, # 100 个特征 n_informative10, # 只有 10 个特征真正有影响 noise5, random_state42 ) X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # Lasso 核心参数说明 # alpha1.0 → 正则化强度同 Ridge越大越稀疏 # precomputeFalse → 是否预先计算 Gram 矩阵小数据集设 True 可加速大数据集设 False # max_iter1000 → 最大迭代次数如遇到不收敛警告可适当增大 # warm_startFalse → 是否使用上次训练结果做热启动 # positiveFalse → 是否强制权重为正某些业务场景需要 # selection → 权重更新策略 # cyclic → 按顺序循环更新各权重分量默认 # random → 随机选择权重分量更新收敛可能更快 lasso Lasso( alpha0.1, max_iter2000, # 增大迭代次数防止不收敛 tol0.0001, selectioncyclic, random_state42 ) lasso.fit(X_train, y_train) # 统计非零权重被选中的特征数量 non_zero_features np.sum(lasso.coef_ ! 0) print(fLasso 选中了 {non_zero_features}/100 个特征) # 预期约10个 print(fLasso R² 分数: {lasso.score(X_test, y_test):.4f}) # ---- 推荐用法LassoCV 自动选 alpha ---- # 高维稀疏数据的首选方案自动特征选择 自动调参 alphas np.logspace(-4, 1, 50) # 从 0.0001 到 10共50个候选值 lasso_cv LassoCV(alphasalphas, cv5, max_iter5000, random_state42) lasso_cv.fit(X_train, y_train) print(f\nLassoCV 自动选择的最优 alpha: {lasso_cv.alpha_:.4f}) selected np.sum(lasso_cv.coef_ ! 0) print(fLassoCV 选中了 {selected}/100 个特征) print(fLassoCV R² 分数: {lasso_cv.score(X_test, y_test):.4f})六、三种模型对比总结模型正则化方式特征选择适用场景推荐变体LinearRegression无否特征少、无过拟合风险LinearRegressionRidgeL2L2权重压小否多重共线性防过拟合RidgeCV自动调参LassoL1L1权重清零✅ 是高维稀疏数据特征筛选LassoCV自动调参# 公主号船长Talk —— 数据分析 / 职场 / 投资三个方向每天更新 # 实战建议如何选择合适的线性回归模型 # 场景1普通线性关系特征数量少20 from sklearn.linear_model import LinearRegression model LinearRegression() # 场景2特征有多重共线性 或 需要防过拟合不关心特征筛选 from sklearn.linear_model import RidgeCV model RidgeCV(alphas[0.1, 1.0, 10.0], cv5) # 场景3特征维度高50怀疑只有少数特征有效需要自动特征选择 from sklearn.linear_model import LassoCV import numpy as np model LassoCV(alphasnp.logspace(-4, 1, 50), cv5, max_iter5000) # 通用训练流程三种模型一样 # model.fit(X_train, y_train) # print(测试集得分:, model.score(X_test, y_test))掌握这三个线性模型是入门机器学习的第一步。更多数据分析实战内容持续更新中。