Python实战：用Statsmodels搞定简单线性回归（附NO浓度预测案例）

Python实战用Statsmodels搞定简单线性回归附NO浓度预测案例在数据分析领域线性回归是最基础却最实用的统计方法之一。无论你是市场分析师预测销售额还是环境科学家研究污染物分布掌握线性回归都能让你从数据中提取有价值的见解。本文将以空气质量预测为实际案例带你用Python的Statsmodels库完整实现简单线性回归分析从数据清洗到结果可视化手把手解决如何用代码实现统计理论的核心痛点。1. 环境准备与数据加载工欲善其事必先利其器。我们需要先配置好Python环境并安装必要的库。建议使用Anaconda创建独立环境避免包版本冲突conda create -n stats_env python3.8 conda activate stats_env pip install statsmodels pandas matplotlib seaborn假设我们有一个包含24个城市空气质量数据的CSV文件air_quality.csv数据结构如下城市编号车流量(千辆)气温(℃)湿度(%)风速(m/s)NO浓度(ppm)11.225.3681.50.042用pandas加载数据并初步观察import pandas as pd import matplotlib.pyplot as plt df pd.read_csv(air_quality.csv) print(df.head()) # 查看前5行 print(df.describe()) # 数值型变量统计摘要数据质量检查要点缺失值df.isnull().sum()异常值箱线图检查数据类型df.dtypes2. 探索性分析与变量关系在建模前我们需要理解数据特征和变量间关系。首先聚焦NO浓度与车流量的关系import seaborn as sns # 绘制散点图与趋势线 plt.figure(figsize(10,6)) sns.regplot(x车流量(千辆), yNO浓度(ppm), datadf) plt.title(车流量与NO浓度关系散点图) plt.xlabel(每小时车流量(千辆)) plt.ylabel(NO浓度(ppm)) plt.show()关键观察指标散点分布是否呈现线性趋势是否存在明显的离群点方差是否均匀异方差性检查计算皮尔逊相关系数定量评估线性关系强度corr df[[车流量(千辆), NO浓度(ppm)]].corr() print(f相关系数矩阵\n{corr})提示相关系数绝对值大于0.7通常认为强相关0.3-0.7中等相关小于0.3弱相关3. 构建简单线性回归模型现在用statsmodels构建NO浓度对车流量的回归模型。statsmodels提供两种API风格我们使用更接近R语言的公式APIimport statsmodels.formula.api as smf # 构建并拟合模型 model smf.ols(NO浓度(ppm) ~ 车流量(千辆), datadf) results model.fit() print(results.summary())模型输出包含三大部分模型概要R-squared、Adj. R-squared等系数表截距和斜率的估计值、标准误、t检验等其他检验F检验、Durbin-Watson等解读核心结果coef列截距(Intercept)和斜率(车流量)的估计值P|t|系数显著性检验p值通常0.05认为显著R-squared模型解释的变异比例4. 模型诊断与验证优秀的分析师不仅要会建模型更要会验证模型。我们需要检查线性回归的LINE假设# 绘制诊断图 fig plt.figure(figsize(12,8)) fig sm.graphics.plot_regress_exog(results, 车流量(千辆), figfig) plt.show() # 残差正态性检验 residuals results.resid sm.qqplot(residuals, lines) plt.title(残差Q-Q图) plt.show()四大假设验证方法线性(Linear)散点图趋势线检查残差与拟合值图应无规律模式独立性(Independence)Durbin-Watson检验(1.5-2.5可接受)时间序列数据需特殊处理正态性(Normal)Q-Q图上点应近似直线Shapiro检验(p0.05)等方差性(Equal variance)残差分布应均匀Breusch-Pagan检验(p0.05)当发现假设不满足时可能的解决方案数据转换(如对数变换)添加高阶项使用稳健回归方法5. 结果应用与可视化模型通过检验后就可以用于预测和决策支持。我们演示三个实用场景场景1预测新观测值的NO浓度# 预测车流量为1.5千辆时的NO浓度 new_data pd.DataFrame({车流量(千辆): [1.5]}) pred results.get_prediction(new_data) print(pred.summary_frame(alpha0.05)) # 95%置信区间场景2可视化回归线与置信区间# 生成预测区间数据 x_range pd.DataFrame({车流量(千辆): np.linspace(df[车流量(千辆)].min(), df[车流量(千辆)].max(), 100)}) pred_range results.get_prediction(x_range) pred_df pred_range.summary_frame(alpha0.05) # 绘制带置信区间的回归线 plt.figure(figsize(10,6)) plt.scatter(df[车流量(千辆)], df[NO浓度(ppm)], label实际观测) plt.plot(x_range, pred_df[mean], r, label回归线) plt.fill_between(x_range[车流量(千辆)], pred_df[obs_ci_lower], pred_df[obs_ci_upper], alpha0.2, label95%预测区间) plt.xlabel(车流量(千辆)) plt.ylabel(NO浓度(ppm)) plt.legend() plt.show()场景3控制NO浓度的车流量阈值假设环保标准要求NO浓度不超过0.1ppm计算最大允许车流量from sympy import symbols, solve, Eq a, b results.params max_no 0.1 x symbols(x) equation Eq(a b*x, max_no) max_traffic solve(equation, x)[0] print(f为控制NO浓度≤{max_no}ppm建议车流量不超过{max_traffic:.2f}千辆/小时)6. 进阶技巧与常见问题技巧1标准化回归系数比较重要性当自变量单位不同时可标准化后比较影响大小from sklearn.preprocessing import StandardScaler df_std df.copy() scaler StandardScaler() df_std[[车流量(千辆), NO浓度(ppm)]] scaler.fit_transform(df_std[[车流量(千辆), NO浓度(ppm)]]) model_std smf.ols(NO浓度(ppm) ~ 车流量(千辆), datadf_std) results_std model_std.fit() print(results_std.summary())技巧2处理离群值影响使用稳健回归减小离群值影响robust_model smf.rlm(NO浓度(ppm) ~ 车流量(千辆), datadf) robust_results robust_model.fit() print(robust_results.summary())常见问题解决方案问题现象可能原因解决方案R²很低但系数显著数据噪声大收集更多数据或寻找更好变量残差呈现非线性模式真实关系非线性尝试多项式或样条回归残差方差不均匀异方差性变量转换或使用稳健标准误DW检验值偏离2较多自相关时间序列模型或调整数据在实际项目中我经常发现初学者过度依赖p值判断模型质量。其实更应关注效应大小系数值和业务意义。比如车流量系数为0.05(p0.001)表示每增加1千辆车NO浓度平均上升0.05ppm这对城市规划可能具有实质意义。