Python统计假设检验17种方法速查与应用指南

## 1. 统计假设检验的核心价值与应用场景 统计假设检验是数据分析师和研究人员最常使用的工具之一。在Python生态中借助SciPy、StatsModels等库我们可以快速实现各类检验方法。实际工作中经常遇到这样的场景产品经理拿着AB测试数据问你这个转化率提升显著吗或者临床研究人员需要确认新药组和对照组的疗效差异是否具有统计学意义。这时候就需要选择合适的假设检验方法。 我整理了一份包含17种常用检验方法的速查表Cheat Sheet覆盖从正态性检验到非参数检验的常见需求。这份清单特别适合放在手边随时查阅当你不确定该用T检验还是Mann-Whitney U检验时可以快速找到答案。下面我会详细解释每种方法的适用条件、实现代码以及实际应用中的注意事项。 ## 2. 参数检验方法详解 ### 2.1 正态分布检验 在决定使用参数检验还是非参数检验前必须先检查数据是否符合正态分布。常用的检验方法有 python from scipy import stats # Shapiro-Wilk检验适合小样本 stat, p stats.shapiro(data) # Anderson-Darling检验适合大样本 result stats.anderson(data) # Kolmogorov-Smirnov检验 stat, p stats.kstest(data, norm)重要提示当p值小于0.05时通常认为数据不服从正态分布。但样本量大于50时Shapiro检验可能过于敏感建议改用Anderson-Darling检验。2.2 均值比较检验单样本T检验用于检验样本均值与已知值的差异t_stat, p_val stats.ttest_1samp(sample, popmean)独立样本T检验比较两组独立样本的均值差异t_stat, p_val stats.ttest_ind(group1, group2)配对T检验用于前后测设计或配对样本t_stat, p_val stats.ttest_rel(before, after)实际经验当方差齐性不满足时可用Levene检验判断应设置equal_varFalse参数使用Welch校正。3. 非参数检验方法精讲3.1 秩和检验当数据不满足正态分布时Mann-Whitney U检验是独立T检验的非参数替代u_stat, p_val stats.mannwhitneyu(group1, group2)对应的配对版本是Wilcoxon符号秩检验stat, p_val stats.wilcoxon(before, after)3.2 Kruskal-Wallis检验单因素方差分析的非参数版本适用于多组比较h_stat, p_val stats.kruskal(*groups)4. 方差分析与相关性检验4.1 单因素方差分析(ANOVA)f_stat, p_val stats.f_oneway(*groups)4.2 重复测量方差分析需要借助StatsModels实现import statsmodels.api as sm from statsmodels.formula.api import ols model ols(score ~ C(time) C(subject), data).fit() anova_result sm.stats.anova_lm(model, typ2)4.3 相关性检验Pearson相关系数线性相关r, p stats.pearsonr(x, y)Spearman秩相关单调关系rho, p stats.spearmanr(x, y)5. 比例检验与卡方检验5.1 比例检验比较样本比例与理论值count 55 # 成功次数 nobs 100 # 总试验数 value 0.5 # 理论比例 stat, p_val stats.binom_test(count, nobs, value)5.2 卡方检验适合性检验观察频数vs期望频数stat, p_val stats.chisquare(f_obs, f_exp)独立性检验列联表分析stat, p_val, dof, expected stats.chi2_contingency(table)6. 实用速查表与决策流程6.1 检验方法选择流程图数据类型比较目标方法选择连续变量单样本均值Shapiro → T检验/Mann-Whitney连续变量两独立组方差齐性 → T检验/Welch检验分类变量比例差异卡方检验/Fisher精确检验6.2 完整17种检验清单Shapiro-Wilk正态性检验Kolmogorov-Smirnov检验Anderson-Darling检验单样本T检验独立样本T检验配对样本T检验Levene方差齐性检验Mann-Whitney U检验Wilcoxon符号秩检验Kruskal-Wallis检验Friedman检验单因素ANOVA重复测量ANOVAPearson相关性检验Spearman相关性检验二项比例检验卡方独立性检验7. 实际应用中的常见陷阱7.1 多重比较问题当进行多次检验时假阳性率会显著上升。解决方法包括Bonferroni校正将显著性水平α除以检验次数使用FDR错误发现率控制方法from statsmodels.stats.multitest import multipletests reject, pvals_corrected, _, _ multipletests(pvals, methodbonferroni)7.2 样本量不足小样本情况下n30非参数检验的效能可能不足。建议优先考虑参数检验如T检验如必须使用非参数方法可考虑增加样本量报告效应量effect size而不仅是p值7.3 效应量计算除了p值还应报告效应量指标Cohens dT检验Eta-squaredANOVACramers V卡方检验# 计算Cohens d def cohen_d(x,y): nx, ny len(x), len(y) dof nx ny - 2 return (np.mean(x) - np.mean(y)) / np.sqrt(((nx-1)*np.std(x)**2 (ny-1)*np.std(y)**2) / dof)我在实际项目中发现很多分析师只关注p值是否小于0.05却忽略了效应量大小。一个统计显著但效应量很小的结果在实际应用中可能毫无意义。建议在报告中同时呈现p值和效应量指标并给出专业解释。