Python 数据统计分析全攻略：从基础到实战，一文掌握常用方法

在数据分析、机器学习、业务报表开发等场景中数据统计分析是核心基础环节。Python 凭借丰富的第三方库成为数据统计分析的首选工具。本文将系统梳理 Python 中数据统计分析的常用方法、核心库、实战代码从基础统计量到高级分析覆盖新手到进阶的全场景需求适合数据分析初学者、开发人员快速上手。一、Python 统计分析核心库介绍Python 做统计分析无需从零编写算法三大核心库覆盖 90% 以上场景NumPy底层数值计算库提供数组运算、基础统计函数是所有数据分析库的基础Pandas表格型数据处理神器支持数据读取、清洗、分组统计、描述性分析日常统计分析主力Scipy专业科学计算库提供概率分布、假设检验、相关性分析等高级统计功能。源码分享网https://svipm.com.cn描述上千款各行各业的源码安装命令一键安装bash运行pip install numpy pandas scipy二、基础数据准备读取与预处理统计分析的第一步是数据加载 清洗Pandas 是最佳选择支持 CSV、Excel、数据库等多种数据源。1. 数据读取python运行import pandas as pd import numpy as np # 读取CSV文件最常用 df pd.read_csv(data.csv) # 读取Excel文件 # df pd.read_excel(data.xlsx) # 查看数据前5行快速预览数据结构 print(数据预览) print(df.head())2. 数据基础信息查看python运行# 1. 查看数据维度行数、列数 print(数据形状, df.shape) # 2. 查看列名、数据类型、缺失值 print(\n数据基础信息) df.info() # 3. 查看缺失值数量 print(\n各列缺失值统计) print(df.isnull().sum())3. 数据清洗统计分析前提缺失值、异常值会导致统计结果失真必须预处理python运行# 1. 删除含缺失值的行 df df.dropna() # 2. 用均值/中位数填充数值型缺失值 df[age].fillna(df[age].mean(), inplaceTrue) # 3. 去除重复数据 df df.drop_duplicates()三、描述性统计分析核心基础描述性统计用于快速了解数据整体特征包括集中趋势、离散程度、分布形态是所有分析的起点。1. Pandas 一键生成描述统计describe()方法自动生成均值、标准差、分位数、最值等核心指标一行代码搞定基础统计python运行# 对所有数值型列生成描述统计 print(数值型数据描述性统计) print(df.describe()) # 对指定列做统计 print(\n指定列score描述统计) print(df[score].describe())2. 单独计算核心统计量除了一键生成还可单独提取需要的统计指标表格统计量函数作用均值mean()数据平均水平中位数median()数据中间值抗异常值众数mode()出现次数最多的值标准差std()数据离散程度方差var()数据波动程度最大值 / 最小值max()/min()数据边界四分位数quantile()数据分布区间实战代码python运行# 以分数列为例 score df[score] print(均值, score.mean()) print(中位数, score.median()) print(众数, score.mode()[0]) # 取第一个众数 print(标准差, round(score.std(), 2)) print(25%分位数, score.quantile(0.25)) print(75%分位数, score.quantile(0.75))3. 频数统计分类数据针对性别、学历、类别等非数值型数据统计各类别出现次数python运行# 统计性别分布 print(性别频数统计) print(df[gender].value_counts()) # 统计占比百分比 print(\n性别占比) print(df[gender].value_counts(normalizeTrue) * 100)四、分组统计分析业务高频场景实际业务中常需要按类别分组统计如按部门统计薪资、按班级统计成绩Pandas 的groupby是核心工具。1. 单字段分组统计python运行# 按性别分组计算分数的均值、最大值、最小值 group_stats df.groupby(gender)[score].agg( 平均分数mean, 最高分数max, 最低分数min, 人数count ) print(按性别分组统计分数) print(group_stats.round(2))2. 多字段分组统计python运行# 按性别班级分组统计分数 multi_group df.groupby([gender, class])[score].mean() print(\n多字段分组统计) print(multi_group.unstack()) # 格式化输出五、高级统计分析相关性与假设检验完成基础统计后进阶分析可挖掘数据间的关系、验证业务假设Scipy 库是核心。1. 相关性分析分析两个变量的线性关系如身高与体重、广告投入与销量取值范围[-1,1]绝对值越接近 1相关性越强正数正相关负数负相关。python运行# 1. Pandas计算相关系数矩阵 print(变量相关性矩阵) corr_matrix df[[age, score, income]].corr() print(corr_matrix) # 2. Scipy精确计算相关系数显著性p值 from scipy.stats import pearsonr # 计算年龄和分数的相关性 corr, p_value pearsonr(df[age], df[score]) print(f\n年龄与分数相关系数{round(corr,2)}p值{round(p_value,4)}) # p0.05 表示相关性显著2. 假设检验T 检验验证两组数据是否存在显著差异如男女成绩是否有差异python运行from scipy.stats import ttest_ind # 分组数据 male_score df[df[gender]男][score] female_score df[df[gender]女][score] # 独立样本T检验 t_stat, p_value ttest_ind(male_score, female_score) print(fT统计量{round(t_stat,2)}p值{round(p_value,4)}) # 结果判断 if p_value 0.05: print(男女分数存在显著差异) else: print(男女分数无显著差异)3. 数据分布检验判断数据是否符合正态分布机器学习、统计检验的前提python运行from scipy.stats import shapiro # Shapiro正态性检验 stat, p_value shapiro(df[score]) if p_value 0.05: print(分数数据符合正态分布) else: print(分数数据不符合正态分布)六、数据可视化让统计结果更直观统计分析离不开可视化Matplotlib/Seaborn 快速绘制图表python运行import matplotlib.pyplot as plt import seaborn as sns # 设置中文显示 plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False # 1. 直方图查看数据分布 plt.figure(figsize(10,4)) plt.subplot(1,2,1) sns.histplot(df[score], kdeTrue) plt.title(分数分布直方图) # 2. 箱线图查看异常值 plt.subplot(1,2,2) sns.boxplot(xgender, yscore, datadf) plt.title(男女分数箱线图) plt.tight_layout() plt.show() # 3. 热力图展示相关性 plt.figure(figsize(8,6)) sns.heatmap(corr_matrix, annotTrue, cmapcoolwarm) plt.title(变量相关性热力图) plt.show()七、完整实战案例结合以上方法做一个完整的学生成绩统计分析python运行# 1. 导入库 import pandas as pd import numpy as np from scipy.stats import pearsonr, ttest_ind import matplotlib.pyplot as plt import seaborn as sns # 2. 数据加载与清洗 df pd.read_csv(student_score.csv) df df.dropna().drop_duplicates() # 3. 描述性统计 print( 成绩描述统计 ) print(df[score].describe().round(2)) # 4. 分组统计 print(\n 班级成绩统计 ) print(df.groupby(class)[score].agg([mean, max, min]).round(2)) # 5. 相关性分析 corr, p pearsonr(df[study_time], df[score]) print(f\n学习时长与成绩相关系数{round(corr,2)}) # 6. 可视化 plt.figure(figsize(12,5)) sns.boxplot(xclass, yscore, datadf) plt.title(各班级成绩分布) plt.show()八、总结Python 数据统计分析核心逻辑数据清洗 → 描述统计 → 分组分析 → 进阶检验 → 可视化对应工具基础数据处理Pandas必学数值计算NumPy高级统计Scipy可视化Matplotlib/Seaborn。本文覆盖了日常工作中 90% 的统计分析场景从基础函数到实战代码新手可直接复制使用进阶可在此基础上拓展机器学习、时间序列分析等场景。 原创不易欢迎点赞、收藏、关注后续会更新 Python 数据分析进阶实战