模块三-数据清洗与预处理——15. 异常值检测与处理

15. 异常值检测与处理1. 概述异常值Outlier是指与其他观测值显著不同的数据点。它们可能来自测量错误、数据录入错误也可能是真实的极端情况如高收入人群。正确识别和处理异常值对数据分析至关重要。importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportseabornassns# 设置中文字体plt.rcParams[font.sans-serif][SimHei,Arial Unicode MS,DejaVu Sans]plt.rcParams[axes.unicode_minus]False# 创建包含异常值的示例数据np.random.seed(42)dfpd.DataFrame({ID:range(1,101),年龄:np.random.normal(35,10,100).round(0),工资:np.random.normal(8000,2000,100).round(0),消费次数:np.random.poisson(10,100)})# 添加异常值df.loc[10,年龄]120# 年龄异常120岁df.loc[25,工资]50000# 工资异常极高df.loc[40,年龄]5# 年龄异常5岁df.loc[55,工资]500# 工资异常极低df.loc[70,消费次数]100# 消费次数异常print(原始数据:)print(df.head(15))print(f\n基本统计:)print(df[[年龄,工资,消费次数]].describe())2. 异常值检测方法2.1 描述性统计# 查看数据分布print(各列统计信息:)print(df[[年龄,工资,消费次数]].describe())# 观察 min 和 max 是否在合理范围print(f年龄范围:{df[年龄].min()}-{df[年龄].max()})print(f工资范围:{df[工资].min()}-{df[工资].max()})2.2 箱线图IQR方法IQR四分位距 Q3 - Q1通常将小于 Q1 - 1.5×IQR 或大于 Q3 1.5×IQR 的值视为异常。defdetect_outliers_iqr(data,column):使用 IQR 方法检测异常值Q1data[column].quantile(0.25)Q3data[column].quantile(0.75)IQRQ3-Q1 lower_boundQ1-1.5*IQR upper_boundQ31.5*IQR outliersdata[(data[column]lower_bound)|(data[column]upper_bound)]returnoutliers,lower_bound,upper_bound# 检测年龄异常值age_outliers,age_lower,age_upperdetect_outliers_iqr(df,年龄)print(f年龄正常范围: [{age_lower:.0f},{age_upper:.0f}])print(f年龄异常值数量:{len(age_outliers)})print(f年龄异常值:{age_outliers[年龄].tolist()})# 检测工资异常值salary_outliers,salary_lower,salary_upperdetect_outliers_iqr(df,工资)print(f\n工资正常范围: [{salary_lower:.0f},{salary_upper:.0f}])print(f工资异常值数量:{len(salary_outliers)})print(f工资异常值:{salary_outliers[工资].tolist()})2.3 Z-Score 方法Z-Score 表示数据点偏离均值的标准差倍数通常 |Z| 3 视为异常。defdetect_outliers_zscore(data,column,threshold3):使用 Z-Score 方法检测异常值z_scoresnp.abs((data[column]-data[column].mean())/data[column].std())outliersdata[z_scoresthreshold]returnoutliers,z_scores# 检测年龄异常值age_outliers_z,age_zdetect_outliers_zscore(df,年龄)print(f年龄 Z-Score 异常值数量:{len(age_outliers_z)})print(f年龄异常值:{age_outliers_z[年龄].tolist()})# 检测工资异常值salary_outliers_z,salary_zdetect_outliers_zscore(df,工资)print(f\n工资 Z-Score 异常值数量:{len(salary_outliers_z)})print(f工资异常值:{salary_outliers_z[工资].tolist()})2.4 可视化检测# 箱线图fig,axesplt.subplots(1,3,figsize(15,5))columns[年龄,工资,消费次数]fori,colinenumerate(columns):axes[i].boxplot(df[col])axes[i].set_title(f{col}箱线图)axes[i].set_ylabel(col)plt.tight_layout()plt.show()# 散点图plt.figure(figsize(10,6))plt.scatter(df[年龄],df[工资],alpha0.6)plt.xlabel(年龄)plt.ylabel(工资)plt.title(年龄 vs 工资 散点图)# 标记异常值age_outliers_idxage_outliers.index.tolist()plt.scatter(df.loc[age_outliers_idx,年龄],df.loc[age_outliers_idx,工资],colorred,s100,label年龄异常)salary_outliers_idxsalary_outliers.index.tolist()plt.scatter(df.loc[salary_outliers_idx,年龄],df.loc[salary_outliers_idx,工资],colororange,s100,markers,label工资异常)plt.legend()plt.show()3. 异常值处理方法3.1 删除异常值# 删除年龄异常的行df_cleandf[~df.index.isin(age_outliers.index)]print(f删除年龄异常前:{len(df)}行)print(f删除年龄异常后:{len(df_clean)}行)# 删除工资异常的行df_cleandf_clean[~df_clean.index.isin(salary_outliers.index)]print(f删除工资异常后:{len(df_clean)}行)3.2 截断/缩尾处理# 百分位数截断lower_bounddf[工资].quantile(0.01)upper_bounddf[工资].quantile(0.99)print(f1%分位数:{lower_bound:.0f}, 99%分位数:{upper_bound:.0f})df[工资_截断]df[工资].clip(lower_bound,upper_bound)print(\n截断后:)print(df[[工资,工资_截断]].head(10))# 比较原值和截断后的统计print(\n原工资统计:)print(df[工资].describe())print(\n截断后统计:)print(df[工资_截断].describe())3.3 替换异常值# 用中位数替换异常值median_agedf[年龄].median()df[年龄_替换]df[年龄].copy()df.loc[age_outliers.index,年龄_替换]median_ageprint(年龄替换:)print(df[[年龄,年龄_替换]].loc[age_outliers.index])# 用均值替换异常值mean_salarydf[工资].mean()df[工资_替换]df[工资].copy()df.loc[salary_outliers.index,工资_替换]mean_salaryprint(\n工资替换:)print(df[[工资,工资_替换]].loc[salary_outliers.index])4. 多维度异常检测4.1 业务规则检测# 定义业务规则defcheck_business_rules(df):基于业务规则的异常检测rules[]# 规则1年龄应在 18-70 之间rule1(df[年龄]18)|(df[年龄]70)rules.append((年龄超出业务范围,rule1))# 规则2工资应在 2000-50000 之间rule2(df[工资]2000)|(df[工资]50000)rules.append((工资超出业务范围,rule2))# 规则3消费次数应在 0-50 之间rule3(df[消费次数]0)|(df[消费次数]50)rules.append((消费次数超出业务范围,rule3))returnrules rulescheck_business_rules(df)forrule_name,rule_conditioninrules:violation_countrule_condition.sum()ifviolation_count0:print(f{rule_name}:{violation_count}条记录)print(df[rule_condition][[ID,年龄,工资,消费次数]])print()4.2 组合条件检测# 年龄与工资的组合异常如 18岁但工资 50000df[年龄工资比]df[工资]/df[年龄]unusualdf[(df[年龄]25)(df[工资]30000)]print(年龄25且工资30000的异常组合:)print(unusual[[ID,年龄,工资]])# 删除异常组合列dfdf.drop(年龄工资比,axis1)5. 完整示例销售数据异常检测# 创建销售数据np.random.seed(42)salespd.DataFrame({日期:pd.date_range(2024-01-01,periods200,freqD),销售额:np.random.normal(5000,1000,200).round(0),订单量:np.random.poisson(50,200),客单价:np.random.normal(100,20,200).round(0)})# 添加异常值sales.loc[15,销售额]30000# 异常高sales.loc[30,订单量]5# 异常低sales.loc[45,客单价]500# 异常高sales.loc[60,销售额]500# 异常低sales.loc[80,订单量]200# 异常高print(*60)print(销售数据异常检测与处理)print(*60)print(\n原始数据统计:)print(sales[[销售额,订单量,客单价]].describe())# 1. 使用 IQR 方法检测异常print(\n1. IQR 异常检测:)forcolin[销售额,订单量,客单价]:outliers,lower,upperdetect_outliers_iqr(sales,col)print(f{col}: 正常范围 [{lower:.0f},{upper:.0f}], 异常值{len(outliers)}个)# 2. 可视化异常fig,axesplt.subplots(1,3,figsize(15,5))fori,colinenumerate([销售额,订单量,客单价]):axes[i].boxplot(sales[col])axes[i].set_title(f{col}箱线图含异常)axes[i].set_ylabel(col)plt.tight_layout()plt.show()# 3. 处理异常值print(\n3. 异常值处理:)sales_cleansales.copy()forcolin[销售额,订单量,客单价]:Q1sales_clean[col].quantile(0.25)Q3sales_clean[col].quantile(0.75)IQRQ3-Q1 lowerQ1-1.5*IQR upperQ31.5*IQR# 截断处理sales_clean[col]sales_clean[col].clip(lower,upper)print(f处理前异常值:)print(f 销售额:{len(sales[(sales[销售额]lower)|(sales[销售额]upper)])})print(f处理后异常值:{len(sales_clean[(sales_clean[销售额]lower)|(sales_clean[销售额]upper)])})# 4. 处理前后对比print(\n4. 处理前后统计对比:)print(处理前:)print(sales[[销售额,订单量,客单价]].describe())print(\n处理后:)print(sales_clean[[销售额,订单量,客单价]].describe())6. 异常值处理决策流程发现异常值 │ ├─ 确认是数据错误 │ │ │ ├─ 能修正 → 根据正确值修正 │ ├─ 无法修正 → 删除 │ └─ 不确定 → 标记保留 │ ├─ 确认是真实极端值 │ │ │ ├─ 分析需要 → 保留 │ ├─ 模型敏感 → 截断/缩尾 │ └─ 需要平滑 → 替换均值/中位数 │ └─ 无法判断 │ ├─ 敏感分析 → 对比删除/保留的影响 └─ 标记列 → 添加异常标记字段7. 总结方法原理适用场景IQR 箱线图基于四分位距通用对分布假设要求低Z-Score基于标准差正态分布数据业务规则领域知识有明确范围约束可视化箱线图、散点图初步探索删除直接移除确定是错误数据截断/缩尾限制在百分位数内保留数据量替换用统计量替换减少异常影响