10 数据预处理-噪声数据与异常值处理

Python 数据分析入门一文搞懂噪声数据与异常值处理附 Pandas 实战适合人群Python 初学者 / 数据分析入门 / 数据预处理学习者 / 教学案例分享在做数据分析时很多人会先关注均值、中位数、标准差这些统计指标。但如果数据本身有问题那么后面的分析结果很可能从一开始就是“歪的”。比如某学生平时成绩一直在 80 分左右突然某次记录成了 10 分某学生考勤统计出现了 “出勤率 120%”某次实训成绩明显偏离班级整体水平一组数据整体都很正常只有个别值特别大或特别小这类情况在真实数据中非常常见。它们通常会引出一个非常关键的问题这些值到底是真实情况还是数据问题这篇文章就通过一个贴近实际的数据分析案例带你系统理解什么是噪声数据什么是异常值离群点噪声和异常值有什么区别为什么异常值不能一看见就删除如何用Pandas和可视化方法做初步检测一、为什么原始数据不能直接拿来分析很多初学者会有一个误区只要有数据就能直接分析。但现实中的数据往往并没有那么“干净”。真实数据通常会存在噪声不一致缺失值异常值也就是说现实世界中的原始数据大多不是理想状态而是需要先经过预处理才能用于后续分析 [2]。如果你忽略了这些问题可能会出现平均值被极端值拉偏图表结论失真后续建模效果变差对业务情况做出错误判断所以数据分析之前先做数据检查和清洗几乎是必须的一步。二、什么是噪声数据噪声数据可以简单理解为由于采集、传输、记录、存储等过程中的误差导致数据不准确。常见原因包括数据采集设备故障传输过程中出现错误存储介质损坏人工录入失误例如把 80 分录成 8 分把出勤率 100% 录成 120%把 26.5 录成 265这些都可能属于噪声数据。从本质上讲噪声更强调的是数据“有误差”或“不准确”三、什么是异常值异常值也叫离群点是指在一组数据中明显偏离其他数据分布范围的值。比如下面这组成绩[82,84,81,83,85,82,84,10,83,86]其中大多数数据都集中在 80 多分附近而10明显偏离整体分布这个值就很可能是异常值。在数据分析中异常值会严重干扰分析结果因此通常需要先检查数据中是否存在明显不合理的值 [2]。四、噪声数据和异常值有什么区别这两个概念很容易混淆但并不完全一样。你可以这样理解噪声数据强调的是数据不准确数据有误差数据来源有问题异常值强调的是和整体数据相比明显不一样在分布上“偏得太远”两者关系是有些异常值是噪声有些异常值不是噪声而是真实但特殊的数据例如成绩10可能是录错也可能是真实缺考出勤率120%更可能是错误数据销售额暴增可能是促销活动导致的真实现象所以一定要记住异常值不一定就是错误值。五、案例学生成绩里突然出现一个 10 分先看一组简单的数据scores[82,84,81,83,85,82,84,10,83,86]如果你只是肉眼看这串数据可能已经感觉到10有问题。但在数据分析中我们不能只凭感觉而是要尝试用更规范的方法来判断。常见的初步检测方法有散点图箱线图3σ 法则这些方法都适合初学者上手而且在实际工作中也很常见 [2]。六、方法一散点图快速找异常值散点图最大的优点就是直观如果某个值明显高于或低于其他值通常会在图上直接“跳出来”。示例代码importpandasaspdimportmatplotlib.pyplotasplt scores[82,84,81,83,85,82,84,10,83,86]dfpd.DataFrame({成绩:scores})plt.figure(figsize(8,4))plt.scatter(df.index,df[成绩],colorblue)plt.title(学生成绩散点图)plt.xlabel(学生编号)plt.ylabel(成绩)plt.grid(True)plt.show()如何理解结果大部分点集中在某一区域说明整体比较稳定如果某个点远离其他点它就可能是异常值在这个例子中10往往会非常明显。七、方法二箱线图判断异常值箱线图是数据分析中非常经典的异常值检测工具。它基于四分位数和四分位数极差 IQR 来判断异常值 [2]。基本规则先计算IQRQ3-Q1然后计算上下界下界Q1-1.5*IQR 上界Q31.5*IQR小于下界或大于上界的值通常可以视为异常值 [2]。示例代码plt.figure(figsize(6,4))plt.boxplot(df[成绩],vertTrue)plt.title(学生成绩箱线图)plt.ylabel(成绩)plt.show()如何看箱线图箱体表示中间 50% 的数据范围中间那条线表示中位数落在盒子外很远的单独点通常就是异常值这种方法非常适合课堂和初学者因为它能把“异常”可视化地展示出来。八、方法三3σ 法则3σ 法则适用于数据近似服从正态分布的场景 [2]。它的核心思想是如果一个值距离平均值超过 3 倍标准差那么它出现的概率非常小可以被视为异常值 [2]。判断条件如下xmean-3*std 或 xmean3*std示例代码meandf[成绩].mean()stddf[成绩].std()lowermean-3*std uppermean3*stdprint(均值,mean)print(标准差,std)print(下界,lower)print(上界,upper)outliersdf[(df[成绩]lower)|(df[成绩]upper)]print(异常值)print(outliers)注意3σ 法则不是万能的。如果数据分布本身就不接近正态分布结果可能不理想。所以对于初学者来说更建议先熟悉散点图箱线图再理解 3σ 法则。九、完整代码散点图 箱线图 3σ 法则下面是一份可以直接运行的完整示例代码importpandasaspdimportmatplotlib.pyplotasplt# 1. 构造数据scores[82,84,81,83,85,82,84,10,83,86]dfpd.DataFrame({成绩:scores})print( 原始数据 )print(df)# 2. 绘制散点图plt.figure(figsize(8,4))plt.scatter(df.index,df[成绩],colorblue)plt.title(学生成绩散点图)plt.xlabel(学生编号)plt.ylabel(成绩)plt.grid(True)plt.show()# 3. 绘制箱线图plt.figure(figsize(6,4))plt.boxplot(df[成绩],vertTrue)plt.title(学生成绩箱线图)plt.ylabel(成绩)plt.show()# 4. 使用3σ法则检测异常值meandf[成绩].mean()stddf[成绩].std()lowermean-3*std uppermean3*stdprint(\n 3σ 法则检测 )print(均值,mean)print(标准差,std)print(下界,lower)print(上界,upper)outliersdf[(df[成绩]lower)|(df[成绩]upper)]print(异常值如下)print(outliers)十、发现异常值后一定要删吗不一定。这是最容易误判的地方。很多人看到异常值第一反应是“删掉就完了。”但更合理的思路应该是1保留如果这个值是真实发生的就应该保留。例如学生真的缺考只得了 10 分某天销量真的暴涨2修正如果明确是错误录入、单位错误、计算错误可以修正。例如出勤率 120% 明显不合理成绩 800 多半是录错3删除如果确认数据错误而且无法修正可以删除。4人工核查如果暂时无法判断就先标记出来后续核查。所以更科学的原则是先识别再判断最后处理。十一、平滑噪声的常见思路除了直接识别异常值在处理噪声数据时还有一些常见思路1. 分箱把数据分成若干区间再用区间内的均值、中位数等方式进行平滑处理。适合有序数据想减少局部波动的数据场景2. 回归用拟合函数来表示整体趋势对偏离趋势太大的值进行观察和处理。适合有明显趋势的数据时间序列或连续变化数据3. 离群点分析通过统计方法或聚类等方式识别明显偏离整体分布的数据。适合需要系统判断异常点的数据场景对于初学者来说这里先建立概念即可。实际入门时优先掌握散点图、箱线图和简单统计方法就够用了。十二、最容易踩的坑坑1把异常值都当成错误值不对。异常值只是“偏离整体”不代表一定错误。坑2一发现异常值就删除这也是常见误区。如果异常值是真实业务现象删除反而会丢失重要信息。坑3只看一种方法就下结论更稳妥的做法是结合图表观察统计规则业务背景一起判断。坑4不会解释异常值真正的数据分析不只是“找出来”还要回答为什么异常是真实情况还是错误值应该如何处理处理后会不会影响结论十三、这部分知识有什么实际用处异常值处理在很多任务中都非常关键比如数据清洗数据可视化建模前处理聚类分析离群点分析因为异常值会严重干扰分析结果所以在正式分析前先检查异常数据几乎是非常必要的一步 [2]。也就是说如果不会识别异常值后面的很多分析结果都可能不可靠。十四、给初学者的记忆口诀这部分内容可以先记住这 4 句话异常值是明显偏离整体的数据不一定就是错误值。噪声更强调不准确异常值更强调偏离分布。散点图、箱线图、3σ 法则是常见的初步检测方法 [2]。先发现再判断最后处理不要一上来就删数据。十五、课后练习适合课堂 / 自学练习 1基础题已知一组成绩数据scores[78,80,82,79,81,83,80,10,82,79]请完成绘制散点图绘制箱线图判断是否存在异常值用自己的话说明判断依据练习 2提高题已知一组考勤率数据attendance[95,96,98,97,100,99,120,96,97,98]请完成使用 3σ 法则检测异常值使用箱线图再次检测对比两种方法的结果是否一致说明120更适合删除、修正还是保留并写出理由练习 3迁移题请把“学生成绩数据”换成你熟悉的业务场景数据例如某店铺订单金额某班学生上机时长某宿舍每日用电量要求用散点图或箱线图做异常值检测说明哪些值可能异常分析异常值可能的原因给出你的处理建议十六、总结这篇文章主要解决了一个非常实际的问题当数据里出现明显“不正常”的值时该怎么办我们通过一个简单案例学习了什么是噪声数据什么是异常值两者的区别常见的异常值检测方法发现异常值之后应该如何处理其中最重要的思想是先发现异常再分析原因最后决定处理方式对于数据分析初学者来说这是一项非常基础但非常重要的能力。十七、写在最后如果这篇文章对你有帮助欢迎点赞、收藏、评论支持一下。如果你也在学习 Python 数据分析建议把散点图、箱线图和 3σ 法则这几种异常值检测方法先练熟它们在数据预处理中真的非常常用。你在处理异常值时最容易纠结的是“该删还是该留”吗欢迎在评论区交流。