34 Python 离群点检测：什么是离群点？为什么要做异常检测？

Python 数据分析入门什么是离群点为什么要做异常检测在做数据分析时经常会遇到这样一种情况大多数数据都比较集中、变化也比较稳定但其中总会出现几个“特别奇怪”的值。比如学生成绩大多在 70 到 90 分之间突然出现一个 5 分某商品平时日销量只有几百件某一天却变成了 50000 件某台设备的温度一直比较平稳某次采集结果却突然飙升看到这类数据很多人的第一反应往往是这是不是录错了要不要直接删掉但问题在于这些“看起来不正常”的数据并不一定都是错误。有时候它可能确实是录入错误但有时候它反而代表着一个非常重要的异常事件比如设备故障、网络攻击、金融欺诈甚至某种新的行为模式。这类明显不同于大多数数据的对象通常被称为离群点Outlier。而识别这类数据的过程就叫做离群点检测也常被称为异常检测。一、为什么要关注离群点很多初学者会把离群点简单理解为“脏数据”或者“错误数据”。但在实际应用中离群点往往并不是应该被忽略的对象反而可能是最有分析价值的数据。异常检测已经在很多领域得到了广泛应用比如入侵检测工业损毁检测金融欺诈识别股票分析医疗处理从本质上看异常检测是在寻找“观测值与参照值之间有意义的偏差”。也就是说重点不只是找出“不一样的数据”而是找出那些值得关注的不一样。一个常见场景以银行卡交易为例。如果某个账户平时消费金额较小、消费地点也相对固定但某天突然在异地连续发生多笔大额消费那么这些交易记录就很可能与用户的正常行为模式明显不同。对于这类数据真正需要做的并不是直接删除而是进一步判断它是否代表着潜在风险。所以离群点检测的重要性在于它帮助我们从大量数据中尽早发现那些可能隐藏着异常事件的信息 。二、什么是离群点离群点是指显著偏离一般水平的观测对象。离群点检测就是找出那些不同于预期对象行为的数据对象的过程 。如果用更直白的话来解释就是当一个数据点和大多数数据相比表现得特别不合群时它就可能是离群点。例如下面这组数据[68,72,75,70,69,74,71,73,150]前面大多数值都在 68 到 75 之间而最后一个 150 明显偏离整体范围。在这种情况下150 就很可能是一个离群点。这里需要注意离群点强调的是“显著偏离”而不是普通波动。也就是说数据之间本来就允许存在差异但如果这种差异大到明显脱离整体规律就值得进一步关注。三、离群点和噪声有什么区别这是学习异常检测时最容易混淆的一个问题离群点和噪声是不是一回事答案是不是。噪声通常指观测数据中的随机误差或方差而离群点属于观测值的一部分它既可能是真实数据产生的也可能是由噪声带来的 。可以简单区分为1. 噪声噪声更强调“误差来源”。比如传感器抖动测量偏差录入误差采集环境干扰2. 离群点离群点更强调“结果表现”。也就是说某个数据对象在结果上明显偏离了整体数据分布。因此二者的关系可以理解为噪声可能导致离群点出现但离群点不一定都是噪声有些离群点本身是真实而且有意义的这也是为什么面对异常值时不能简单地“一看不正常就删掉”。在很多实际任务中离群点恰恰是最需要被单独分析的对象 。四、离群点为什么会出现离群点出现的原因通常可以分为两类 。1. 数据本身的极端表现这类离群点虽然看起来“很异常”但它依然是真实发生的。它属于总体固有变异性的极端情况 。例如某段时间出现极端天气导致用电量暴涨某个病人的监测指标突然异常升高某只股票在重大消息影响下短期剧烈波动这种离群点虽然偏离明显但并不一定是错误数据。2. 由偏差或失误导致的异常值另一类离群点则可能来自于试验条件的偶然偏离或者观测、记录、计算中的失误 。例如温度单位录错少写或多写一个数字仪器故障导致读数异常数据处理过程中出现计算错误这类离群点往往不代表真实现象而是数据质量问题。因此离群点检测并不只是“找出奇怪的数据”还包括判断这些异常究竟意味着什么。五、离群点有哪些常见类型离群点通常可以分为三类全局离群点条件离群点集体离群点1. 全局离群点全局离群点是最容易理解的一类。如果一个数据对象明显偏离了数据集中绝大多数对象那么它就是全局离群点 。例如大多数学生成绩集中在 7090 分某个成绩只有 5 分大多数商品价格比较稳定某个价格突然高得离谱这种异常通常不需要结合额外背景只看整体分布就能发现。2. 条件离群点条件离群点不是在任何情况下都异常而是只有在某种特定情境下才显得异常。例如夏天气温 35℃ 很常见但冬天气温 35℃ 就非常异常白天交易频繁是正常的但凌晨突然出现大量交易可能就值得警惕某地区经常出现大雨并不异常但在常年干旱地区就可能异常在这种情况下判断一个对象是否异常必须结合它所在的上下文。在条件离群点检测中通常会涉及两类属性条件属性用于描述情境的属性行为属性用于描述对象表现的属性可以理解为情境决定“在什么条件下看”行为决定“对象表现得怎么样”因此条件离群点的关键在于同一个数据值在不同情境下异常程度可能完全不同 。3. 集体离群点集体离群点关注的不是单个点而是一组对象的整体行为。当数据集中的一些数据对象作为一个集合显著偏离整体数据集时这个集合就形成了集体离群点 。例如单次网络访问记录可能都很正常但某一时间段内形成的访问模式却异常单个设备读数不一定有问题但连续一组读数共同反映出故障趋势单笔交易正常但连续多笔交易组合起来就显得异常这类异常的难点在于单个对象未必异常但组合在一起之后整体模式却非常异常 。六、先从图形上理解异常点在正式学习各种异常检测方法之前先用图形去理解离群点往往是最直观的方式。下面用 Python 构造一组二维数据大部分点集中在中心区域少量点远离主体区域通过可视化就可以直观看到什么叫“明显不合群的数据点”。七、代码实操构造一组带离群点的数据1. 代码目标这段代码主要完成三件事生成一批正常数据手动加入几个异常点用散点图展示正常点和异常点的分布差异这也是理解全局离群点最简单的方式。2. 代码示例importnumpyasnpimportmatplotlib.pyplotasplt# 为了结果可复现np.random.seed(42)# 生成正常数据100个二维点集中在(0, 0)附近normal_datanp.random.randn(100,2)# 手动添加几个异常点outliersnp.array([[4,4],[5,-3],[-4,5]])# 合并数据datanp.vstack([normal_data,outliers])# 绘图plt.figure(figsize(8,6))plt.scatter(normal_data[:,0],normal_data[:,1],csteelblue,label正常点)plt.scatter(outliers[:,0],outliers[:,1],cred,label异常点,s80)plt.title(离群点示意图)plt.xlabel(X1)plt.ylabel(X2)plt.legend()plt.grid(True,linestyle--,alpha0.4)plt.show()3. 代码说明这段代码的逻辑比较清楚可以拆成几个步骤来理解这种分步说明方式也比较适合专栏写作 。第一步生成正常数据normal_datanp.random.randn(100,2)这里生成了 100 个二维点它们大致围绕原点分布可以看成是一批“正常样本”。第二步手动构造异常点outliersnp.array([[4,4],[5,-3],[-4,5]])这几个点被故意放在离中心较远的位置用来模拟离群点。第三步合并数据datanp.vstack([normal_data,outliers])把正常点和异常点合并成一个完整数据集。第四步可视化plt.scatter(...)通过散点图把两类点画出来就能直观看到异常点和主体数据之间的差异。4. 运行结果怎么理解运行这段代码后通常可以从图形上直接观察到结果 大多数蓝色点集中在图中央附近红色点明显远离主要数据区域这些红点就是非常典型的全局离群点因为它们相对于整体数据分布来说偏离非常明显 。这个例子也说明了一个很重要的事实离群点并不是“数学上突然出现的概念”而是在图形、分布和行为上都能体现出明显异常的数据对象。八、练习试着判断哪些数据可能是离群点在理解了基本概念之后可以先做一个简单练习加深对离群点的直观认识。练习1观察下面这组数据[72,75,71,74,73,76,150]思考哪个值最可能是离群点它属于哪一类离群点这个值一定是错误数据吗练习2考虑下面这个场景某地 7 月份的最高气温是 35℃某地 1 月份的最高气温也是 35℃。思考这两个 35℃ 是否都属于异常如果不是为什么这里体现的是哪一种离群点练习3某网站某一分钟内突然连续出现大量来自同一来源的访问请求。单独看每一次请求都很普通但这一组请求组合起来非常异常。思考这属于哪一类离群点为什么单个点不明显异常但整体却可能异常九、小结这一篇主要围绕一个基础问题展开什么是离群点为什么要做异常检测可以概括为以下几点离群点是显著偏离一般水平的观测对象异常检测就是识别这些与预期行为明显不同的数据对象 。离群点不同于噪声。噪声强调随机误差而离群点强调结果上明显偏离整体分布 。离群点可能来自真实的极端情况也可能来自观测、记录或计算错误 。常见离群点包括三类全局离群点条件离群点集体离群点在很多场景中离群点并不是应该被简单删除的数据而是最值得深入分析的数据 。最后通过一个简单的 Python 可视化示例可以直观看到离群点在数据分布中的表现形式。