《数据挖掘（主编：吕欣 王梦宁）》读书笔记：异常检测方法梳理与实践理解

《数据挖掘主编吕欣 王梦宁》读书笔记异常检测方法梳理与实践理解本文是学习《数据挖掘主编吕欣 王梦宁》中“异常检测”相关内容后的整理笔记。文章不追求逐条复述教材而是尝试从“异常是什么、为什么能被发现、不同算法适合什么场景”三个角度对常见异常检测方法做一个系统梳理。1. 异常检测到底在检测什么异常检测简单来说就是从数据中找出那些不符合大多数样本规律的对象。这些对象可能表现为数值明显偏大或偏小行为模式与历史规律不一致在空间分布中远离主体样本在时间序列中突然发生变化与邻近样本相比局部密度明显偏低。在实际场景中异常并不一定等于错误。它可能是数据采集噪声也可能是值得关注的真实事件。例如金融交易中的欺诈行为工业传感器中的设备故障网络流量中的攻击行为城市交通中的突发拥堵用户行为中的异常访问模式。因此异常检测的关键并不是简单地“删掉异常值”而是判断这些异常是否具有业务意义。2. 异常检测方法的总体分类从方法思想上看异常检测大致可以分为以下几类类型核心思想代表方法统计规则方法根据总体分布或统计边界判断异常3σ准则、箱线图分布估计方法估计样本密度低概率区域更可能异常HBOS过程监控方法监控时间序列均值或趋势的持续偏移CUSUM空间/密度方法根据距离、邻域密度或聚类结构识别异常KNN、DBSCAN、LOF随机隔离方法异常点更容易被随机划分孤立Isolation Forest降维重构方法异常点难以被低维结构或模型准确重构PCA、自编码器预测误差方法如果预测值与真实值偏差过大则可能异常VAR、ARIMA、RNN、LSTM我的理解是异常检测方法的差异本质上来自它们对“正常模式”的不同定义。有的方法认为“正常”等于符合统计分布有的方法认为“正常”等于处在高密度区域有的方法认为“正常”等于能被模型很好地重构或预测。3. 基于统计规则的异常检测3.1 3σ准则3σ准则也叫拉依达准则它的基本思想是如果数据近似服从正态分布那么大部分样本会落在均值附近。通常情况下距离均值超过 3 个标准差的数据点可以被视为异常点。公式可以表示为∣x−μ∣3σ |x - \mu| 3\sigma∣x−μ∣3σ其中xxx表示某个样本值μ\muμ表示均值σ\sigmaσ表示标准差。这种方法非常直观适合快速检查单变量数据中的极端值。但是它有一个明显前提数据最好接近正态分布。如果数据本身是偏态分布、长尾分布或者存在多个峰值那么直接使用 3σ 准则可能会误判。例如收入数据、城市人口规模、用户访问次数等往往都具有明显的长尾特征这时 3σ 准则就不一定可靠。3.2 箱线图方法箱线图通过四分位数来判断异常值。常见规则是xQ1−1.5IQR x Q_1 - 1.5IQRxQ1​−1.5IQR或xQ31.5IQR x Q_3 1.5IQRxQ3​1.5IQR其中IQRQ3−Q1 IQR Q_3 - Q_1IQRQ3​−Q1​箱线图的优点是简单、直观而且不强依赖正态分布。相比 3σ 准则它对偏态数据更友好一些。但是箱线图仍然主要适合一维数据。如果数据是高维的或者异常体现在多个变量的组合关系中单独看某个变量可能发现不了真正的问题。比如一个用户的“访问次数”正常“访问时间”也正常但“凌晨访问高频金融接口”这个组合行为可能就是异常。4. 基于直方图的异常检测HBOSHBOS 的全称是 Histogram-Based Outlier Score即基于直方图的异常得分方法。它的核心假设是如果一个样本在多个特征上的取值都落在低频区域那么它更可能是异常样本。基本流程可以理解为对每个特征分别构建直方图估计样本在每个特征上的概率密度将多个特征上的密度组合起来密度越低异常得分越高。一个常见的异常得分形式是Score(x)−log⁡(P(x)) Score(x) -\log(P(x))Score(x)−log(P(x))如果P(x)P(x)P(x)很小那么−log⁡(P(x))-\log(P(x))−log(P(x))会比较大说明样本更异常。HBOS 的优点是速度快适合大规模数据。它不像 LOF 那样需要计算大量样本之间的距离因此在工程上比较轻量。不过HBOS 的一个重要假设是不同特征之间相互独立。这个假设在现实中经常并不成立。例如用户收入、消费水平、居住区域、出行距离之间往往存在相关性。如果忽略这些相关性可能会影响异常检测效果。所以我认为 HBOS 更适合作为一种快速筛查方法而不是复杂场景下的最终判断依据。5. 累积和法 CUSUM适合发现持续性变化CUSUM 是一种常用于时间序列监控的方法。它关注的不是某一个点是否突然极端而是数据是否出现了持续性偏移。它的基本思想是单个点的小偏差可能不明显但如果偏差不断累积就可能说明系统状态已经发生改变。例如在设备监控中某个传感器温度每次只升高一点点单独看都不异常但连续升高一段时间后就可能意味着设备即将故障。CUSUM 一般会计算上累积和与下累积和用来监控均值向上或向下的偏移。当累积和超过控制限时就认为发生异常。我对 CUSUM 的理解是它更适合发现“慢慢变坏”的异常而不是单点突刺型异常。因此它在工业过程控制、质量检测、长期监测数据中很有价值。6. 基于空间分布的异常检测方法6.1 KNN 与距离异常基于 KNN 的异常检测很容易理解如果一个点离它最近的几个邻居都比较远那么它可能是异常点。这种方法的关键在于距离度量。如果数据是连续数值特征欧氏距离比较常见如果是文本、轨迹、行为序列等数据就需要设计更合适的距离或相似度指标。KNN 方法直观但计算成本较高。数据量很大时计算每个点与其他点的距离会比较耗时。6.2 聚类方法K-Means 与 DBSCAN聚类方法也可以用于异常检测。K-Means 的思路是如果一个点距离最近的聚类中心很远那么它可能是异常点。不过 K-Means 有几个限制需要提前指定簇的数量更适合球形簇对初始中心敏感对异常点本身也比较敏感。DBSCAN 更适合异常检测因为它天然会把低密度区域的点标记为噪声点。它不需要提前指定簇的数量并且可以发现任意形状的簇。但是 DBSCAN 对参数比较敏感尤其是邻域半径eps最小样本数min_samples。如果参数设置不合理可能会把正常点误判为噪声也可能漏掉真正的异常点。7. 孤立森林 Isolation Forest孤立森林是异常检测中非常经典、也非常实用的方法。它的核心思想很有意思异常点通常更“孤立”因此在随机切分数据时更容易被较少次数的划分单独分离出来。孤立森林由多棵孤立树组成。每棵树都会随机选择特征和切分值不断划分样本空间直到样本被隔离。如果一个样本在很多树中都只需要很短的路径就能被孤立那么它的异常程度就比较高。异常得分常见形式为s(x)2−E(h(x))c(n) s(x) 2^{-\frac{E(h(x))}{c(n)}}s(x)2−c(n)E(h(x))​其中h(x)h(x)h(x)表示样本xxx的路径长度E(h(x))E(h(x))E(h(x))表示多棵树上的平均路径长度c(n)c(n)c(n)是用于归一化的修正项。我的理解是孤立森林并不是直接学习“正常样本长什么样”而是从另一个角度思考问题异常样本因为数量少、分布稀疏所以更容易被切出来。这使得孤立森林在很多无监督异常检测任务中表现不错尤其适合中大规模结构化数据。但它也不是万能的。如果高维数据中存在大量无关特征随机切分可能会受到干扰导致异常分数不稳定。因此实际使用前最好做特征筛选或降维处理。8. 局部异常因子 LOFLOF 的全称是 Local Outlier Factor即局部异常因子。它与全局距离方法不同LOF 更关注一个点与周围邻居之间的局部密度差异。它的基本想法是如果一个点所在位置的密度明显低于它邻居所在位置的密度那么这个点可能是异常点。LOF 值通常可以这样理解LOF 接近 1样本与邻域密度差不多通常是正常点LOF 明显大于 1样本比邻居更稀疏可能是异常点LOF 小于 1样本可能处在比邻居更密集的位置。LOF 的优势在于它适合处理密度不均匀的数据。例如一个数据集中可能同时存在高密度簇和低密度簇。如果使用全局距离阈值低密度簇中的正常样本可能会被误判为异常而 LOF 会基于局部邻域来比较因此更加灵活。不过 LOF 的缺点也很明显计算量较大。因为它需要计算样本之间的邻近关系在大规模数据集上可能比较慢。9. 基于降维和重构的异常检测9.1 PCA 异常检测PCA 是一种经典降维方法。它通过寻找数据中方差最大的方向把原始数据映射到较低维空间。在异常检测中PCA 可以有两种思路第一种是看样本在主成分空间中的偏离程度。如果某个样本在低方差方向上偏离很大说明它不符合主要数据结构。第二种是看重构误差。先用少数主成分重构原始数据如果某个样本重构误差很大说明它可能不符合整体规律。PCA 的优点是可解释性相对较好适合线性结构比较明显的数据。但 PCA 也有局限对异常点本身敏感只能捕捉线性关系对复杂非线性结构表达能力不足。所以在复杂数据上PCA 可以作为基线方法但不一定是效果最好的方法。9.2 自编码器 AutoEncoder自编码器是一种神经网络结构主要由编码器和解码器组成。编码器负责把输入数据压缩成低维表示解码器负责从低维表示中重构原始输入。异常检测中的基本逻辑是模型主要学习正常样本的结构因此正常样本可以被较好重构而异常样本重构误差较大。常见的异常得分可以表示为errori∣xi−xi^∣2 error_i |x_i - \hat{x_i}|^2errori​∣xi​−xi​^​∣2其中xix_ixi​是原始样本xi^\hat{x_i}xi​^​是模型重构后的样本误差越大异常可能性越高。自编码器相比 PCA 的优势在于它可以学习非线性结构。因此在图像、复杂传感器数据、多变量行为数据中自编码器往往更有表现空间。但是自编码器也需要注意几个问题如果训练集中混入大量异常样本模型可能也会学会重构异常网络结构和超参数会影响结果异常阈值通常需要结合验证集或业务经验设定深度模型可解释性弱于传统方法。所以使用自编码器时不能只看模型输出还要结合异常样本的业务含义进行分析。10. 基于预测误差的时间序列异常检测如果数据具有时间顺序那么异常往往表现为当前值与历史规律不一致预测值与真实值差距过大趋势、周期或波动模式突然改变。这类方法的共同逻辑是先学习历史规律再用预测误差判断异常。10.1 VAR 模型VAR即向量自回归模型适合多变量时间序列。它认为多个变量之间存在相互影响当前状态可以由过去若干时刻的状态共同解释。一般形式可以写成Xtϕ0∑i1pϕiXt−iϵt X_t \phi_0 \sum_{i1}^{p}\phi_iX_{t-i} \epsilon_tXt​ϕ0​i1∑p​ϕi​Xt−i​ϵt​其中XtX_tXt​是当前时刻的多变量状态ppp是滞后阶数ϵt\epsilon_tϵt​是误差项。如果某个时刻的预测误差明显偏大就可能说明该时刻存在异常。VAR 的优点是结构清晰、解释性较强缺点是更适合线性关系而且变量太多时参数量会迅速增加。10.2 ARIMA 模型ARIMA 是经典的时间序列预测模型适合处理单变量时间序列。ARIMA(p, d, q) 中p表示自回归阶数d表示差分阶数q表示移动平均阶数。ARIMA 的优势是理论成熟适合趋势较明显、线性结构较强的时间序列。但它也有不足参数选择比较重要对非线性模式表达能力有限对复杂周期、多变量交互场景支持不足。因此在实际应用中ARIMA 更适合作为传统时间序列异常检测的基线模型。10.3 RNN 与 LSTMRNN 是专门处理序列数据的神经网络。它通过隐藏状态保留历史信息使当前输出受到过去输入的影响。但是普通 RNN 容易遇到梯度消失或梯度爆炸问题导致它难以学习长期依赖关系。LSTM 在 RNN 的基础上加入了门控机制包括输入门遗忘门输出门。这些门控结构可以控制信息的保留、遗忘和输出因此更适合处理长序列数据。在异常检测中LSTM 通常用于预测未来值。如果预测误差过大就认为可能发生异常。LSTM 的优势是能捕捉复杂的非线性时序关系缺点是训练成本较高对数据量和参数设置也更敏感。11. 不同方法应该怎么选异常检测没有绝对最优的方法关键要看数据类型和任务目标。可以简单总结为数据特点可优先考虑的方法单变量、近似正态3σ准则单变量、偏态分布箱线图大规模结构化数据HBOS、孤立森林密度分布不均匀LOF、DBSCAN高维线性结构PCA高维非线性结构自编码器多变量时间序列VAR、LSTM单变量时间序列ARIMA、CUSUM需要快速初筛HBOS、Isolation Forest需要较强解释性统计方法、PCA、VAR我的理解是实际项目中最好不要只依赖一种算法。比较稳妥的做法是先用简单统计方法做初步探索再用孤立森林、LOF 等无监督方法进行建模如果是时间序列再引入预测误差方法最后结合业务场景解释异常结果。12. 异常检测实践中的几个注意点12.1 阈值比算法本身更难很多异常检测算法最后都会输出一个异常分数但“分数多大算异常”并不是算法自动解决的问题。阈值通常需要结合历史经验业务成本异常比例验证集表现人工复核结果。如果阈值太低会产生大量误报如果阈值太高又可能漏掉关键异常。12.2 异常不一定要删除在数据预处理中我们常常会说“处理异常值”但处理不等于删除。异常值可能有三种情况数据错误例如传感器故障、录入错误极端但真实例如高消费用户、极端天气关键事件例如欺诈、攻击、设备故障。因此对异常值的处理方式应该根据场景决定而不是机械删除。12.3 特征工程会显著影响结果异常检测尤其依赖特征。同一个样本在原始特征空间可能不异常但在构造特征后可能变得非常异常。例如在用户行为分析中单看访问次数可能正常但如果加入访问时间访问频率地理位置变化行为序列间隔与历史习惯的偏离程度就可能发现更有价值的异常模式。所以异常检测不只是算法问题也是一种特征表达问题。12.4 无监督异常检测需要人工解释很多异常检测任务没有标签因此模型只能告诉我们“这个样本看起来不一样”但不能直接说明“为什么异常”。因此实际使用时最好配合异常分数排序特征贡献分析可视化聚类解释业务规则验证。这样才能把模型结果转化为可理解、可行动的结论。13. 小结异常检测的核心是识别数据中偏离正常模式的样本。不同方法对“正常模式”的定义不同统计方法认为正常样本应符合总体分布密度方法认为正常样本应位于高密度区域孤立森林认为异常样本更容易被随机切分隔离PCA 和自编码器认为正常样本应能被低维结构或模型良好重构时间序列方法认为正常样本应符合历史演化规律。从实践角度看异常检测不应该只停留在算法层面。真正重要的是理解数据场景、选择合适特征、合理设置阈值并解释异常结果背后的现实含义。也就是说异常检测最终检测到的不只是“离群点”更是数据背后可能被忽略的变化、风险和机会。参考关键词异常检测、数据挖掘、Isolation Forest、LOF、PCA、AutoEncoder、ARIMA、LSTM、时间序列异常检测