机器学习笔记三-检测异常值

检测异常值是数据预处理中非常重要的一步，因为异常值可能会影响模型的训练效果，甚至导致错误的结论。以下是几种常见的检测异常值的方法：

1. 箱线图（Box Plot）：

箱线图是一种简单的统计图形，可以直观地显示数据的分布情况及其离群点（异常值）。在箱线图中，异常值通常定义为超出“盒须”范围的点。

• IQR（四分位距）方法：

  • 箱线图的盒子代表数据的第一四分位数（Q1，25%）和第三四分位数（Q3，75%）。
  • 四分位距（IQR）定义为 Q3 - Q1。
  • 异常值通常定义为小于 Q1 - 1.5 * IQR 或大于 Q3 + 1.5 * IQR 的数据点。

  import pandas as pd
  import numpy as np
  import matplotlib.pyplot as plt# 示例数据
  data = np.random.randn(100)  # 生成100个正态分布的数据点
  data = np.append(data, [10, -10])  # 添加几个异常值# 绘制箱线图
  plt.boxplot(data)
  plt.show()# 使用IQR方法检测异常值
  Q1 = np.percentile(data, 25)
  Q3 = np.percentile(data, 75)
  IQR = Q3 - Q1lower_bound = Q1 - 1.5 * IQR
  upper_bound = Q3 + 1.5 * IQRoutliers = data[(data < lower_bound) | (data > upper_bound)]
  print("Detected Outliers:", outliers)
  

2. 标准差方法：

标准差法适用于数据呈正态分布的情况。异常值通常定义为超出平均值$\mu$的3倍标准差 $\sigma$ 的数据点。

• 公式：

  • 异常值定义为小于 $\mu -3\sigma$ 或大于 $\mu +3\sigma$ 的数据点。

  mean = np.mean(data)
  std_dev = np.std(data)lower_bound = mean - 3 * std_dev
  upper_bound = mean + 3 * std_devoutliers = data[(data < lower_bound) | (data > upper_bound)]
  print("Detected Outliers using Standard Deviation:", outliers)
  

3. Z-score 方法：

Z-score 表示数据点与均值的偏离程度，用于判断该数据点是否为异常值。Z-score 方法适用于数据呈正态分布的情况。

• 公式：

  • Z-score = $\frac{x-\mu }{\sigma }$
  • 当 Z-score 的绝对值大于某个阈值（通常为 3）时，该数据点被认为是异常值。

  from scipy import statsz_scores = stats.zscore(data)
  outliers = data[np.abs(z_scores) > 3]
  print("Detected Outliers using Z-score:", outliers)
  

4. 使用 Mahalanobis 距离：

Mahalanobis 距离考虑了数据的协方差结构，适合检测多变量数据中的异常值。

• 公式：

  • Mahalanobis 距离 $D^2=(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$
  • 异常值通常定义为 Mahalanobis 距离超过某个阈值的数据点。

  from scipy.spatial import distance# 示例多维数据
  data = np.random.randn(100, 2)
  mean = np.mean(data, axis=0)
  cov_matrix = np.cov(data, rowvar=False)mahalanobis_distances = [distance.mahalanobis(x, mean, np.linalg.inv(cov_matrix)) for x in data]threshold = np.percentile(mahalanobis_distances, 97.5)  # 选择一个合适的阈值
  outliers = data[np.array(mahalanobis_distances) > threshold]
  print("Detected Outliers using Mahalanobis Distance:", outliers)
  

5. 视觉化异常值检测：

通过绘制散点图、直方图等图表，可以直观地观察数据分布并识别可能的异常值。

6. 处理异常值的方法：

• 删除: 直接删除异常值，适用于异常值数量很少的情况。
• 替换: 使用均值、中位数或插值方法替换异常值。
• 模型化: 在一些情况下，异常值可能是数据的有效部分，可以通过重新建模来处理这些异常值。

总结：

不同的方法适用于不同类型的数据和异常值检测场景。在实际应用中，通常结合多种方法进行异常值检测，并根据业务需求和数据特点采取适当的处理策略。