怎么样调整分类的阈值

调整分类模型的阈值是改变模型对正负类的预测标准的一种方法，常用于提高精确率、召回率或者其他性能指标。以下是如何调整分类阈值的步骤和方法：

PS：阈值是针对预测概率（表示样本属于某个特定类别的可能性）来说的

调整分类的阈值步骤和方法：

1. 理解阈值的作用：

   • 分类模型通常输出一个概率值（0到1之间），表示样本属于正类的可能性。
   • 默认阈值通常设为0.5，即如果概率值大于0.5，预测为正类；否则预测为负类。
   • 调整阈值可以改变模型对正负类的预测标准，从而影响假阳性和假阴性率。

2. 增大阈值：精确率增加，召回率减少

   • 减少假阳性（False Positive, FP）：

     • 定义：假阳性是指模型预测为正类，但实际为负类的情况。
     • 解释：增大阈值意味着模型要求更高的置信度才会将样本预测为正类。因此，一些原本在默认阈值下被预测为正类（但实际为负类）的样本，在更高的阈值下会被重新预测为负类，从而减少假阳性的数量。

   • 增加假阴性（False Negative, FN）：

     • 定义：假阴性是指模型预测为负类，但实际为正类的情况。
     • 解释：增大阈值意味着一些原本在默认阈值下被正确预测为正类的样本，在更高的阈值下可能会被预测为负类。因此，模型会错过一些实际为正类的样本，从而增加假阴性的数量。

   • 举例说明

     假设我们有一个模型的输出概率如下（数值为示例）：

     样本	实际标签	预测概率	预测
     A	正类	0.8	正类	真阳性
     B	负类	0.6	正类	假阳性（减少假阳）
     C	正类	0.4	负类	假阴性
     D	负类	0.3	负类	真阴性
     E	正类	0.7	正类	真阳性（增加假阴）

     默认阈值为 0.5 时：

     • 样本 A、B、E 被预测为正类。
     • 样本 C、D 被预测为负类。

     • 此时，假阳性为 1（样本 B），假阴性为 1（样本 C）。

       如果我们将阈值增大到 0.7：

       • 样本 A、E 被预测为正类。
       • 样本 B、C、D 被预测为负类。

       • 此时，假阳性减少到 0（样本 B 不再是假阳性），但假阴性增加到 2（样本 C 和 E）。

3. 减小阈值：精确率减少，召回率增加

   • 增加真阳性率（Recall）：

     • 定义：真阳性率是指模型正确识别正类样本的比例。
     • 解释：降低阈值会使模型更容易将样本预测为正类，因此能够捕捉更多的真正类（正类）样本，从而提高真阳性率。

   • 增加假阳性率（False Positive Rate）：

     • 定义：假阳性率是指模型错误地将负类样本预测为正类的比例。
     • 解释：降低阈值会导致模型将一些本应为负类的样本错误地预测为正类，因此会增加假阳性率。

   • 降低精确率（Precision）：

     • 定义：精确率是指模型预测为正类的样本中实际为正类的比例。
     • 解释：降低阈值会增加将样本预测为正类的数量，但其中一部分样本可能是假阳性，因此会降低精确率。

   • 影响模型的决策边界：

     • 解释：阈值决定了模型在将样本分类为正类或负类时所依据的概率界限。降低阈值会放宽模型对于正类的判定标准，使得更多的样本被预测为正类。

   • 示例说明

     假设我们有一个分类模型，对于一些样本的预测概率如下：

     样本	实际标签	预测概率	预测标签（阈值=0.5）	预测标签（阈值=0.3）
     A	正类	0.8	正类	正类
     B	负类	0.3	负类	正类
     C	正类	0.6	正类	正类
     D	负类	0.2	负类	正类
     E	正类	0.7	正类	正类

     通过降低阈值（例如从0.5降至0.3）：

     • 样本 B 和 D 被重新预测为正类，因为它们的预测概率超过了0.3。
     • 这样做会增加真阳性率（Recall），但可能也会增加假阳性率（False Positive Rate），因为更多的负类样本被错误地预测为正类。同时，精确率（Precision）可能会下降，因为模型更容易将样本预测为正类，导致一些预测为正类的样本实际上是假阳性。

4. 选择最佳阈值：

   • 使用ROC曲线（Receiver Operating Characteristic Curve）和AUC（Area Under the Curve）：
     • ROC曲线绘制了不同阈值下的真阳性率（召回率）与假阳性率的关系。
     • AUC值越大，模型性能越好。
   • 使用精确率-召回率曲线P-R（Precision-Recall Curve）：
     • 绘制了不同阈值下的精确率与召回率的关系。
     • 在平衡精确率和召回率时，这条曲线非常有用。

实际操作示例

假设我们使用Python和Scikit-learn库来调整分类阈值：

import numpy as np
from sklearn.metrics import precision_recall_curve, roc_curve# 假设 y_true 是真实标签，y_scores 是模型输出的概率值
y_true = np.array([0, 1, 1, 0, 1, 0, 1, 1, 0, 0])
y_scores = np.array([0.1, 0.4, 0.35, 0.8, 0.65, 0.7, 0.2, 0.9, 0.55, 0.3])# 计算不同阈值下的精确率和召回率
precision, recall, thresholds = precision_recall_curve(y_true, y_scores)# 计算不同阈值下的假阳性率和真阳性率（用于绘制ROC曲线）
fpr, tpr, roc_thresholds = roc_curve(y_true, y_scores)# 选择一个新的阈值，例如0.5
new_threshold = 0.5
y_pred = (y_scores >= new_threshold).astype(int)# 计算新的精确率和召回率
new_precision = np.sum((y_pred == 1) & (y_true == 1)) / np.sum(y_pred == 1)
new_recall = np.sum((y_pred == 1) & (y_true == 1)) / np.sum(y_true == 1)print(f"New Precision: {new_precision}")
print(f"New Recall: {new_recall}")

小结

通过调整分类阈值，可以在精确率和召回率之间进行权衡，以满足不同的应用需求。实际操作中，可以使用精确率-召回率曲线和ROC曲线来帮助选择最佳的阈值，从而优化模型的性能。