【漫话机器学习系列】265.普拉托变换的相关问题（Issues With Platt Scaling）

Platt Scaling 的相关问题详解 | 模型校准中的隐患分析

在机器学习模型中，模型预测的“置信度”并不一定等于真实的概率。为了提高模型预测结果的可解释性和实用性，我们通常会使用一种后处理的概率校准方法——Platt Scaling（普拉托变换）。

然而，Platt Scaling 虽然常用，也并非万能。在实践中，它可能会带来一些潜在的问题。本文将结合下图，详细分析使用 Platt Scaling 时常见的两个关键问题。

---

一、Platt Scaling 简介

Platt Scaling 是一种基于逻辑回归的概率校准方法。它的核心思想是：
在模型已经输出一个打分（如 SVM 的输出距离）之后，再训练一个逻辑回归模型来将这些分数映射为概率。

数学形式为：

其中，ff 是原模型输出的打分，AA、BB 是通过最小化负对数似然（NLL）训练得到的参数。

---

二、问题一：资源消耗显著增加

“由于我们训练了额外的交叉验证模型，单位时间内的资源会有一个明显的增长。”

解读：

Platt Scaling 在实际应用时，为了避免过拟合，通常会采用交叉验证（如 3-fold、5-fold）来训练概率校准模型。也就是说，在原有模型训练之外，还需要构建若干个额外模型用于拟合 Platt Scaling 的 A 和 B 参数。

影响：

• 训练资源消耗：需要更多的计算资源（如 CPU/GPU、内存）；

• 训练时间延长：模型训练周期变长，尤其在大规模数据集上；

• 部署复杂性增加：多模型串联带来的管理复杂性。

建议：

• 如果资源有限，可考虑使用更轻量的校准方法，如 Isotonic Regression；

• 对模型部署进行优化，比如提前离线训练好校准模型，仅保存参数 A 和 B。

---

三、问题二：预测概率已知可能导致失真

“由于预测概率已知，因此可能会造成预测结果与预测概率不匹配。”

解读：

Platt Scaling 的目标是将模型输出映射为概率。但因为训练过程中，目标是最小化负对数似然损失（NLL），这可能导致模型更关注概率拟合而非最终分类正确性。

此外，在某些数据分布不平衡的情况下，Platt Scaling 会受到过拟合干扰。例如，极端样本过多时，预测概率会被“压缩”或“放大”，与实际预测结果不一致。

举例说明：

假设原始模型对某个样本打分是 2.5，意味着分类器非常自信。但经过 Platt Scaling 后，映射的概率可能只有 0.6。这会影响到后续使用这些概率的任务，比如排序、风险评估等。

建议：

• 对不平衡数据进行重采样或加权训练；

• 考虑使用温度缩放（Temperature Scaling），对预测概率进行平滑调整；

• 对比不同校准方法在验证集上的表现，再决定是否采用 Platt Scaling。

---

四、结语

Platt Scaling 是一种经典且有效的概率校准方法，但它并非完美。在使用时，我们应充分了解其带来的代价和潜在失配问题，合理评估其适用性。

优点：

• 简单易实现；

• 理论基础扎实；

• 通常对 SVM 等 margin-based 模型效果较好。

缺点：

• 增加训练资源需求；

• 对小样本、偏态分布不鲁棒；

• 在某些场景下可能失真模型原始置信度。

---

延伸阅读

• Calibrated Classifiers

• Guo et al. (2017): On Calibration of Modern Neural Networks

• sklearn.calibration — CalibratedClassifierCV 文档

---

如果你在实际工作中也遇到过模型置信度不准的问题，欢迎留言分享你的解决思路与经验！

---

如需转载请注明出处，图片版权归 Chris Albon 所有。