机器学习笔记 - 基于Python的不平衡数据的欠采样技术

一、简述

        随着从不同的来源生成和捕获大量数据。尽管信息量巨大，但它往往反映了现实世界现象的不平衡分布。数据不平衡的问题不仅仅是统计上的挑战，它对数据驱动模型的准确性和可靠性具有深远的影响。

        以金融行业欺诈检测为例。尽管我们希望避免欺诈，因为其具有高度破坏性，但机器（甚至人类）不可避免地需要从欺诈交易的示例中学习（尽管很少见），以将其与日常合法交易的数量区分开来。 

        欺诈性交易和非欺诈性交易之间的数据分布不平衡给旨在检测此类异常活动的机器学习模型带来了较大难度。如果不适当处理数据不平衡，这些模型可能会偏向于预测交易是否合法，从而可能忽视罕见的欺诈情况。

        又比如医疗保健是利用机器学习模型来预测不平衡结果的另一个领域，例如癌症或罕见遗传性疾病等疾病。与良性结果相比，此类结果发生的频率要低得多。因此，在这种不平衡数据上训练的模型更容易出现错误的预测和诊断。这种模型存在的意义就不是很大了。