用于不平衡医疗数据分类的主动SMOTE

一、主动学习如何应用于不平衡数据的处理

        首先，主动SMOTE不是像经典的SMOTE那样从训练集中随机选择一个样本作为生成合成样本的轴心点，而是通过不确定性和多样性采样来智能地进行样本选择，这是主动学习的两种技术。

        在数据不平衡的情况下，可以使用主动学习来平衡训练样本，方法是从多数类中选择最具代表性的实例，从少数类中消除噪声样本，并降低总体不平衡比率。

        主动学习的主要目的是应用动态数据采样来使训练数据沿着训练过程进行进化。主要问题是我们如何选择训练集的样本？什么样的样本会提高算法性能？起初，这个问题听起来可能与不平衡类问题无关。然而，在我们的例子中，问题是：我们首先需要从少数类中选择哪些点来生成合成样本，这样我们才能最终获得良好的模型性能？

        基于主动学习的SMOTE，与传统采样不一样的是，我们如何为训练集选择样本？什么样的样本会提高算法的性能？

        我们需要首先从少数类中选择哪些点来生成合成样本，以便我们最终能够拥有良好的模型性能？为此，我们选择了两种抽样方法：不确定性抽样和多样性抽样。

二、不确定性抽样

不确定性抽样是一组技术，用于识别决策边界附近具有最高不确定性的最低置信度样本，以插入新的训练样本。

测量不确定性的方法有很多，比如最小值、置信度和熵。

三、多样性抽样

它不同于单纯关注存在不确定性的边界样本(如不确定性采样所做的),而是选择彼此不同或差异较大的样本。

这种方法可以帮助识别模型在某些区域的知识盲区,因为这些区域缺乏足够的代表性样本。

相比于只选择靠近决策边界的样本,多样性采样会选择那些与现有训练数据不同的样本。这有助于减少现实世界中的采样偏差,让模型能更好地概括到未知区域。

多样性采样的选择与不确定性采样的选择是不同的。前者选择的样本彼此差异较大,而后者更关注位于决策边界附近的样本。

四、主动SMOTE

主动SMOTE旨在将SMOTE与主动学习相结合。

换句话说，我们不是从训练集中随机选择一个点作为生成合成样本的枢轴点，而是使用不确定性和多样性采样智能地选择点。

实际上，我们可以说新提出的算法有两个主要阶段。不确定性采样阶段和多样性采样阶段。

4.1、不确定性采样阶段

        ①首先,算法会训练一个机器学习模型,使用全部的训练数据。
        ②然后,算法会计算所有少数类样本属于少数类的概率。
        ③接下来,算法会根据某种不确定性度量来计算模型对这些少数类样本的预测不确定性。常用的不确定性度量有:
                置信度边界(Margin)：预测概率差值越小,说明模型越不确定。
                熵(Entropy)：预测概率分布越均匀,说明模型越不确定。
       ④ 最后,算法会选择一定比例的最不确定的少数类样本,这个比例是一个超参数

4.2、多样性采样阶段

多样性抽样阶段的目的是对所选的最不确定的样本进行多样性抽样。

首先，我们使用K-means将最不确定的项目划分为k个聚类

然后从每个聚类中分层抽样。k簇的数量是一个需要调整的超参数，以及我们将从每个簇中选择的项目数量。我们选择K-means作为聚类方法，因为它是最常用的聚类策略。

创新点：比较其他聚类方法优劣

4.3、算法流程