基于重要抽样的主动学习不平衡分类方法ALIS

        这篇论文讨论了数据分布不平衡对分类器性能造成的影响,并提出了一种新的有效解决方案 - 主动学习框架ALIS。

        1、数据分布不平衡会影响分类器的学习性能。现有的方法主要集中在过采样少数类或欠采样多数类,但往往只采用单一的采样技术,无法有效解决严重的类别不平衡问题。

        2、论文提出了ALIS框架,它通过交替进行重要多数类实例选择和有价值少数类实例生成,使得两种采样策略相互影响和改善。

        3、ALIS可以在保持采样平衡的同时,选择出更有价值的多数类实例和生成更有代表性的少数类实例,从而大幅提高分类器的性能。

传统方法缺点：

        基于采样的技术一直是通过增加少数类实例(过采样)或减少多数类实例(欠采样)来缓解不平衡问题的一种直接而简单的方法。

        基于混合采样同时利用欠采样和过采样的联合方法。虽然混合抽样方法同时利用了这两种抽样策略，但它们仍然或多或少地存在着这两种抽样策略分开执行的缺点。

        集成学习和代价敏感学习也被用来提高非平衡数据分类器的性能。但集成方法的问题是如何生成准确的集成分量并设计适当的融合函数来组合弱分类器。同样，即使借助领域知识，手动调整成本敏感型学习方法的成本参数也是昂贵的。

一、ALIS算法主要思想

对于主动学习的每次迭代，都做两件事：①、挑选重要的多数类实例；②、生成信息丰富的少数类实例。

基于此，主动学习能够在每个学习阶段产生均衡的训练集！

1.1、挑选重要的多数类实例（欠采样过程）

这个新的主动选择准则捕捉了选定多数类实例的以下两个统计特征:

(1) 一阶统计信息:选定多数类实例到当前决策边界的平均距离。这反映了这些实例与边界的相关性程度。

(2) 二阶统计信息:选定多数类实例到当前决策边界的距离方差。这反映了这些实例的多样性程度。

        当这些多数类实例与决策边界的距离差异较小时,意味着这些实例分布比较集中,缺乏多样性。距离方差就会较小。
        相反,如果这些多数类实例与决策边界的距离差异较大,意味着它们分布较为分散,体现了较高的多样性。距离方差就会较大。

1.2、生成信息丰富的少数类实例（过采样过程）

        与之前简单的过采样方法相比,ALIS通过选择重要的边界实例、计算它们的重要性权重,并采用核密度估计来生成新样本,可以生成更加贴近决策边界、分布更加多样化的少数类合成实例。

二、ALIS基本框架

Pactive 表示主动学习少数类样本个数，Nactive表示主动学习多数类样本个数，其中数字上标j为主动学习的第j次迭代过程

j = 0时，代表初始值，即初始时的训练集由两部分组成：①所有少数类样本（有P个）；②随机挑选P个多数类样本（随机欠采样过程）

之后的第j次迭代，进行ALIS算法的重要过采样（生成Pj active个少数类样本）和重要欠采样（从剩余的多数类实例池 Nj-1 pool 中选择重要的多数类实例 Nj active）

当训练集在连续两轮的预测性能差异小于阈值时,主动学习过程终止。最终分类器由原始少数类实例 P、初始随机选择的多数类实例 N0 active、过采样的少数类实例 Pactive 和欠采样的多数类实例 Nactive 组成。

1、重要欠采样

ALIS尝试选择边界周围的重要多数实例。为了实现这一点，它考虑了这些实例的结构信息，例如它们的第一和第二统计信息。

具体步骤：

将距离当前边界最近的m个实例（实验中m取3）作为初始候选集Nj0_active

在每次迭代中，从池中选择最接近边界的t个额外实例（遵循主动学习策略，在实验中将t设置为2），并将其添加到Njk active中。

对于每一次迭代都要计算其边缘分布率ratio j k的值，可以由如下公式计算。其值越小，表示距离平均值小，距离方差大。前者有利于不确定实例的选择，因为它们靠近边界。后者有助于选择不同的实例，因为它们是彼此分散的

 因此，如果ratiojk+1 > ratiojk，则选择信息负点的过程结束，其中Nj_active = Njk_active。

2、重要过采样

①识别有价值的边界少数类实例(采样种子):
        那些少数类实例的k个最近邻里包含多数类实例,被认为处于边界区域。这些边界少数类实例被选为有价值的集合,记作Pinfo。
②给采样种子分配重要性权重:
        对于Pinfo中的每个实例xi,根据它的k个最近邻的分布,给它分配一个权重值ξi。权重ξi计算为xi的k个最近邻中多数类实例的比例。
③使用核密度估计生成新的少数类实例:
        使用一个核密度函数Gi(x)来捕捉有价值少数类实例(xi ∈ Pinfo)的分布。核密度函数是一个以xi为中心、带宽为hi的高斯分布。整体概率密度函数p(x)被估计为各个高斯核函数的加权和,权重为ξi。
④通过从估计的概率密度函数p(x)中采样,可以生成新的少数类实例。