数据分析 | 为什么Bagging算法的效果优于单个评估器

1. 回归问题如何降低方差

        以随机森林为例，假设随机森林中含有n个弱评估器，由于子样本集的相似性以及使用的是同种模型，因此各模型有近似相等的方差和偏差，因此假设任意弱评估器上输出结果为,方差均为，则随机森林的输出结果为，当各棵树相互独立时有如下关系：

         由上述公式可知，随机森林在经过Bagging之后的方差一定小于单个评估器的方差，这也是随机森林的泛化能力总是强于单一决策树的根本原因。其中泛化误差为模型在测试集上的误差，有如下关系：

2. 分类问题如何降低方差

        Bagging在执行分类任务时总是遵循少数服从多数的原则，同样可以通过回归器进行预测，只是在回归的基础上套上sigmoid函数，以0.5为阈值进行划分，即能将回归转化为分类。其中，sigmoid函数如下：

         由于sigmoid函数是二阶可导函数，根据泰勒展开以及方差的运算性质有如下关系：

        一阶导后平方的sigmoid函数值域为[0,0.0625]，因此在分类问题上Bagging算法也是能降低方差的。

3. Bagging有效的条件

        由于Bagging不能降低偏差，因此要求弱评估器的偏差较低，准确率至少在50%以上；由于方差降低的必要条件是各个弱评估器之间相互独立，因此要求弱评估器之间的相关性尽可能弱，可以通过随机采样来降低相关性。其中，ESL（p588）教材有如下公式。由此可知弱评估器的相关性越强，随机森林输出结果的方差就越大。