在AdaBoost中每轮训练后，为什么错误分类的样本权重会增大e^2αt倍

在 AdaBoost 的每一轮迭代中，样本 $i$ 的权重更新公式为：
$$w_{t+1,i}=\frac{w_{t,i}\cdot \exp (-{\alpha }_t{y}_i{G}_t(x_i))}{Z_t}$$

其中：

• $w_{t,i}$ 是样本 $i$ 在第 $t$ 轮的权重。
• ${\alpha }_t$ 是该轮弱分类器的权重系数。
• $y_i$ 是样本 $i$ 的真实标签。
• $G_t(x_i)$ 是弱分类器 $G_t$ 对样本 $i$ 的预测结果。
• $Z_t$ 是归一化因子，用于确保新一轮权重的总和为 1。

权重增大的推导

根据公式，我们分两种情况讨论：

1. 当样本被正确分类时，即 $G_t(x_i)=y_i$：

   • 在这种情况下，$y_i{G}_t(x_i)=1$，所以权重更新为：
     $$w_{t+1,i}=\frac{w_{t,i}\cdot \exp (-{\alpha }_t)}{Z_t}$$

2. 当样本被错误分类时，即 $G_t(x_i)\ne y_i$：

   • 在这种情况下，$y_i{G}_t(x_i)=-1$，所以权重更新为：
     $$w_{t+1,i}=\frac{w_{t,i}\cdot \exp ({\alpha }_t)}{Z_t}$$

相对增长倍数的计算

为了计算错误分类的样本权重相对于正确分类样本权重的增长倍数，我们可以比较错误分类的样本权重和正确分类的样本权重之比。

• 错误分类的样本权重更新：$w_{t+1,i}^{\text{错误}}=\frac{w_{t,i}\cdot \exp ({\alpha }_t)}{Z_t}$
• 正确分类的样本权重更新：$w_{t+1,i}^{\text{正确}}=\frac{w_{t,i}\cdot \exp (-{\alpha }_t)}{Z_t}$

计算它们的比值，即：

$$\frac{w_{t+1,i}^{\text{错误}}}{w_{t+1,i}^{\text{正确}}}=\frac{\frac{w_{t,i}\cdot \exp ({\alpha }_t)}{Z_t}}{\frac{w_{t,i}\cdot \exp (-{\alpha }_t)}{Z_t}}=\exp (2{\alpha }_t)$$

结论

因此，相对于正确分类的样本，错误分类的样本权重确实增大了 $e^{2{\alpha }_t}$ 倍。这个比值反映了AdaBoost通过增加权重让后续的弱分类器更多关注错误分类样本的机制。