《GBDT 算法的原理推导》 11-12计算损失函数的负梯度 公式解析

本文是将文章《GBDT 算法的原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。

---

公式(11-12)是GBDT算法中非常关键的一步，它表示了如何通过计算损失函数的负梯度来指导下一棵树的生长。

公式(11-12)如下：

$$r_{mi}=-{\left[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}\right]}_{f(x)=f_{m-1}(x)}$$

1. 公式的背景

在GBDT中，我们的目标是最小化一个损失函数 $L(y,f(x))$，其中：

• $y$ 是真实值，
• $f(x)$ 是模型的预测值。

每一轮 $m$ 的模型 $f_m(x)$ 是在前一轮的基础上进行改进的，即：

$$f_m(x)=f_{m-1}(x)+T(x;{\Theta }_m)$$

这里的 $T(x;{\Theta }_m)$ 是新增的树，我们希望它能纠正前一轮模型 $f_{m-1}(x)$ 的误差。

2. 负梯度的意义

为了指导新树的构建，我们需要让新树 $T(x;{\Theta }_m)$ 能够减少当前模型 $f_{m-1}(x)$ 的误差。GBDT使用了一个关键的技巧：用损失函数的负梯度来近似每个样本的残差，即误差。

• 损失函数的负梯度表示模型需要改进的方向。通过沿着负梯度的方向优化，我们可以使得损失逐步减小。
• 具体来说，公式(11-12)中的 $r_{mi}$ 是第 $m$ 轮中第 $i$ 个样本的负梯度，它表示当前模型对该样本的误差方向和大小。

3. 公式(11-12)的含义

公式(11-12)中的 $r_{mi}$ 是针对第 $m$ 轮中第 $i$ 个样本计算的负梯度：

$$r_{mi}=-{\left[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}\right]}_{f(x)=f_{m-1}(x)}$$

其中：

• $L(y_i,f(x_i))$ 是损失函数，表示模型预测 $f(x_i)$ 与真实值 $y_i$ 之间的误差。
• $\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}$ 是损失函数关于模型输出 $f(x_i)$ 的偏导数。偏导数表示的是损失函数在 $f(x_i)$ 处的变化趋势。
• 负号 $-$ 表示我们要沿着负梯度方向去优化，即在模型的当前输出基础上减少误差。

因此，$r_{mi}$ 表示的是在第 $m$ 轮中，第 $i$ 个样本的当前模型预测值与真实值之间的差异（残差）的一个估计，并且这个估计是基于损失函数的梯度计算的。

4. 负梯度用于训练新树

在GBDT的第 $m$ 轮中，新树 $T(x;{\Theta }_m)$ 是通过拟合所有样本的负梯度 $r_{mi}$ 来生成的。也就是说，这棵新树的任务是尽可能准确地拟合当前模型的“误差”部分，从而在下一轮更新中进一步减少总损失。

5. 举个例子

假设我们使用的是平方损失函数：

$$L(y_i,f(x_i))=\frac{1}{2}(y_i-f(x_i){)}^2$$

那么，损失函数对于 $f(x_i)$ 的导数是：

$$\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}=f(x_i)-y_i$$

因此，在平方损失的情况下，公式(11-12)中的负梯度就是：

$$r_{mi}=-(f_{m-1}(x_i)-y_i)=y_i-f_{m-1}(x_i)$$

这表示负梯度等于当前模型的残差 $y_i-f_{m-1}(x_i)$，即真实值和预测值的差值。因此，新的树会拟合这个残差，从而在下一轮更新时使模型预测值更接近真实值。

总结

公式(11-12)表示，GBDT中的每一轮迭代都使用当前模型的损失函数负梯度作为新的目标值，以此指导下一棵树的生成。这种方法使得每一棵新树都在不断纠正前面模型的不足，逐步提升整体模型的性能。