2-2 动手学深度学习v2-损失函数-笔记

损失函数，用来衡量预测值和真实值之间的区别。是机器学习里面一个非常重要的概念。
三个常用的损失函数 L2 loss、L1 loss、Huber’s Robust loss

均方损失 L2 Loss

$$l(y,y^{\prime })=\frac{1}{2}(y-y^{\prime }{)}^2$$
（除以$2$的时候，$2$和$\frac{1}{2}$相互抵消。）


这里说的梯度，其实是经过了一次取绝对值。

---

绝对值损失函数 L1 Loss

$$l(y,y^{\prime })=｜y-y^{\prime }｜$$

① 相对L2 loss，L1 loss的梯度就是远离原点时，梯度也不是特别大，权重的更新也不是特别大。会带来很多稳定性的好处。不管离原点多远（预测值和真实值相差多大），梯度它总是以同样的粒度后撤。

② 它的缺点是在零点处不可导，并在零点处左右有±1的变化，这个不平滑性导致预测值与真实值靠的比较近的时候，优化到末期的时候，可能会不那么稳定。

---

Huber’s Robust loss

$$l(y,y^{\prime })=\{\begin{array}{l}|y-y^{\prime }|-\frac{1}{2},if|y-y^{\prime }|>1\\ \frac{1}{2}(y-y^{\prime }{)}^2,otherwise\end{array}$$当真实值和预测值的差大于$1$的时候，损失函数是一个绝对值误差；当真实值和预测值的差小于$1$的时候，损失函数是一个均方误差。（绝对值误差减去二分之一，是为了把曲线连起来）

在$+1$和$-1$之间是一个二次函数，在之外是两条直线。
好处：

• 当预测值和真实值差的比较远的时候，不管怎样，它都会以一个比较均匀的梯度往回撤。
• 在预测值和真实值差的比较小的时候，可以保证梯度下降优化是比较平滑的。