【Focal Loss 本质】

Focal Loss 示例

Focal Loss公式：

在后面的例子中，我们假定 y = 1 的样本中，有两个预测值分别为(0.8, 0.4)。显然，0.8 很容易分类，0.4 很难分类。

可以看出，Focal Loss 降低了容易分类（prt = 0.8）的样本的损失占比，将更多注意力放在难的、被错误分类的样本上（p_t = 0.4）。两个值的损失值差异从约 4 倍提升到了约 37 倍（注意，损失的绝对值两者都是降低的，但是训练比较的是相对值）。

预测值	CE 损失（Cross Entropy Loss）	Focal Loss（y = 2, at = 1）
0.8	0.2231	0.0089
0.4	0.9163	0.3299
两者对比	4.11	36.96

本质：让难分类的样本的损失和容易的样本的损失比更大，增加区分度