[深度学习]不平衡样本的loss

不平衡样本的loss

”softmax“、”weighted softmax“、”focal“、”class-balanced“ 和 ”balanced softmax“ 都是用于多类分类任务的损失函数。它们之间的区别在于如何处理类别不均衡的问题。

Softmax 是常用的多类分类损失函数。它将输出分布转换为概率分布，其中每个类别的概率之和为 1。Softmax 在类别均衡的情况下效果很好，但在类别不均衡的情况下，它会偏向于那些更常见的类别。

Weighted softmax 是 softmax 的一种变体，它通过为每个类别分配不同的权重来解决类别不均衡问题。权重可以根据类别的数量或类别的难易程度来分配。

Focal loss 是一种更复杂的损失函数，它通过惩罚模型对容易分类的样本的预测错误来解决类别不均衡问题。Focal loss 可以显著提高模型在类别不均衡情况下的性能。

Class-balanced loss 是 focal loss 的一种变体，它通过将每个类别的权重与该类别的难易程度成反比来分配权重。Class-balanced loss 可以进一步提高模型在类别不均衡情况下的性能。

Balanced softmax 是 class-balanced loss 的一种变体，它通过将每个类别的权重与该类别的数量成反比来分配权重。Balanced softmax 可以简化 class-balanced loss 的计算。

以下是这五种激活函数的详细比较：

激活函数	描述
softmax	将输出转换为概率分布，其中最大概率对应于预测的类别。
weighted softmax	每个类别的权重不同。可以用来处理类别不平衡的问题。
focal	提高模型对少数类别的识别能力。在预测为少数类别时增加损失。
class-balanced	处理类别不平衡的问题。对每个类别的损失进行加权。
balanced softmax	同 class-balanced。

在实践中，通常选择 class-balanced 或 focal 来处理类别不平衡的问题。它们可以提高模型的性能，尤其是在识别少数类别时。

refenrenc

@misc{BibEntry2023Nov,
title = {{不平衡之钥: 重加权法知几何}},
journal = {知乎专栏},
year = {2023},
month = nov,
urldate = {2023-11-10},
language = {chinese},
note = {[Online; accessed 10. Nov. 2023]},
url = {https://zhuanlan.zhihu.com/p/534099210}
}

@misc{xn–vtv.xn–7yv.2023Nov,
author = {枫. 桦.},
title = {{不平衡问题: 深度神经网络训练之殇}},
journal = {微信公众平台},
year = {2023},
month = nov,
urldate = {2023-11-10},
note = {[Online; accessed 10. Nov. 2023]},
url = {https://mp.weixin.qq.com/s/KUr8yR9NQK2nqNtp7Bvlag}
}
@article{Zhang2023Apr,
author = {Zhang, Yifan and Kang, Bingyi and Hooi, Bryan and Yan, Shuicheng and Feng, Jiashi},
title = {{Deep Long-Tailed Learning: A Survey}},
journal = {IEEE Trans. Pattern Anal. Mach. Intell.},
volume = {45},
number = {9},
pages = {10795–1081610795},
year = {2023},
month = apr,
urldate = {2023-11-10},
publisher = {IEEE 出版商xn–ih7cIEEE},
language = {english},
doi = {10.1109/TPAMI.2023.3268118}
}