多分类loss学习记录

这里简单的记录在人脸识别/声纹识别中常用的分类loss。详细原理可以参考其他博客。
扩展资料1
扩展资料2

• L-softmax A-softmax AM-softmax
  L-softmax ：基于softmax加入了margin， Wx 改写为||w||||x||cos(角度)，将角度变为了m角度
  A-softmax ：a=Angular，归一化||w||为1，b=0，W*x 变成了cos(theta)，只优化角度
  AM-softmax : 将A-softmax中的角度乘法，改为了cos角度之后做减法，好像实现等于CosFace，只不过分析角度不同

• ArcFace CosFace SphereFace
  arcface sphereface cosface都在上面的基础上添加了margin，但是margin添加的位置不同；
  arcface直接作用于角度加法，使得类内角度尽量小；
  sphere直接作用于角度乘法，使得类内角度尽量小；
  cosface直接作用于cos角度计算之后，做减法，使得(cos角度)越大越好;