多分类交叉熵与稀疏分类交叉熵

总结：

• 标签为 One-hot 编码的多分类问题，用分类交叉熵
• 对于标签为整数的多分类问题，用稀疏分类交叉熵

稀疏分类交叉熵内部会将整数标签转换为 One-hot 编码，而如果标签已经是 One-hot 编码的形式，再使用稀疏分类交叉熵就会多此一举。

算例

假设我们有三个类别：A、B 和 C。对于某个样本，其真实标签为 B。

   使用 One-hot 编码，标签表示为：

• A: [1, 0, 0]
• B: [0, 1, 0]
• C: [0, 0, 1]

   设模型输出的预测概率为：

• A: 0.1
• B: 0.7
• C: 0.2

   则预测概率的向量为 [0.1, 0.7, 0.2]

--分类交叉熵

其中p是真实分布（One-hot 编码），q是预测分布，

H=−[0,1,0]⋅l