三 动手学深度学习v2 —— Softmax回归+损失函数+图片分类数据集

1. softmax回归
2. 损失函数

1. softmax回归
回归vs分类:

• 回归估计一个连续值
• 分类预测一个离散类别

从回归到多类分类
回归

• 单连续数值输出
• 自然区间R
• 跟真实值的误差作为损失

分类

• 通常多个输出
• 输出i是预测为第i类的置信度

总结：

2. 损失函数

1. L2 loss 均方损失
   $l(y,y^{\prime })=\frac{1}{2}(y-y^{\prime }{)}^2$
2. L1 loss 绝对值损失函数
   $l(y,y^{\prime })=|y-y^{\prime }|$
   0点处不可导，不平滑
3. Huber’s Robust Loss
   $$l(y,y^{\prime })\{\begin{array}{llc}|y-y^{\prime }|-\frac{1}{2},& if& |y-y^{\prime }|>1\\ \frac{1}{2}(y-y^{\prime }{)}^2,& otherwise& \end{array}$$

3. softmax回归从零开始实现