Softmax 回归 + 损失函数 + 图片分类数据集【动手学深度学习v2】李沐动手学深度学习课程笔记

目录

Softmax回归

损失函数

图片分类数据集

Softmax回归从零开始实现

Softmax回归简洁实现

---

Softmax回归

回归和分类的区别

回归问题举例上节课的预测房价问题，分类问题就是对样本进行分类

回归和分类的具体区别

假设真实的类别为第i个类别（值为1），其他类别都是假的（值为0），选择i最大化置信度

置信度的规则

选择i使得置信度远大于其他的类别的置信度

置信度相当于概率

y hat是一个长为n的向量 下面那个公式的操作是使得和为1，也就是说yi hat可以作为概率，两个Y的区别就可以作为损失

softmax的损失函数

softmax回归总结

损失函数

均方损失

蓝色：Y=0时，变化预测值Y’的函数（二次函数）

绿色：似然函数（高斯分布）

橙色：损失函数的梯度（穿过原点的一次函数），决定了如何更新参数

梯度和预测值的相对关系决定了参数更新的变化程度

L1损失函数

蓝色：预测值、绿色：似然函数、橙色：导数

好处：稳定

不好：零点处不可导

综合以上两种损失函数，自己造的完美损失函数

梯度和实际值的相对关系

---

图片分类数据集

Fashion-MNIST数据集

下载数据集到内存

transforms.totensor() 将图像数据转化为浮点数格式

train=true 下载训练数据集 download=true默认在网上下载

第一张图片的形状 1表示Channel 28x28

打标签、输出图像函数

输出

画两行，每行有九张图片

读取数据

shuffle 决定是否要打乱数据集的顺序

timer用来测试速度（读取数据的速度通常要比模型速度快很多）

下载数据集

resize可以选择把图片变得更大

---

Softmax回归从零开始实现

softmax是所有深度学习的基础

iter 训练集和测试集的迭代器

拉成向量（会损失信息，可以用卷积神经网络恢复）

矩阵求和

keepdim=true 表示还是二维矩阵 X是一个矩阵

实现softmax

一个实例

实现softmax回归模型

-1表示自动计算（实际表示批量大小）

举个例子

y_hat是预测值

y_hat [ [0,1], y] 拿出对真实标号那个类的预测值

实现交叉熵损失函数

预测类别与真实元素进行比较

评估任意模型的准确率

Accumulator

softmax回归训练

可视化

训练函数

优化损失函数

训练模型

对图片进行分类预测

Softmax回归简洁实现