吴恩达深度学习——神经网络编程的基础知识

文章内容来自BV11H4y1F7uH，仅为个人学习所用。

二分分类

假设有一张图片作为输入，判断该图片是不是猫，如果是猫，输出1，否则输出0。用$x$表示输入，$y$表示输出。

图片在计算机中用三个二维矩阵分别表示RGB。假设该图片像素大小为64*64，那么矩阵行*列为64*64。这里为了简单起见，画出3个5*4的矩阵。

将这些值放入一个特征向量$\mathbf{x}$，有$$\mathbf{x}=\left[\begin{array}{c}255\\ ...\\ 202\\ 255\\ ...\\ 94\\ 255\\ ...\\ 142\end{array}\right]$$

对于64*64的三张图片，总维度大小为64*64*3=12288，有$$n=n_x=12288$$

使用$n_x$表示输入的特征向量的维度，简单起见，用$n$代替。

一些符号说明

• $(\mathbf{x},y)$表示一个单独的样本。其中$\mathbf{x}$是$n$维的特征向量，$y$是标签，值为 { 0 , 1 } \{{0,1\}} {0,1}。
• $m$表示训练集由$m$个样本构成，$({\mathbf{x}}^{(1)},y^{(1)})$表示样本一的输入输出；$({\mathbf{x}}^{(2)},y^{(2)})$表示样本二的输入输出；$({\mathbf{x}}^{(1)},y^{(1)})$…$({\mathbf{x}}^{(m)},y^{(m)})$表示整个训练集。
  • $m_{train}$可以表示为训练集的样本个数。
  • $m_{test}$可以表示为测试集的样本个数。
• 使用更为方便的符号$$\mathbf{X}=\left[\begin{array}{ccc}|& |& |\\ x^{(1)}& x^{(2)}& x^{(3)}\\ |& |& |\end{array}\right]$$表示训练集，该矩阵有$m$列，有$n$行。
• 使用符号$$\mathbf{Y}=\left[\begin{array}{cccc}{y}^{(1)}& y^{(2)}& ...& y^{(m)}\end{array}\right]$$表示输出标签。

py中，X.shape()函数用于输出矩阵的维度。对于$\mathbf{X}$，输出结果为$(n_x,m)$，对于$\mathbf{Y}$，输出结果为$(1,m)$。

逻辑斯蒂回归

传统的线性回归函数$\hat{y}=w^T\mathbf{x}+b$

Logistics回归是一个学习算法，用于在监督学习问题中，输出标签是0或1时。这是一个二元分类问题。

已知输入特征向量$\mathbf{x}$可能是一张图片，希望识别出是不是猫的图片。根据某个算法得出预测值$\hat{y}$，当输入特征值满足条件的时候，$\hat{y}$是1。这里的$\mathbf{x}$是一个$n_x$维的向量。

Logistics回归的参数中，$\mathbf{w}$也是一个$n_x$维的向量，$b$是一个实数。使用传统的线性回归函数$\hat{y}=w^T\mathbf{x}+b$并不是一个很好的二元分类算法。$\hat{y}$应该落入0~1之间，但是这个函数并不在此区间。

Sigmoid激活函数

Sigmoid激活函数表达式为$$S(x)=\frac{1}{1+e^{-x}}$$

Sigmoid 函数将输入的任意实数映射到区间(0,1)内，这一特性使得它在很多情况下可用于将输入转换为表示概率的输出，因此在二分类问题中应用广泛。

逻辑斯蒂函数表达式为$$P(x)=\frac{1}{1+e^{-(a+bx)}}$$当a=0，b=1时，就是标准的Sigmoid激活函数，Sigmoid激活函数是逻辑斯蒂函数的一个特例，通常使用$\sigma (x)$表示。

使用Sigmoid激活函数作用到该表达式中，有预测值$$\hat{y}=\sigma (w^T\mathbf{x}+b)$$

逻辑斯蒂回归损失函数

对于函数$$\hat{y}=\sigma (w^T\mathbf{x}+b)$$给定训练集$({\mathbf{x}}^{(1)},y^{(1)})$…$({\mathbf{x}}^{(m)},y^{(m)})$，想要得到$\widehat{y^{(i)}}\doteq y^{(i)}$。

损失函数

损失函数（Loss Function）是用于衡量模型预测值与真实值之间差异的函数。

• 损失函数的值越小，表示模型的预测结果与真实结果越接近。在模型训练过程中，通过不断地调整模型的参数（如神经网络中的权重和偏置），使损失函数的值逐渐减小，从而使模型不断优化，提高预测的准确性。
• 损失函数还可以用于评估不同模型或同一模型在不同参数设置下的性能。通常，在验证集或测试集上计算损失函数的值，值越小的模型性能越好。

一些常见的损失函数如下：

1. 均方误差（Mean Squared Error，MSE）
   • 公式：$MSE=\frac{1}{n}{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2$，其中$n$是样本数量，$y_i$是真实值，${\hat{y}}_i$是预测值。
   • 应用场景：常用于回归问题，例如预测房价、股票价格等连续值的预测任务。它对较大的误差给予更大的惩罚，因为误差是平方的，所以能使模型更关注较大的偏差。
   • 特点：计算简单，导数也容易计算，方便使用梯度下降等优化算法进行优化。但对异常值比较敏感，因为异常值的平方会使损失值增大很多。
2. 交叉熵损失（Cross-Entropy Loss）

   • 二分类情况：

     • 公式：$CE=-\frac{1}{n}{\sum }_{i=1}^n[y_i\log ({\hat{y}}_i)+(1-y_i)\log (1-{\hat{y}}_i)]$，其中$y_i$取值为0或1，${\hat{y}}_i$是模型预测样本$i$为正类的概率。

     注意这里的$log$是国外的写法，实际上是$ln$

     • 应用场景：广泛应用于二分类问题，如垃圾邮件分类、疾病诊断等。当真实标签$y_i=1$时，损失函数只与$\log ({\hat{y}}_i)$有关，模型会尽量使${\hat{y}}_i$接近1；当$y_i=0$时，损失函数只与$\log (1-{\hat{y}}_i)$有关，模型会尽量${\hat{y}}_i$接近0。
     • 特点：能够很好地反映模型预测的概率分布与真实分布之间的差异，并且在梯度计算上比较方便，有利于模型的快速收敛。

成本函数

成本函数是一个用于衡量机器学习模型性能的函数，它通常是关于模型参数的函数，其值表示模型在训练数据上的性能表现。成本函数的值越低，通常表示模型在训练数据上的表现越好。

与损失函数的关系

• 成本函数和损失函数密切相关，在许多情况下，它们可能会被混淆使用。损失函数通常是针对单个训练样本计算的误差，而成本函数是对整个训练数据集上的损失函数值进行求和或平均。
• 损失函数侧重于衡量单个样本预测的误差，而成本函数是对整个训练集的总体误差度量，它是优化算法在训练过程中需要最小化的目标。

常见的成本函数，对于二分类问题：$J(\mathbf{w},b)=-\frac{1}{m}{\sum }_{i=1}^m[y^{(i)}\log ({\hat{y}}^{(i)})+(1-y^{(i)})\log (1-{\hat{y}}^{(i)}]$。

综上，Logistics函数可以看作一个非常小的神经网络。

梯度下降法

对于函数

现在需要做的就是找到合适的$\mathbf{w}$与b使得成本函数$J$的值最小。

$\mathbf{w}$是一个向量，为了简单起见这里认为是实数，b也是实数。可以看到成本函数$J$是一个凸函数（注意是这里是西方的说法，开口向上的曲线，称为上凹，或称为下凸。视频中讲上凸或下凸）。

梯度下降在图像上直观理解图片中红色部分，从任意一点沿着某条路径到达最小值。

对于一维的成本函数

使用梯度下降$$w:=w-\alpha \frac{\mathrm{d}J(w)}{\mathrm{d}x}$$反复计算来更新$w$的值（:=表示更新$w$的值）。

计算图

举例$$J(a,b,c)=3(a+bc)$$计算过程如下
$$u=bc$$$$v=a+u$$$$J=3v$$
画出流程图，从左到右是正向传播，可以计算出$J$的值。
从右到左是反向传播，可以求导（链式法则）。
$$\frac{\mathrm{d}J}{\mathrm{d}v}=(3v{)}^{\prime }=3$$$$\frac{\mathrm{d}J}{\mathrm{d}a}=\frac{\mathrm{d}J}{\mathrm{d}v}\frac{\mathrm{d}v}{\mathrm{d}a}=(3v{)}^{\prime }(a+u{)}^{\prime }=3$$$$\frac{\mathrm{d}J}{\mathrm{d}u}=\frac{\mathrm{d}J}{\mathrm{d}v}\frac{\mathrm{d}v}{\mathrm{d}u}=(3v{)}^{\prime }(a+u{)}^{\prime }=3$$$$\frac{\mathrm{d}J}{\mathrm{d}b}=\frac{\mathrm{d}J}{\mathrm{d}v}\frac{\mathrm{d}v}{\mathrm{d}u}\frac{\mathrm{d}u}{\mathrm{d}b}=(3v{)}^{\prime }(a+u{)}^{\prime }(bc{)}^{\prime }=3c$$$$\frac{\mathrm{d}J}{\mathrm{d}c}=\frac{\mathrm{d}J}{\mathrm{d}v}\frac{\mathrm{d}v}{\mathrm{d}u}\frac{\mathrm{d}u}{\mathrm{d}c}=(3v{)}^{\prime }(a+u{)}^{\prime }(bc{)}^{\prime }=3b$$
为了编程的方便，定义$\mathrm{d}v=\frac{\mathrm{d}J}{\mathrm{d}v}$、$\mathrm{d}a=\frac{\mathrm{d}J}{\mathrm{d}a}$…

逻辑斯蒂回归中的梯度下降法

单个样本下的梯度下降

对于Logistic回归的公式

假设样本只有两个特征$x1$、$x2$。为了计算$z$，需要输入$w1$、$w2$和$b$。
反向传播进行计算，有$${}^{\prime \prime }\mathrm{d}{a}^{\prime \prime }=\frac{\mathrm{d}L}{\mathrm{d}a}=-\frac{y}{a}+\frac{1-y}{1-a}$$$$\frac{\mathrm{d}a}{\mathrm{d}z}=\frac{e^{-x}}{(1+e^{-x}{)}^2}=a(1-a)$$$${}^{\prime \prime }\mathrm{d}{z}^{\prime \prime }=\frac{\mathrm{d}L}{\mathrm{d}z}=\frac{\mathrm{d}L}{\mathrm{d}a}\frac{\mathrm{d}a}{\mathrm{d}z}=(-\frac{y}{a}+\frac{1-y}{1-a})(a(1-a))=a-y$$$$\frac{\mathrm{d}L}{\mathrm{d}{w}_1}=\frac{\mathrm{d}L}{\mathrm{d}a}\frac{\mathrm{d}a}{\mathrm{d}z}\frac{\mathrm{d}z}{\mathrm{d}{w}_1}=\frac{\mathrm{d}L}{\mathrm{d}z}{x}_1=x_1\mathrm{d}z$$$$\frac{\mathrm{d}L}{\mathrm{d}{w}_2}=\frac{\mathrm{d}L}{\mathrm{d}a}\frac{\mathrm{d}a}{\mathrm{d}z}\frac{\mathrm{d}z}{\mathrm{d}{w}_2}=\frac{\mathrm{d}L}{\mathrm{d}z}{x}_2=x_2\mathrm{d}z$$$$\frac{\mathrm{d}L}{\mathrm{d}b}=\frac{\mathrm{d}L}{\mathrm{d}a}\frac{\mathrm{d}a}{\mathrm{d}z}\frac{\mathrm{d}z}{\mathrm{d}b}=\frac{\mathrm{d}L}{\mathrm{d}z}=\mathrm{d}z$$
梯度下降计算，有$$w_1:=w_1-\alpha \mathrm{d}{w}_1$$$$w_2:=w_2-\alpha \mathrm{d}{w}_2$$$$b:=b-\alpha \mathrm{d}b$$

m个样本的梯度下降

对于$m$个样本，在编程时，令$J=0$，$\mathrm{d}{w}_1=0$，$\mathrm{d}{w}_2=0$，$\mathrm{d}w...=0$、$\mathrm{d}b=0$
伪代码如下：


该伪代码有两层for，时间复杂度较大。因此，需要使用向量化技术来摆脱显式的for循环。

向量化

对于$$z={\mathbf{w}}^T\mathbf{x}+b$$，其中，$\mathbf{w}$、$\mathbf{x}$都是列向量。在py中使用np.dot()方法，就可以实现向量化技术。通过代码来感受向量化与非向量化之间的差距。

import numpy as np
import time# 生成一个包含 1000000 个元素的一维数组，数组中的元素是在范围 [0, 1) 内均匀分布的随机浮点数。
a = np.random.rand(1000000)
b = np.random.rand(1000000)# 向量化
tic = time.time()
c = np.dot(a, b)
toc = time.time()print(c)
print(toc - tic)# 非向量化
c = 0
ticc = time.time()
for i in range(1000000):c += a[i]*b[i]
tocc = time.time()print(c)
print(tocc - ticc)

因此，能使用numpy库的向量化技术的就不要使用for之类的循环。

关于向量化技术部分光听理论比较抽象，最好通过吴恩达配套的作业进行编码加深理解。

向量化技术

训练集$\mathbf{X}=\left[\begin{array}{ccc}|& |& |\\ x^{(1)}& x^{(2)}& x^{(3)}\\ |& |& |\end{array}\right]$，代入公式分别计算Z和a，有$$\mathbf{Z}=\left[\begin{array}{cccc}{z}^{(1)}& z^{(2)}& z^{(3)}& ...\end{array}\right]={\mathbf{w}}^T\mathbf{X}+b=\left[\begin{array}{cccc}{w}^T{x}^{(1)}& w^T{x}^{(2)}& w^T{x}^{(3)}& ...\end{array}\right]+\left[\begin{array}{cccc}b& b& b& ...\end{array}\right]$$使用向量化技术，有$$\mathbf{Z}=np.dot(w^T,x)+b$$在这里的+b使用到了py中的广播，是py的语法。

计算出的$\mathbf{Z}$代入a，有$$\mathbf{A}=\left[\begin{array}{cccc}{a}^{(1)}& a^{(2)}& a^{(3)}& ...\end{array}\right]$$

向量化技术计算m个训练数据的梯度

之前对$\mathrm{d}w$做了向量化，现在要进一步消去for：

numpy的向量

import numpy as np# 生成5个随机高斯变量，存在数组a中
# 秩为1的数组，一维数组，有5个数据
# 既不是行向量也不是列向量
a = np.random.randn(5)
print(a.shape)
print(a)
print(np.dot(a, a.T))# 5*1的列向量
b = np.random.randn(5, 1)
print(b.shape)
print(b)
print(b.T)
print(np.dot(b, b.T))

不要使用第一种方式创建数据，它是一个数组而不是向量，应该使用第二种方式创建数据。