深度学习-卷积神经网络实战文档注释

1、call 方法
是一个特殊的方法，它允许类的实例表现得像函数一样。也就是说，你可以使用圆括号 () 来调用一个实例，就像调用普通函数一样。
当你调用 model(input_data) 时，实际上是调用了模型的 __ call __ 方法，其会自动调用 forward() 方法，完成前向传播的计算。而不需要（显示地）手动调用 model.forward(input_data)。
2、什么是卷积神经网络
卷积神经网络是一种带有卷积结构的深度神经网络，卷积结构可以减少深层网络占用的内存量，其三个关键的操作，其一是局部感受野，其二是权值共享，其三是 pooling 层，有效的减少了网络的参数个数，缓解了模型的过拟合问题。
3、卷积神经网络注意事项
数据驱动的模型一般依赖于数据集的大小，CNN 和其他经验模型一样，能够适用于任意大小的数据集，但用于训练的数据集应该足够大， 能够覆盖问题域中所有已知可能出现的问题。
4、正交初始化（Orthogonal Initialization）
是一种用于神经网络权重初始化的方法，旨在使权重矩阵具有正交性。正交矩阵的行或列是彼此正交并且单位化的，这种初始化方式有助于维持梯度的规模，防止在深度神经网络训练过程中发生梯度爆炸或消失。
正交初始化的具体实现步骤
生成随机矩阵：首先，从均值为0、方差为1的高斯分布中随机生成一个矩阵。
奇异值分解（SVD）：对生成的随机矩阵进行奇异值分解（SVD），得到两个正交矩阵U和V，以及一个对角矩阵Σ。
选择正交矩阵：从U和V中选择一个作为初始化后的权重矩阵。通常选择形状与目标权重矩阵匹配的那个。
正太分布、均匀分布和正交分布都叫随机初始化
5、零值初始化
在零值初始化中，所有权重 W 和偏置 b 都被设置为零：
W=0,b=0
零值初始化的问题
对称性问题：
如果所有权重都初始化为零，那么在训练过程中，所有神经元的输出和梯度更新都会相同。这导致模型无法有效学习，因为所有的隐含单元都计算相同的函数，这种情况称为对称性问题（Symmetry Breaking Problem）。
例如，对于一个简单的神经网络，如果所有权重都初始化为零，那么每个神经元的输入和输出在每一层都会相同，梯度更新也会相同，从而无法打破对称性。
梯度消失问题：
由于所有初始值都为零，梯度在反向传播过程中也会非常小，这可能导致梯度消失问题，使得模型难以收敛。
6、如何选择激活函数
（1）任选其一：若网络层数不多
（2）ReLU：若网络层数较多
不宜选择sigmoid、tanh，因为它们的导数都小于1，sigmoid的导数更是在[0, 1/4]之间。
根据微积分链式法则，随着网络层数增加，导数或偏导将指数级变小。
所以，网络层数较多的激活函数其导数不宜小于1也不能大于1，大于1将导致梯度爆炸，导数为1最好，而relu正好满足这个要求。
7、全局平均池化
常用于卷积神经网络的末端，以替代传统的全连接层，减少模型的参数量，简化网络结构，提高计算效率
8、正则化为啥能够防止过拟合
首先，模型越复杂，越容易过拟合，即我们想要拟合的是一般规律，但是模型却会把一些噪声也拟合进来。
其次，权重参数可以决定模型复杂度，当很多参数接近0（影响变小），甚至为0时，模型的很多项将失效，可以借助多项式理解，复杂度自然降低。
最后，正则化项可以让很多权重参数为0，比如L2正则化项，它是由权重参数的平方求和再求平方根，所以为了让损失函数最小，受到正则化项的惩罚，权重参数就会尽量小。
8.1 L1正则化
形式为参数的绝对值求和再乘以一个正则化超参数
目的是使冗余的参数置零，只保留权重大的前N个参数。所以也叫做特征选择。
8.2 L2正则化
L2正则化（权重衰减） —— 过拟合参数趋近于0
L2正则化（L2范数），通常表示为：||W||2：指权值向量 W 中各个元素的平方和，然后求平方根。
特点：又叫权重衰减。即抑制模型中产生过拟合的参数，使其趋近于0（而不等于0），影响变小。
特点：倾向于让所有参数的权值尽可能小。
8.3 dropout正则化
对于使用了 Dropout 的神经网络，在反向传播时，只会对参与正向传播的神经元的权重参数进行更新，被丢弃的神经元的权重参数不会更新。以下是具体的原因和过程：
Dropout 的工作原理
在训练过程中，Dropout 随机地丢弃（即置零）一部分神经元的输出。这意味着在每次前向传播时，有一部分神经元的输出被置为零，这些神经元在当前的前向传播中不参与计算。
反向传播的链式法则
反向传播是基于链式法则进行的。链式法则表明，每个权重参数的梯度是通过其对应的神经元的输出和下游神经元的梯度计算得到的。如果一个神经元的输出在前向传播中被置为零，那么在反向传播时，这个神经元的梯度也会被置为零，因为它的输出对最终的损失函数没有贡献。
权重参数的更新
在反向传播时，每个权重参数的更新量是根据其梯度计算得到的。如果一个神经元的梯度为零，那么其对应的权重参数的更新量也为零，即这个权重参数不会被更新。
在卷积层中的应用
在 CNN 中，卷积层的输出是一个多维的特征图（feature map）。Dropout 在卷积层中的应用通常有两种形式：标准 Dropout 和 Spatial Dropout。
标准 Dropout
工作原理：
标准 Dropout 会在特征图的每个元素上独立地应用 Dropout。也就是说，每个特征图中的每个像素点都有一定的概率被置为零。
例如，假设有一个特征图的形状为 (N,C,H,W)，其中 N 是批量大小，C 是通道数，H 和 W 是特征图的高度和宽度。标准 Dropout 会在每个元素上独立地应用 Dropout，每个元素被丢弃的概率为 p。
实现：
在 PyTorch 中，可以使用 nn.Dropout 来实现标准 Dropout。
self.dropout = nn.Dropout(p=0.5)
Spatial Dropout
工作原理：
Spatial Dropout 与标准 Dropout 不同，它是在特征图的整个通道上应用 Dropout。也就是说，整个通道的特征图要么全部保留，要么全部丢弃。
例如，假设有一个特征图的形状为 (N,C,H,W)，Spatial Dropout 会在每个通道上独立地应用 Dropout，每个通道被丢弃的概率为 p。
这种方法可以更好地保留特征图的空间结构，因为整个通道的特征图要么全部保留，要么全部丢弃，不会破坏特征图的空间相关性。
实现：
在 PyTorch 中，可以使用 nn.Dropout2d 来实现 Spatial Dropout。
self.dropout = nn.Dropout2d(p=0.5)
参考
https://blog.csdn.net/shinuone/article/details/127289512
https://blog.csdn.net/jiaoyangwm/article/details/80011656