深度学习11-20

1.神经元的个数对结果的影响：
（http://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html）

（1）神经元3个的时候

（2）神经元是10个的时候

神经元个数越多，可能会产生过拟合现象。

2.正则化和激活函数

（1）隐层1的神经元增加一个，相当于输入层输入一组参数

（2）正则化的作用
1）惩罚力度对结果的影响
惩罚力度=训练的loss+r(w)
惩罚力度小的时候，模型奇形怪状。
随着浪荡增大，测试集的效果更好

2）神经元，参数个数对结果的影响
64，128，256，512
（3）激活函数
sigmoid函数当梯度为0（斜率为0）的时候，不进行更新和传播，即梯度消失。

所以提出reLu函数，变量x<0,直接为0.

3.标准化

（1）数据预处理
把点中心化：把实际坐标值-均值。放缩：除以标准差

（2）参数初始化
（d,h)矩阵的行和列数

（3）Drop-out：在神经网络的训练过程中，在某一次的迭代中，每一层随机的按照固定的比例杀死一些神经元，不参与后序的更新与传播。杀死的神经元可能会在其他迭代中派上用场。Drop-out是个比例。防止神经网络训练过程太复杂。测试阶段没必要杀死。
过拟合是神经网络的一个大问题。

（4） 文字作填充、图像作标准化

根据loss值反向传播求出w1,w2,w3

过拟合解决方法：drop-out或者relu函数

5.卷积神经网络应用领域

（1）

(2)应用领域:检测任务、分类与检索、超分辨率重构、医学任务（ocr的字体识别）、无人驾驶、人脸识别

6.卷积网络与传统网络的区别

1. NN(神经网络）-》CNN（卷积神经网络）
   

2. cnn处理三维数据（hwc)
   

3. 卷积层提取特征，池化层压缩特征，全连接层用一组权重参数连接起来

5.例子，x对应输入数据，w代表权重参数，蓝色矩阵下面的脚标就代表权重参数。最后的结果总和对应的是绿色矩阵里面的参数。 这个12也代表粉红色的那个331小矩阵的值为12.

也就是内积计算

6.图像颜色通道
（1）图像颜色通道 ：R通道、G通道、B通道

（2）输入数据第三个维度c为3的话，过滤器filter的第三个维度也等于3.
如果过滤器（k,l,w)=(4,4,3)，所以原始输入的数据（a,b,c)里面（a,b)选取也要（4，4）这样才能一一对应。



将R+G+B的值相加 sum=0+2+0=2
最后加上偏置参数b
sum+b=2+1=3
所以输出的绿色第一个矩阵是3
(3）得到特征图表示
第三个维度指的是深度，深度也就是特征图的个数
7.步长与卷积核大小对结果的影响

（1）步长越大是粗粒度的，提取的特征越少。


e.g.6:6代表的是6个过滤器。
e.g.10: 10代表的是10个过滤器。

（2）图像任务一般是步长为1的（然后图像中h,w是一样的），提取的特征比较多，但是时间效率低。
（3）卷积核越小越细粒度的提取（一般最小的卷积核是3*3）
（4）边缘填充：越往边界的点，使用的次数越小；越往中间的点，使用的次数越多。
0只是做一下扩充，对最终结果没有影响。填充1圈0也可以，填充2圈0也可以，看你自己。

8.特征图尺寸计算与参数共享
(1)H2:代表结果；H1代表原始的输入；F代表过滤器的尺寸；2P:代表H长度是两边都要有0

(2)权重参数，也就是每个区域选择相同的卷积核计算，也就是权重参数。