深度学习的数学基础--Homework2

学习资料：https://www.bilibili.com/video/BV1mg4y187qv/?spm_id_from=333.788.recommend_more_video.1&vd_source=d6b1de7f052664abab680fc242ef9bc1

神经网络的特点：它不是一个解析模型，它的储存在一堆参数里面（确定一个超平面），很难解释物理意义是什么，不能直观看出来。
评价网络的好坏：主要看的不是它的精度，而是看它是否具有很好的泛化能力（测试集）。

1943 M-P模型的3种形式（文字、公式、图形描述神经元）->1958 单层感知器->1986 误差反向传播(解决隐层权重求解)作为多层感知器的算法
Note：
1.数学模型是抽象出来的，所以把不方便考虑到可以简化掉
2.加权求和–实际上是对神经元接收到的信号进行空间整合（为什么没有时间整合，因为模型假设认为信号同时到达的）
3.为什么要有阈值：并不是膜电位改变后一定有输出，有输出的一定是膜电位改变超过了阈值，超过阈值以后才产生一个输出，这个【输出】和【改变后超出阈值的膜电位变化值】之间是一个函数关系，f是输出函数/转移函数/激活函数 ，x(t)是输入信号
4.多层感知器（又称三层BP网），因为大部分多层感知器的算法是BP算法，但实际上还有其它算法。此处三层包括了输入层，实际上具有信号处理能力的层只有两层。
5.误差信号${\delta }_j^y$,${\delta }_k^o$≠误差$\Delta v$,$\Delta w$。为什么引入误差信号的概念呢？从网络前向传播角度看，可以方便表示权值修正公式；从网络反向传播角度看，将误差信号作为输入层可以计算隐藏层的误差。
误差信号的构成有三个部分。
6.为什么要进行误差反传：由于只有输出层有教师信号（监督信号），输出层误差可以计算，而中间层并没有教师信号，所以这导致隐藏层的误差无法计算，因此也无法得到权值调整公式$\Delta v$。
为了能够调整初始化的权值参数/让婴儿的大脑习得知识，我们用输出层的误差信号反传（反传过程中，误差信号相当于一个输入向量，需要对输入向量加权求和），从而得到隐藏层的误差信号。一旦隐藏层的误差信号有了，就可以算出来权值调整公式即隐藏层的误差。简言之，为了反传时可以根据误差信号获得隐藏层的误差）

单层感知器的功能：线性分类器分类的原理：把分类的知识分布式地存储在权向量（参数）里面
调参：就是调整分类界面的位置