深度学习知识点简单概述【更新中】

---

人工神经网络的定义

人工神经网络(英语:Artificial Neural Network，ANN)，简称神经网络(Neural Network,NN）或类神经网络，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑）的结构和功能的数学模型，用于对函数进行估计或近似。

ps：和其他机器学习方法一样，神经网络已经被用于解决各种各样的问题，例如机器视觉、自然语言处理 和 多模态。这些问题都是很难被传统基于规则的编程所解决的，也是神经网络大展宏图的地方

---

神经元的定义

1. 在生物神经网络
   每个神经元与其他神经元相连，当它"兴奋"时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位;如果某神经元的电位超过了一个阈值”，那么它就会被激活，即“兴奋"起来，向其他神经元发送化学物质。
2. 人工神经网络
   1943年，McCulloch和Pitts将上述情形抽象为上图所示的简单模型，这就是一直沿用至今的M-P神经元模型。把许多这样的神经元按一定的层次结构连接起来，就得到了人工神经网络。

---

神经元的功能

输入向量X进来后，与权向量W的转置进行內积操作，得到一个标量，再加上偏置项b，最后经过一个非线性的激活函数f，得到一个输出标量y。

用公式表示为：
$y=f(W^{T}X+b)$
ps：其中 $W^{T}X$（W转置后与X做矩阵乘法） 也可以写成 $W\cdot X$（W与X做內积/点积），但不要写成 $WX$

用图表示为：

---

单层神经网络

是最基本的神经元网络形式，由有限个神经元构成，所有神经元的输入向量都是同一个向量。由于每一个神经元都会产生一个标量结果，所以单层神经元的输出是一个向量，向量的维数等于神经元的数目。

---

感知机

todo