《机器学习by周志华》学习笔记-神经网络-01神经元模型

1、背景

本书所谈的「人工神经网络」不是生物学意义的神经网络。这是T.Kohonen 1988年在Neural Networks创刊号上给出的定义。

2、概念

2.1、神经网络

关于「神经网络(neural networks)」的研究很早就已经出现过，今天的「神经网络」已经是一个比较大且多学科交叉的领域，其概念为：

「神经网络」是由具有适应性的「简单单元」组成的广泛、并行、互连的网络，他的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

我们在机器学习中谈论的神经网络指的是「神经网络学习」，是「机器学习」与「神经网络」这两个学科领域的交叉部分。

2.2、神经元模型

神经元（neuron）亦翻译为「unit」，还可以用「bias」表示。注意这里的「bias」不是「阈值」，但其含义却类似于阀门，来控制输入与输出。

「神经元模型」是神经网络(neural networks)中最基本的成分，即上述神经网络概念中的「简单单元（unit）」

• 在中学阶段所学的生物神经网络中，每个神经元与其他的神经元相连，组成神经网络，传递信号。当某个神经元的电位超过了一个「阈值（threshold）」就会被激活，向链接的其他神经元发送化学物质，改变他们的电位。
• 通过这种神经元之间的信号传递，我们可以做出很多操作和指令。例如简单的走路、向左看等动作。

我们将上述生物学的原理应用到计算机中，用于生活中对于任何信号的反应，1943年McCulloch 和 Pitts就将其抽象为如下的简单模型，也就是一直沿用至今的「M-P神经元模型」。

在「M-P神经元模型」