机器学习之单层神经网络的训练：增量规则（Delta Rule）

• 神经网络以权值的形式存储信息,根据给定的信息来修改权值的系统方法称为学习规则。由于训练是神经网络系统地存储信息的唯一途径，因此学习规则是神经网络研究中的一个重要组成部分

权重的调整

（Xj 为结点的输入，Yi为结点的输出，Wij为其之间的权重，ei为正确值di 与输出值Yi的误差）

• 如果一个输入节点导致了输出节点的误差，则两个节点之间的权重按输入值xj和输出误差ei的比例进行调整

那么这个公式：

α=学习率（0< a <1）

• 学习速率α决定了每次权重的多少。如果这个值过高，输出就会在解决方案中徘徊，无法收敛。相反，如果它太低，计算到达解的速度太慢

单层神经网络使用delta规则的训练过程

1.以足够的值初始化权重。
2.从{输入，正确输出}的训练数据中取“输入”，输入神经网络。计算从正确的输出di到输入的输出yi的误差。

3.根据以下delta规则计算权重更新：

4。调整重量为：

5。对所有训练数据执行步骤2-4。
6.重复步骤2-5，直到误差达到可接受的公差水平。

• 这些步骤几乎与“神经网络的监督学习”部分中的监督学习过程完全相同。唯一的区别是增加了步骤6。步骤6只是说明整个训练过程是重复的。一旦完成步骤5，就用每个数据点对模型进行训练。那么，为什么我们要使用所有相同的训练数据来训练它呢？这是因为delta规则在重复这个过程时搜索解决方案，而不是一次性解决它。3整个过程重复进行，因为用相同的数据再训练模型可能会改进模型。

训练过程