深度学习之反向传播

0 特别说明

0.1 学习视频源于：b站：刘二大人《PyTorch深度学习实践》

0.2 本章内容为自主学习总结内容，若有错误欢迎指正！

1 forward（前馈运算）过程

通过输入相应的x和权重w（可能涉及bais偏置量）从而得到结果z，再通过loss计算出z与真实值之间的差距。这个过程称为forward前馈运算。在这个过程中，我们会计算z对x和z对w的偏导数。

 

2 back propagation反向传播（BP算法）过程

用最后的loss函数对z求偏导数，再与前馈运算得出的偏导数进行链式法则，从而得出loss函数对x的偏导和对w的偏导。这个过程叫做反向传播。（图中红线部分）

 3 激活函数的作用

3.1 不使用激活函数时，表达式不断进行线性变换，无论有多少层网络，最终表达式都会变成y=wx+b的形式。即1层网络和n层网络没有任何区别，每层增加的权重则没有意义。

 3.2 为了解决3.1的问题，我们对每一层的结果通过激活函数进行非线性变换

 4 前馈运算和反向传播实例流程图

通过前馈和BP的结果，再进行梯度下降优化，最终找到最优w值。