深度学习-05-反向传播理论知识

深度学习-05-反向传播理论知识

本文是《深度学习入门2-自製框架》 的学习笔记，记录自己学习心得，以及对重点知识的理解。如果内容对你有帮助，请支持正版，去购买正版书籍，支持正版书籍不仅是尊重作者的辛勤劳动，也是鼓励更多优秀作品问世。

当前笔记内容主要为：步骤5 反向传播理论知识 章节的相关理解。

书籍总共分为5个阶段，每个阶段分很多步骤，最终是一步一步实现一个深度学习框架。例如前两个阶段为：

第 1 阶段共包括 10 个步骤 。 在这个阶段，将创建自动微分的机制
第 2 阶段，从步骤11-24，该阶段的主要目标是扩展当前的 DeZero ，使它能够执行更复杂的计算 ，使它能 够处理接收多个输入的函数和返回多个输出的函数

1.链式法则

要说到链式法则，就要想到高数里面的求导数的链式法则，想到这个 链式法则，我就想到了微分的对立积分里面的分布积分法，哈哈哈。现在感觉微积分有用了。当年做了那么多微分积分练习，没想到古人不余欺，还是有用的。

链式法则用于计算复合函数的导数。它指出，复合函数的导数等于其外层函数的导数乘以其内层函数的导数。

2.反向传播的推导

函数计算图

dy/dx 可以表示为：

dy/dx 的计算图：

3.用计算图表示

正向传播图 vs 反向传播图

可以认为变量虽有普通值和导数值，函数有普通计算(正向传播)和求导计算(反向传播)

4.总结

反向传播，链式法则是该框架的精髓，如果不了解，不熟悉可以找到高等数学书籍再次补充知识。