深度学习之微积分预备知识点

极限（Limit）

• 定义：表示某一点处函数趋近于某一特定值的过程，一般记为 

极限是一种变化状态的描述，核心思想是无限靠近而永远不能到达

• 公式： 表示 x 趋向 a 时 f(x) 的极限。

知识点	口诀	解释
极限的存在	左右极限需相等	左极限等于右极限，极限才存在
极限求值	小数接近分母带	分子分母消掉无关，最后代入极限值
无限极限	无穷大趋向无穷多	x 趋向无穷大时，函数会无界
常数极限	常数极限还是常	常数不随 x 变化，其极限为常数本身

总结：

• 极限是“左等于右”，常数不变小数带。

---

导数（Derivative）

• 定义：函数的局部性质，导数表示函数变化率，即在某一点的斜率。

           对函数y = f(x)来说，其导数可以用符号f'(x)来表示。也可记为

• 公式：。

知识点	口诀	解释
导数定义式	变化速率瞬间看	导数即函数在某点的变化率
斜率	斜率即导数	曲线的导数等于该点处切线的斜率
导数存在条件	连续光滑无跳变	函数在该点必须连续且光滑

总结：

• 导数看斜率，曲线随点变。

---

微分（Differentiation）

• 定义：微分是导数的线性近似，表示函数在小变化下的增量。

• 公式：，表示 dx 的微小变化引起 dy 的变化。

微分近似小变大，导差线性接着算。

• 知识点	口诀	解释
  微分近似	小变大差线性算	微分表示函数的增量，是导数的线性近似
  一阶微分	导数导差就是微分	微分与导数等价于线性变化

  总结：

• 微分近似小变大，导差线性接着算。

• 导数表示变化率，微分表示变化量

---

偏导数（Partial Derivative）

• 定义：偏导数表示多元函数在某一点处关于某一变量的导数，其他变量保持不变。
• 公式：符号 来表示多元函数 ，关于x的偏导数 即：

知识点	口诀	解释
偏导数	看谁变化锁其他	偏导数只看一个变量，其他变量保持不变
偏导数几何意义	高维斜率看切面	在多维空间中，偏导数表示函数沿某轴的斜率
计算方法	变量固定逐个求	对每个变量分别求导

总结：

• 偏导锁定一变量，高维斜率看切面。

---

梯度（Gradient）

• 定义：梯度是函数在多维空间中变化最快的方向，一个包含所有偏导数的向量。符号是
• 公式： 对函数  来说，其梯度向量是  

  梯度下降算法中，参数更新公式为   

知识点	口诀	解释
梯度定义	快速上升靠梯度	梯度表示函数变化最快的方向
梯度计算	多维偏导排成队	梯度是各个偏导数排列成的向量
梯度方向	梯度方向最快升	梯度方向表示函数上升最快的方向

总结：

• 梯度导快升，排队各偏导。

---

链式求导法则（Chain Rule）

• 定义：链式法则用于复合函数的求导，即导数分为外层函数和内层函数分别求导。

假设对实数x,有可微函数f 和 g,其中z = f(y) ,y = g(x)，那么，链式法则公式如下  

所谓链式法则，就是一层一层增加可以互相抵消的分子分母

例子：

有函数     和  , 计算    的导数，可得

• 公式：

知识点	口诀	解释
链式法则	内外分导再相乘	外层函数的导数乘以内层函数的导数
链式求导应用	多层复合层层解	对于多层复合函数，逐层求导

总结：

• 链式分内外，逐层导相乘。

---

记忆口诀

• 极限：“左等于右，常数不变小数带”，极限需要左右一致，小数极限直接代入。
• 导数：“导数看斜率，曲线随点变”，导数表示函数在一点的斜率，函数形状随点变化。
• 微分：“微分近似小变大，导差线性接着算”，微分表示函数的线性近似，是导数的进一步延伸。
• 偏导数：“偏导锁定一变量，高维斜率看切面”，多变量函数中只看一个变量的变化，其余固定。
• 梯度：“梯度导快升，排队各偏导”，梯度表示函数上升最快的方向，是各偏导数的组合。
• 链式法则：“链式分内外，逐层导相乘”，链式法则用于复合函数的求导，逐层求导并相乘。