当前位置：首页 > news >正文

【漫话机器学习系列】121.偏导数（Partial Derivative）

偏导数（Partial Derivative）详解

在数学分析、机器学习、物理学和工程学中，我们经常会遇到多个变量的函数。这些函数的输出不仅取决于一个变量，而是由多个变量共同决定的。那么，当其中某一个变量发生变化时，函数的输出如何变化呢？这就涉及到了偏导数（Partial Derivative）的概念。

偏导数是多变量微积分的重要工具，它描述了一个多变量函数对其中某一个变量的变化率。在最优化问题、梯度计算、物理模拟等多个领域，偏导数都扮演着关键角色。

本文将详细介绍：

设 $f(x_1, x_2, ..., x_n)$ 是一个由多个变量 $x_1, x_2, ..., x_n$ 组成的函数，我们希望研究函数在某个变量 xix_ixi 上的变化趋势，而保持其他变量不变，则偏导数的定义如下：

$\frac{\partial f}{\partial x_i} = \lim_{\Delta x_i \to 0} \frac{f(x_1, ..., x_i + \Delta x_i, ..., x_n) - f(x_1, ..., x_i, ..., x_n)}{\Delta x_i}$

其中：

普通导数（单变量函数的导数）是研究一个变量的函数 y = f(x) 随着 x 变化的变化率：

$f'(x) = \lim_{\Delta x \to 0} \frac{f(x+\Delta x) - f(x)}{\Delta x}$

而偏导数适用于多个变量的函数，它只关注某一个变量的变化率，其他变量保持不变。

计算偏导数时，我们假设所有变量除了要求偏导的变量外都是常数，然后按照普通导数的方法求导。

给定函数：

$f(x, y) = x^2 + 3xy + y^2$

求 fff 对 x 和 y 的偏导数。

（1）对 x 求偏导

$\frac{\partial f}{\partial x} = \frac{\partial}{\partial x} (x^2 + 3xy + y^2)$

所以：

$\frac{\partial f}{\partial x} = 2x + 3y$

（2）对 y 求偏导

$\frac{\partial f}{\partial y} = \frac{\partial}{\partial y} (x^2 + 3xy + y^2)$

所以：

$\frac{\partial f}{\partial y} = 3x + 2y$

偏导数可以继续求导，形成二阶偏导数，甚至更高阶的偏导数。二阶偏导数有两种情况：

继续对示例 1的 $f(x, y) = x^2 + 3xy + y^2$ 计算二阶偏导数：

纯二阶偏导：

$\frac{\partial^2 f}{\partial x^2} = \frac{\partial}{\partial x} (2x + 3y) = 2$
$\frac{\partial^2 f}{\partial y^2} = \frac{\partial}{\partial y} (3x + 2y) = 2$
混合二阶偏导：

$\frac{\partial^2 f}{\partial x \partial y} = \frac{\partial}{\partial y}$
$\frac{\partial^2 f}{\partial y \partial x} = \frac{\partial}{\partial x} (3x + 2y) = 3$