【Math】导数、梯度、雅可比矩阵、黑塞矩阵

导数、梯度、雅可比矩阵、黑塞矩阵都是与求导相关的一些概念，比较容易混淆，本文主要是对它们的使用场景和定义进行区分。

首先需要先明确一些函数的叫法（是否多元，以粗体和非粗体进行区分）：

• 一元函数：$f(x):\mathbb{R}⟶\mathbb{R}$
• 多元函数：$f(\mathbf{x}):{\mathbb{R}}^n⟶\mathbb{R}$
• 向量函数：$\mathbf{f}(\mathbf{x}):{\mathbb{R}}^n⟶{\mathbb{R}}^m$

例如：

• 函数$y=x$为一元函数
• 函数$y=x_1+2x_2$为多元函数
• 函数$\{\begin{array}{l}{y}_1=x_1+2x_2\\ y_2=2x_1+x_2\end{array}$为向量函数

概念详解

导数

针对一元函数：$f(x):\mathbb{R}⟶\mathbb{R}$，近似：

$$f(x)\approx f(x_0)+f^{\prime }(x_0)(x-x_0)$$

梯度

针对多元函数：$f(\mathbf{x}):{\mathbb{R}}^n⟶\mathbb{R}$，是导数的推广， 它的结果是一个向量：

$$▽f=\left[\begin{array}{c}\frac{\partial f}{\partial x_1}\\ \frac{\partial f}{\partial x_2}\\ ...\\ \frac{\partial f}{\partial x_n}\end{array}\right]$$

近似：

$$f(\mathbf{x})\approx f({\mathbf{x}}_0)+▽f({\mathbf{x}}_0)(\mathbf{x}-{\mathbf{x}}_0)$$

雅可比矩阵

针对向量函数：$\mathbf{f}(\mathbf{x}):{\mathbb{R}}^n⟶{\mathbb{R}}^m$

如果函数$\mathbf{f}(\mathbf{x}):{\mathbb{R}}^n⟶{\mathbb{R}}^m$在点$\mathbf{x}$处可微的话，在点$\mathbf{x}$的雅可比矩阵即为该函数在该点的最佳线性逼近，也代表雅可比矩阵是一元函数的导数在向量函数的推广。在这种情况下，雅可比矩阵也被称作函数$\mathbf{f}$在点$\mathbf{x}$的微分或者导数，其中行数为$\mathbf{f}$的维数；列数为$\mathbf{x}$的维度。

$$\mathbf{J}=\left[\begin{array}{ccc}\frac{\partial \mathbf{f}}{\partial x_1}& ...& \frac{\partial \mathbf{f}}{\partial x_n}\end{array}\right]=\left[\begin{array}{ccc}\frac{\partial f_1}{\partial x_1}& ...& \frac{\partial f_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial f_m}{\partial x_1}& ...& \frac{\partial f_m}{\partial x_n}\end{array}\right]$$

矩阵分量：

$${\mathbf{J}}_{ij}=\frac{\partial f_i}{\partial x_j}$$

近似：

$$\mathbf{f}(\mathbf{x})\approx \mathbf{f}({\mathbf{x}}_0)+\mathbf{J}({\mathbf{x}}_0)(\mathbf{x}-{\mathbf{x}}_0)$$

黑塞矩阵

针对多元函数：$f:{\mathbb{R}}^n⟶\mathbb{R}$，有点二阶导数的意思。

$$\mathbf{H}=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& ...& \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& ...& \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& ...& \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$$

矩阵分量：

$${\mathbf{H}}_{ij}=\frac{{\partial }^{2}f}{\partial x_i\partial x_j}$$

近似：

$$f(\mathbf{x})\approx f({\mathbf{x}}_0)+▽f({\mathbf{x}}_0)(\mathbf{x}-{\mathbf{x}}_0)+\frac{1}{2}(\mathbf{x}-{\mathbf{x}}_0{)}^T\mathbf{H}({\mathbf{x}}_0)(\mathbf{x}-{\mathbf{x}}_0)$$

实例

对于最简单的一元函数 $y=2x$，则该一元函数的导数为：$y^{\prime }=2$。这是最基础的了。

对于一个多元函数 $y=x_1^4{x}_2+3x_2+x_2{e}^{x_3}$，则：

该多元函数的梯度为：

$$▽=\left[\begin{array}{c}\frac{\partial y}{\partial x_1}\\ \frac{\partial y}{\partial x_2}\\ \frac{\partial y}{\partial x_3}\end{array}\right]=\left[\begin{array}{c}4x_1^3{x}_2\\ x_1^4+3+e^{x_3}\\ x_2{e}^{x_3}\end{array}\right]$$

该多元函数的黑塞矩阵为：

$$\mathbf{H}=\left[\begin{array}{ccc}\frac{{\partial }^{2}y}{\partial x_1^2}& \frac{{\partial }^{2}y}{\partial x_1\partial x_2}& \frac{{\partial }^{2}y}{\partial x_1\partial x_3}\\ \frac{{\partial }^{2}y}{\partial x_2\partial x_1}& \frac{{\partial }^{2}y}{\partial x_2^2}& \frac{{\partial }^{2}y}{\partial x_2\partial x_3}\\ \frac{{\partial }^{2}y}{\partial x_3\partial x_1}& \frac{{\partial }^{2}y}{\partial x_3\partial x_2}& \frac{{\partial }^{2}y}{\partial x_3^2}\end{array}\right]=\left[\begin{array}{ccc}12x_1^2{x}_2& 4x_1^3& 0\\ 4x_1^3& 0& e^{x_3}\\ 0& e^{x_3}& x_2{e}^{x_3}\end{array}\right]$$

视该多元函数的梯度为一个向量函数，即：

$$\{\begin{array}{l}{y}_1=4x_1^3{x}_2\\ y_2=x_1^4+3+e^{x_3}\\ y_3=x_2{e}^{x_3}\end{array}$$

那么，该多元函数的雅可比矩阵为：

$$\mathbf{J}=\left[\begin{array}{ccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_1}{\partial x_2}& \frac{\partial y_1}{\partial x_3}\\ \frac{\partial y_2}{\partial x_1}& \frac{\partial y_2}{\partial x_2}& \frac{\partial y_2}{\partial x_3}\\ \frac{\partial y_3}{\partial x_1}& \frac{\partial y_3}{\partial x_2}& \frac{\partial y_3}{\partial x_3}\end{array}\right]=\left[\begin{array}{ccc}12x_1^2{x}_2& 4x_1^3& 0\\ 4x_1^3& 0& e^{x_3}\\ 0& e^{x_3}& x_2{e}^{x_3}\end{array}\right]$$

可以看出，黑塞矩阵是多元函数$f(\mathbf{x})$的梯度对自变量$\mathbf{x}$的雅可比矩阵。

总结

• 梯度是雅可比矩阵的一个特例：当向量函数为标量函数时（$\mathbf{f}$向量维度为1），雅可比矩阵是梯度向量
• 黑塞矩阵是多元函数$f(\mathbf{x})$的梯度对自变量$\mathbf{x}$的雅可比矩阵

相关阅读

• 多元函数的泰勒(Taylor)展开式
• 梯度vs Jacobian矩阵vs Hessian矩阵
• 导数、梯度、 Jacobian、Hessian