「高等数学」雅可比矩阵和黑塞矩阵的异同

「高等数学」雅可比矩阵和黑塞矩阵的异同

雅可比矩阵，Jacobi matrix 或者 Jacobian，是向量值函数（$f:{\mathbb{R}}^n\to {\mathbb{R}}^m$）的一阶偏导数按行排列所得的矩阵。

黑塞矩阵，又叫海森矩阵，Hesse matrix，是多元函数（$f:{\mathbb{R}}^n\to \mathbb{R}$）的二阶偏导数组成的方阵。

1、雅可比矩阵 $J_{m\times n}$

雅可比矩阵通常是一个mxn的矩阵。

给出一个向量值函数：$h(\mathbf{x})=(h_1(\mathbf{x}),h_2(\mathbf{x}),\cdots ,h_m(\mathbf{x}){)}^T$

它的雅可比矩阵是：

$$\mathbf{J}=\left[\begin{array}{ccc}\frac{\partial \mathbf{h}}{\partial x_1}& \cdots & \frac{\partial \mathbf{h}}{\partial x_n}\end{array}\right]=\left[\begin{array}{ccc}\frac{\partial h_1}{\partial x_1}& \cdots & \frac{\partial h_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial h_m}{\partial x_1}& \cdots & \frac{\partial h_m}{\partial x_n}\end{array}\right]$$

矩阵的每一行相当于每个向量值函数的分量的梯度的转置，或者叫一阶偏导数按行（row）排列。

一个n元实值函数的梯度的雅可比矩阵：
$$\mathbf{J}=D[\nabla f(\mathbf{x})]=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \cdots & \frac{{\partial }^{2}f}{\partial x_n\partial x_1}\\ & & & \\ \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n\partial x_2}\\ & & & \\ ⋮& ⋮& \ddots & ⋮\\ & & & \\ \frac{{\partial }^{2}f}{\partial x_1\partial x_n}& \frac{{\partial }^{2}f}{\partial x_2\partial x_n}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$$

2、黑塞矩阵 $H_{n\times n}$

黑塞矩阵一定是一个方阵。

二阶混合偏导数：
$$\frac{{\partial }^{2}f}{\partial y\partial x}=\frac{\partial }{\partial y}\left(\frac{\partial f}{\partial x}\right)=f_{xy}$$
对于一个n元实值函数$f(\mathbf{x})$，它的梯度为一个列向量：$\nabla f(\mathbf{x})=(f_{x_1}(\mathbf{x}),f_{x_2}(\mathbf{x}),\cdots ,f_{x_n}(\mathbf{x}){)}^T$

对其求二阶偏导数，并将偏导数按列（col）排列。
$$\mathbf{H}=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ & & & \\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ & & & \\ ⋮& ⋮& \ddots & ⋮\\ & & & \\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$$

---

因此：

1. 对于一个二阶可微的n元实值函数，它的黑塞矩阵的转置🟰它的梯度的雅可比矩阵。

2. 对于一个二阶连续可微的n元实值函数，其二阶混合偏导数：$\frac{{\partial }^{2}f}{\partial y\partial x}=\frac{{\partial }^{2}f}{\partial x\partial y}$。此时，其黑塞矩阵🟰它的梯度的雅可比矩阵。

3. 在很多地方，遇到的都是二阶连续可微的情况，因此有些地方对雅可比矩阵和黑塞矩阵不加以区分。