正定矩阵（Positive Definite Matrix）的定义与性质

正定矩阵（Positive Definite Matrix）的定义与性质

正定矩阵在优化、机器学习、信号处理等领域中有广泛应用。以下是其定义、几何解释及性质。

1. 定义

一个 $n\times n$ 的实对称矩阵 $A$ 是正定矩阵，当且仅当它满足以下等价条件之一：

1. 对任意非零向量 $x\in {\mathbb{R}}^n$，有：
   $$x^{T}Ax>0$$

2. 矩阵的所有特征值均为正。

3. 存在一个满秩矩阵 $B$，使得
   $$A=B^{T}B$$

4. （针对复矩阵）$A$ 是 Hermitian 矩阵（共轭对称矩阵），且所有特征值均为正。

对于复矩阵 $A$，如果满足 $x^{H}Ax>0$（其中 $x^H$ 表示 $x$ 的共轭转置），则称 $A$ 是正定矩阵。

2. 几何解释

正定矩阵 $A$ 定义了一种“度量”或“能量”：

• 二次型 $x^{T}Ax$ 表示向量 $x$ 在某种度量下的“能量”或“长度平方”。
• 如果 $A$ 是正定的，则度量是严格正的，说明 $A$ 表示一个严格凸的二次函数。

3. 性质

正定矩阵具有以下性质：

3.1 对称性

• 实正定矩阵必须是对称矩阵： $A=A^T$
• 复正定矩阵必须是 Hermitian 矩阵： $A=A^H$

3.2 特征值

• 正定矩阵的所有特征值均为正。
• 特征值的正性也可通过迹和行列式反映。

3.3 二次型非负

• 对任意向量 $x$，有：
  $$x^{T}Ax>0$$

3.4 主子式正性

• 正定矩阵的所有主子式（从左上角开始的任意子矩阵的行列式）均大于 0。

3.5 逆矩阵正定性

• 若 $A$ 是正定矩阵，则其逆矩阵 $A^{-1}$ 也正定。

4. 判定方法

判断一个矩阵是否为正定矩阵的方法：

1. 二次型检验
   检查 $x^{T}Ax>0$ 是否对任意非零 $x$ 成立。

2. 特征值检查
   计算矩阵的所有特征值，若均为正，则矩阵正定。

3. Cholesky 分解
   若矩阵 $A$ 可以进行 Cholesky 分解：
   $$A=L{L}^T$$
   （其中 $L$ 是下三角矩阵），则 $A$ 是正定的。

4. 主子式法则
   检查矩阵的所有主子式是否均为正。

5. 应用场景

正定矩阵广泛应用于以下领域：

1. 优化

   • 二次优化问题中，目标函数的 Hessian 矩阵若为正定，则目标函数是严格凸的。

2. 机器学习

   • 核矩阵（Kernel Matrix）必须是正定的。

3. 物理与工程

   • 用于描述系统的稳定性、能量以及正向性。