【C++游戏引擎开发】《线性代数》（6）：SVD（奇异值分解）的数学原理与实现

一、奇异值分解（SVD）的数学定义

奇异值分解​（Singular Value Decomposition，SVD）是一种将任意实数或复数矩阵分解为三个特定矩阵乘积的方法。其数学定义如下：

1.1 分解形式

给定一个秩为$r$的矩阵$\mathbf{A}\in {\mathbb{R}}^{m\times n}$（或${\mathbb{C}}^{m\times n}$），其 SVD 分解为：
$$\mathbf{A}=\mathbf{U\Sigma }{\mathbf{V}}^T$$
其中：
-$\mathbf{U}\in {\mathbb{R}}^{m\times m}$（或${\mathbb{C}}^{m\times m}$）是正交矩阵（酉矩阵），其列向量称为左奇异向量。
-$\mathbf{V}\in {\mathbb{R}}^{n\times n}$（或${\mathbb{C}}^{n\times n}$）是正交矩阵（酉矩阵），其列向量称为右奇异向量。
-$\mathbf{\Sigma }\in {\mathbb{R}}^{m\times n}$（或${\mathbb{C}}^{m\times n}$）是对角矩阵，其非对角线元素为 0，对角线元素${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$称为奇异值，其余元素为 0。

1.2 矩阵结构说明

1. ​矩阵$\mathbf{U}$和$\mathbf{V}$的性质：

   • 正交性：${\mathbf{U}}^T\mathbf{U}={\mathbf{I}}_m$，${\mathbf{V}}^T\mathbf{V}={\mathbf{I}}_n$。
   • 列向量构成正交基：左奇异向量 { u 1 , … , u m } \{\mathbf{u}_1, \dots, \mathbf{u}_m\} {u1​,…,um​}是$\mathbf{A}{\mathbf{A}}^T$的特征向量，右奇异向量 { v 1 , … , v n } \{\mathbf{v}_1, \dots, \mathbf{v}_n\} {v1​,…,vn​}是${\mathbf{A}}^T\mathbf{A}$的特征向量。

2. ​矩阵$\mathbf{\Sigma }$的结构：
   Σ = [ σ 1 0 ⋯ 0 0 ⋯ 0 0 σ 2 ⋯ 0 0 ⋯ 0 ⋮ ⋮ ⋱ ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ σ r 0 ⋯ 0 0 0 ⋯ 0 0 ⋯ 0 ⋮ ⋮ ⋱ ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ 0 0 ⋯ 0 ] m × n \mathbf{\Sigma} = \begin{bmatrix} \sigma_1 & 0 & \cdots & 0 & 0 & \cdots & 0 \\ 0 & \sigma_2 & \cdots & 0 & 0 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sigma_r & 0 & \cdots & 0 \\ 0 & 0 & \cdots & 0 & 0 & \cdots &