矩阵的奇异值（SVD）分解和线性变换

矩阵的奇异值（SVD）分解和线性变换

SVD定义

奇异值分解（Singular Value Decomposition，简称 SVD）是一种重要的线性代数工具，能够将任意矩阵 ($\mathbf{A}\in {\mathbb{R}}^{m\times n}$) 分解成三个特定结构的矩阵相乘的形式：
$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }$
这里，

$\mathbf{U}$ 是一个 $m\times m$阶正交矩阵；
$\mathbf{\Sigma }$ 是一个 $m\times n$阶对角矩阵，其对角线上元素称为奇异值，按降序排列；
$\mathbf{V}$是一个 $n\times n$阶正交矩阵。

计算过程

奇异值分解（Singular Value Decomposition，SVD）是一种重要的矩阵分解方法，在许多领域都有广泛应用，以下是其详细介绍：

定义与数学表达式

• 对于任意一个$m\times n$的矩阵$A$，奇异值分解是将其分解为三个矩阵的乘积形式，即$A=U\Sigma V^T$。
  • 其中$U$是一个$m\times m$的正交矩阵，其列向量称为左奇异向量。
  • $\Sigma$是一个$m\times n$的对角矩阵，其对角线上的元素称为奇异值，通常按从大到小的顺序排列，其他非对角元素均为零。
  • $V$是一个$n\times n$的正交矩阵，其列向量称为右奇异向量。

计算过程

• 首先计算矩阵$A^{T}A$和$A{A}^T$，它们分别是$n\times n$和$m\times m$的方阵。
• 然后求$A^{T}A$的特征值和特征向量，设其特征值为${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n\ge 0$，对应的单位特征向量为$v_1,v_2,\cdots ,v_n$，则$V=[v_1,v_2,\cdots ,v_n]$。
• 奇异值${\sigma }_i=\sqrt{{\lambda }_i}$，$i=1,2,\cdots ,n$，将其组成对角矩阵$\Sigma$。
• 最后通过$u_i=\frac{1}{{\sigma }_i}A{v}_i$（当${\sigma }_i\ne 0$时）计算左奇异向量，组成矩阵$U$。

几何意义

• 从几何角度看，矩阵$A$可以看作是从$n$维空间到$m$维空间的一个线性变换。奇异值分解将这个线性变换分解为三个步骤：
  • 首先是一个由$V^T$表示的旋转或反射变换，它作用于原始向量在$n$维空间中的坐标。
  • 然后是由$\Sigma$表示的缩放变换，它沿着各个坐标轴方向对向量进行不同程度的缩放，缩放的程度由奇异值决定。
  • 最后是由$U$表示的旋转或反射变换，它将经过缩放后的向量映射到$m$维空间中。

应用领域

• 数据压缩：在图像、视频等数据处理中，可利用奇异值分解对数据进行压缩。由于奇异值按大小排序，较大的奇异值包含了矩阵的主要信息，保留较大的奇异值，将较小的奇异值设为零，再通过分解后的矩阵重构数据，可以在损失较少信息的情况下实现数据的压缩。
• 主成分分析（PCA）：在数据分析和机器学习中，PCA用于降维和特征提取。通过对数据矩阵进行奇异值分解，可以找到数据的主要成分，即对应于较大奇异值的左奇异向量或右奇异向量，从而实现对数据的降维和特征提取，去除数据中的噪声和冗余信息。
• 推荐系统：在推荐系统中，可将用户-物品评分矩阵进行奇异值分解，通过低秩近似来预测用户对未评分物品的喜好程度，从而为用户提供个性化的推荐。
• 信号处理：在信号处理领域，奇异值分解可用于信号去噪、特征提取等。例如在语音识别中，对语音信号的特征矩阵进行奇异值分解，去除噪声对应的较小奇异值，可提高语音信号的质量和识别准确率。

示例

对称方阵的SVD

对于对称方阵$A$作奇异值分解，$A=QS{Q}^T$，其中$Q=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$，$Q$为旋转矩阵。

$$A=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]$$
令，
$$det(A-\lambda I)=0$$
即，

$$A-\lambda I=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]-\left[\begin{array}{cc}\lambda & 0\\ 0& \lambda \end{array}\right]=\left[\begin{array}{cc}2-\lambda & 1\\ 1& 2-\lambda \end{array}\right]$$
即，

${\lambda }^2-4\lambda +3=0$

即，

$(\lambda -1)(\lambda -3)=0$

故，矩阵$A$的特征值为${\lambda }_1=3$，${\lambda }_2=1$，

令，
$$\left[\begin{array}{cc}2-{\lambda }_1& 1\\ 1& 2-{\lambda }_1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$$
即，
$$-x_1+x_2=0，x_1-x_2=0$$
特征向量${\lambda }_1=3$对应的特征向量为$v_1=\left[\begin{array}{c}1\\ 1\end{array}\right]$，

同理，

特征向量${\lambda }_2=1$对应的特征向量为$v_2=\left[\begin{array}{c}-1\\ 1\end{array}\right]$。

把特征向量单位化，
$$v_1=\left[\begin{array}{c}1\\ 1\end{array}\right]=\left[\begin{array}{c}\frac{\sqrt{2}}{2}\\ \frac{\sqrt{2}}{2}\end{array}\right]$$

$$v_2=\left[\begin{array}{c}-1\\ 1\end{array}\right]=\left[\begin{array}{c}-\frac{\sqrt{2}}{2}\\ \frac{\sqrt{2}}{2}\end{array}\right]$$

故，
$$A=\left[\begin{array}{cc}\frac{\sqrt{2}}{2}& -\frac{\sqrt{2}}{2}\\ \frac{\sqrt{2}}{2}& \frac{\sqrt{2}}{2}\end{array}\right]\left[\begin{array}{cc}3& 0\\ 0& 1\end{array}\right]{\left[\begin{array}{cc}\frac{\sqrt{2}}{2}& -\frac{\sqrt{2}}{2}\\ \frac{\sqrt{2}}{2}& \frac{\sqrt{2}}{2}\end{array}\right]}^T$$

从线性变换的角度，

$Ax=QS{Q}^{T}x$，

旋转矩阵，

$Q=\left[\begin{array}{cc}\frac{\sqrt{2}}{2}& -\frac{\sqrt{2}}{2}\\ \frac{\sqrt{2}}{2}& \frac{\sqrt{2}}{2}\end{array}\right]$

缩放矩阵，

$S=\left[\begin{array}{cc}3& 0\\ 0& 1\end{array}\right]$

如下图所示，对黄色小正方形作线性变换$A$，可以分解成以下旋转、缩放和旋转变换，即$QS{Q}^T$（从右到左）：

1. 顺时针旋转$45^{\circ }$，将特征向量方向对齐坐标轴；
2. 在$X$轴放大3倍，$Y$轴上放大1倍；
3. 逆时针旋转$45^{\circ }$，恢复特征向量的初始方向。

换一种说法，对黄色小正方形作线性变换$A$，可以解释成小正方形在矩阵$A$的特征向量空间下作缩放操作。

任意矩阵SVD

对于任意矩阵，可以将$A{A}^T$和$A^{T}A$转换为对称方阵。

对于矩阵$A=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right]$，可以对其进行奇异值分解，以下是具体计算过程：

1. 计算$A^{T}A$和$A{A}^T$

$A^T=\left[\begin{array}{cc}1& 4\\ 2& 5\\ 3& 6\end{array}\right]$

$A^{T}A=\left[\begin{array}{cc}1& 4\\ 2& 5\\ 3& 6\end{array}\right]\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right]=\left[\begin{array}{ccc}17& 22& 27\\ 22& 29& 36\\ 27& 36& 45\end{array}\right]$

$A{A}^T=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right]\left[\begin{array}{cc}1& 4\\ 2& 5\\ 3& 6\end{array}\right]=\left[\begin{array}{cc}14& 32\\ 32& 77\end{array}\right]$

2. 求$A^{T}A$和$A{A}^T$的特征值和特征向量

• 对于$A^{T}A$，其特征方程为$|\lambda I-A^{T}A|=0$，即
  $\left|\begin{array}{ccc}\lambda -17& -22& -27\\ -22& \lambda -29& -36\\ -27& -36& \lambda -45\end{array}\right|=0$

通过计算可得特征值${\lambda }_1\approx 90.40267$，${\lambda }_2\approx 0.59732$，${\lambda }_3\approx 0$。

对应的特征向量分别为（近似值）：
$v_1\approx \left[\begin{array}{c}-0.42866713\\ -0.56630692\\ -0.7039467\end{array}\right]$，

$v_2\approx \left[\begin{array}{c}0.80596391\\ 0.11238241\\ -0.58119908\end{array}\right]$，

$v_3\approx \left[\begin{array}{c}0.40824829\\ -0.81649658\\ 0.40824829\end{array}\right]$

• 对于$A{A}^T$，其特征方程为$|\mu I-A{A}^T|=0$，即
  $\left|\begin{array}{cc}\mu -14& -32\\ -32& \mu -77\end{array}\right|=0$
  计算可得特征值${\mu }_1\approx 90.40267$，${\mu }_2\approx 0.59732$。
  对应的特征向量分别为（近似值）：
  $u_1\approx \left[\begin{array}{c}-0.386\\ -0.922\end{array}\right]$，$u_2\approx \left[\begin{array}{c}0.922\\ -0.386\end{array}\right]$

4. 确定奇异值和(U)、(V)矩阵
   奇异值${\sigma }_1=\sqrt{{\lambda }_1}\approx 9.508032$，${\sigma }_2=\sqrt{{\lambda }_2}\approx 0.77286$
   $U=\left[\begin{array}{cc}-0.386& 0.922\\ -0.922& -0.386\end{array}\right]$
   $V^T=\left[\begin{array}{ccc}-0.42866713& -0.56630692& -0.7039467\\ 0.80596391& 0.11238241& -0.58119908\\ 0.40824829& -0.81649658& 0.40824829\end{array}\right]$
5. 得到奇异值分解(A = U\Sigma V^{T})

$\Sigma =\left[\begin{array}{ccc}9.508032& 0& 0\\ 0& 0.77286964& 0\end{array}\right]$

$V^T=\left[\begin{array}{ccc}-0.42866713& -0.56630692& -0.7039467\\ 0.80596391& 0.11238241& -0.58119908\\ 0.40824829& -0.81649658& 0.40824829\end{array}\right]$

所以，

$A=U\Sigma V^T=\left[\begin{array}{cc}-0.386& 0.922\\ -0.922& -0.386\end{array}\right]\left[\begin{array}{ccc}9.508032& 0& 0\\ 0& 0.77286964& 0\end{array}\right]\left[\begin{array}{ccc}-0.42866713& -0.56630692& -0.7039467\\ 0.80596391& 0.11238241& -0.58119908\\ 0.40824829& -0.81649658& 0.40824829\end{array}\right]$

下面用python代码检验：

import numpy as np# 定义一个示例矩阵
A = np.array([[1, 2,3],[4, 5,6]])# 进行奇异值分解
U, S, VT = np.linalg.svd(A)# 打印结果
print("矩阵 A:")
print(A)print("\n左奇异向量矩阵 U:")
print(U)print("\n奇异值矩阵 S:")
# 注意：np.linalg.svd 返回的 S 是一个一维数组，包含奇异值
# 为了得到完整的对角矩阵 Σ，需要手动构建
Sigma = np.zeros((A.shape[0], A.shape[1]))
Sigma[:min(A.shape), :min(A.shape)] = np.diag(S)
print(Sigma)print("\n右奇异向量矩阵 V 的转置 VT:")
print(VT)# 验证奇异值分解结果
reconstructed_A = np.dot(U, np.dot(Sigma, VT))
print("\n通过奇异值分解重构的矩阵 A:")
print(reconstructed_A)