svd在求解最小二乘中的应用

线性最小二乘的直接解法（正规方程解法）

对于$\mathbf{A}x=b$的线性最小二乘问题，有直解析解：$x=(A^{\mathrm{T}}A{)}^{-1}{A}^{\mathrm{T}}b$

什么是伪逆？

对于正方形满秩矩阵而言存在逆矩阵，但是对于非正方形矩阵（行列数量不等）或者秩亏矩阵而言，若$A^{+}$满足以下四个条件：
$$A{A}^{+}A=A\text{. }$$

$$A^{+}A{A}^{+}=A^{+}\text{. }$$

$${\left(A{A}^{+}\right)}^T=A{A}^{+}.$$

$${\left(A^{+}A\right)}^T=A^{+}A$$
则称$A^{+}$为矩阵$A$的伪逆矩阵，也称为Moore–Penrose 逆矩阵。

伪逆矩阵的一般形式

• 当 $A$ 是列满秩矩阵时有：
  $$A^{+}={\left(A^{T}A\right)}^{-1}{A}^T\text{. }$$

此时称为左伪逆矩阵，此时满足 $A^{+}A=I$.

• 当 $A$ 是行满秩矩阵（秩亏）时有：
  $$A^{+}=A^{\ast }{\left(A{A}^{\ast }\right)}^{-1}\text{. }$$
  此时称为右伪逆矩阵，此时满足 $A{A}^{+}=I$.
  可以发现伪逆的一般形式与线性最小二乘的直接解法形式相同（二者相差右乘系数b）

伪逆矩阵与SVD的关系

由$A$ 的奇异值分解性质可知：$$\left(A^{T}A\right)V={\Sigma }^{2}V得：\left(A^{T}A\right)=V{\Sigma }^2{V}^{-1}$$
因为：$$A^{\mathrm{T}}={\left(V^{\mathrm{T}}\right)}^{\mathrm{T}}{\Sigma }^{\mathrm{T}}{U}^{\mathrm{T}}=V{\Sigma }^{\mathrm{T}}{U}^{\mathrm{T}}$$.
$U,V$为正交矩阵，所以：
$$U^T=U^{-1},V^T=V^{-1}$$

• 当 $A$ 是列满秩矩阵时（参数数量小于方程数量，此时有最小二乘解）有：
  $$A^{+}={\left(A^{T}A\right)}^{-1}{A}^T=(V{\Sigma }^2{V}^{-1}{)}^{-1}V\Sigma U^{-1}=V{\Sigma }^{-1}{U}^T$$
  可以发现：利用SVD分解可以求解线性最小二乘问题。此外可以发现$\Sigma$(奇异值)对于解的稳定性（是否是病态方程组）至关重要。特别地，当$A$为满秩方阵时，奇异值最大值与最小值的比值为矩阵$A$的条件数，条件数反应了矩阵$A$元素对方程解稳定性的影响程度。

参考
1
《线性代数及其应用》7.4
2
3
4
华东师范大学：第三讲线性最小二乘问题