线性代数之QR分解和SVD分解

1.QR分解

矩阵的正交分解又称为QR分解，是将矩阵分解为一个正交矩阵Q和一个上三角矩阵R的乘积的形式。
任意实数方阵A，都能被分解 。这里的Q为正交单位阵，即 R是一个上三角矩阵。这种分解被称为QR分解。
QR分解也有若干种算法，常见的包括Gram–Schmidt、Householder和Givens算法。 QR分解是将矩阵分解为一个正交矩阵与上三角矩阵的乘积。用一张图可以形象地表示QR分解：

Schmidt正交化

定理1
设A是n阶实非奇异矩阵,则存在正交矩阵Q和实非奇异上三角矩阵R使A有QR分解;且除去相差一个对角元素的绝对值（模）全等于1的对角矩阵因子外,分解是唯一的.

定理2
设A是m×n实矩阵,且其n个列向量线性无关,则A有分解A=QR,其中Q是m×n实矩阵,且满足QHTQ=E,R是n阶实非奇异上三角矩阵该分解除去相差一个对角元素的绝对值（模）全等于1的对角矩阵因子外是唯一的.用Schmidt正交化分解方法对矩阵进行QR分解时，所论矩阵必须是列满秩矩阵。

用施密特正交计算方法如下：

Householder变换

Householder法QR分解例子：

QR分解的应用

QR 分解经常用来解线性最小二乘法问题。

2. 求矩阵特征值、特征向量的基本方法

由于SVD分解会涉及到矩阵特征值和特征向量的求解，因此有必要简单介绍下矩阵特征值的求解方法。

3.SVD分解

奇异矩阵是指行列式值为零的方阵，它具有以下特点：

非满秩：矩阵的秩小于其阶数，意味着行向量或列向量线性相关。
不可逆：没有逆矩阵，因为逆运算要求行列式不为零。
零空间非空：存在非零向量与之相乘结果为零向量。
与线性方程组求解相关：如果系数矩阵奇异，方程组可能无解或有无穷多解。
非奇异矩阵的对比：非奇异矩阵（可逆矩阵）行列式不为零，满秩，有唯一逆矩阵和零解。

矩阵的特征值和奇异值是线性代数中重要的概念，它们之间存在一定的关系。

对于一个方阵，其特征值是该矩阵在空间中的特殊向量方向上的缩放因子。特征值可以通过解矩阵的特征值问题得到，即找到满足方程 Ax = λx 的非零向量 x 和标量 λ。

而对于一个非方阵的矩阵，它的奇异值则是矩阵的秩和特征向量的相对缩放因子。奇异值分解（SVD）可以将矩阵分解为三个部分：U、Σ 和 V^T，其中 U 和 V 是正交矩阵，Σ 是一个对角矩阵，对角线上的元素就是矩阵的奇异值。

有以下关系：
对于一个方阵，其特征值等于其奇异值。
对于一个非方阵的矩阵，其奇异值是其特征值的平方根。
需要注意的是，特征值和奇异值所描述的信息不完全相同，特征值更多地描述了矩阵在特定方向上的缩放，而奇异值则更多地描述了矩阵整体的缩放和旋转。它们在不同的应用领域和问题中有着不同的用途和解释。

例题分析：

SVD分解的应用

1.降维
通过上面的式子很容易看出，原来矩阵AA的特征有nn维。而经过SVD分解之后，完全可以用前rr个非零奇异值对应的奇异向量表示矩阵AA的主要特征。这样，就天然起到了降维的作用。
2.压缩
还是看上面的式子，再结合第三部分的图，也很容易看出，经过SVD分解以后，要表示原来的大矩阵AA，我们只需要存U，Σ，V三个较小的矩阵的即可。而这三个较小矩阵的规模，加起来也远远小于原有矩阵AA。这样，就天然起到了压缩的作用。

参考文献

SVD分解和QR分解—Apple的学习笔记
Math-Model（五）正交分解(QR分解)
householder进行矩阵QR分解
QR分解－givens旋转与Householder变换
特征值，特征向量和矩阵对角化
数值计算3：特征值、特征向量和对角化
超详细解释奇异值分解（SVD）【附例题和分析】
奇异值分解（SVD）
这是我见过最通俗易懂的SVD（奇异值分解）算法介绍
https://math.ecnu.edu.cn/~jypan/Teaching/NA/2021/slides_03D_LS.pdf
https://math.ecnu.edu.cn/~jypan/Teaching/NA/2021/slides_02A_LU.pdf
https://math.ecnu.edu.cn/~jypan/Teaching/NA/2021/