图示矩阵分解

特征值与特征向量

设 $A$ 是 n 阶矩阵，如果存在数 $\lambda$ 和 n 维非零列向量 $x$，满足关系式：

$$Ax=\lambda x(1)$$

则数 $\lambda$ 称为矩阵 $A$ 的特征值，非零向量 $x$ 称为矩阵 $A$ 的特征向量.

关系式（1）推导得到 $(A-\lambda E)x=0$，存在非零解 $x$ 的充分必要条件为系数行列式为零：

$$|A-\lambda E|=0(2)$$

上式是以 $\lambda$ 为未知数的一元 n 次方程，称为矩阵 $A$ 的特征方程。特征方程在复数范围内恒有解，解的个数为方程的次数（重根按重数计算），因此，n 阶矩阵 $A$ 在复数范围内有 n 个特征值。

设 n 阶矩阵 $A=(a_{ij})$ 的特征值为 ${\lambda }_1,{\lambda }_2,...,{\lambda }_n$

• ${\sum }_{i=1}^n{\lambda }_i={\sum }_{i=1}^n{a}_{ii}=tr(A)$
• ${\prod }_{i=1}^n{\lambda }_i=|A|$
• A 可逆的充分必要条件是 n 个特征值全不为零

有如下性质：

• 设 $\lambda$ 是方阵 $A$ 的特征值，则 ${\lambda }^2$ 是 $A^2$ 的特征值；当 $A$ 可逆时，$1/\lambda$ 是$A^{-1}$的特征值.

$A，B$ 都是 n 阶矩阵，若有可逆矩阵 $P$ ,使：

$$P^{-1}AP=B$$

则称 B 是 A 的相似矩阵。$P^{-1}AP$ 称为 A 的相似变换。

定理：相似矩阵的特征值相同.

对于 n 阶矩阵 A ， 若存在矩阵 P 满足 $P^{-1}AP=\Lambda$，则称矩阵 A 可对角化。

定理：一个 n 阶方阵 A 如果有 n 个不同的特征值，那么对应的 n 个特征向量互相线性独立

定理：任何 n 阶对称矩阵都有 n 个独立且正交的特征向量

图解特征值的含义：

A	特征值&特征向量	x	Ax
$$\left[\begin{array}{cc}0.5& 1\\ 0& 2\end{array}\right]$$	$$\begin{gathered} {\lambda }_1=0.5,p_1=[1,0{]}^T \\ {\lambda }_2=2,p_2=[0,1{]}^T \end{gathered}$$
$$\left[\begin{array}{cc}1& -1\\ -1& 1\end{array}\right]$$	$$\begin{gathered} {\lambda }_1=0,p_1=[1,1{]}^T \\ {\lambda }_2=2,p_2=[-1,1{]}^T \end{gathered}$$
$$\left[\begin{array}{cc}3& -1\\ -1& 3\end{array}\right]$$	$$\begin{gathered} {\lambda }_1=2,p_1=[1,1{]}^T \\ {\lambda }_2=4,p_2=[-1,1{]}^T \end{gathered}$$

Cholesky 分解（Cholesky Decomposition）

把一个对称正定的矩阵表示成一个下三角矩阵 L 与其转置的乘积的形式。

$$A=L{L}^T$$

特征值分解（Eigen Decomposition）

对角化条件：当且仅当A满秩（有n个独立的特征向量）时，有$A=P^{-1}DP$，P 为A的特征矩阵组成的可逆矩阵，D是有A的特征值组成的对角矩阵。

任何对称矩阵都可以对角化：

$$S=PD{P}^{-1}$$

其中 P 是由 n 个正交特征向量组成的矩阵，D 是有特征值组成的对角矩阵。

图解特征值分解：

$S=PD{P}^{-1}$	x	$P^{-1}x$	$D{P}^{-1}x$	$PD{P}^{-1}x$
$$\left[\begin{array}{cc}2& -1\\ -1& 2\end{array}\right]=$$ $$\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]\left[\begin{array}{cc}1& 0\\ 0& 3\end{array}\right]\left[\begin{array}{cc}\frac{1}{2}& \frac{1}{2}\\ \frac{1}{2}& -\frac{1}{2}\end{array}\right]$$

奇异值分解（Singular Value Decomposition）

SVD定理：设矩阵 $A^{m\times n}$ 的秩为$r\in (0,min(m,n))$，矩阵 A 的奇异值分解形式如下

$$A=U\Sigma V^T$$

其中 $U\in R^{m\times m}，V\in R^{n\times n}$ 是正交矩阵，$\Sigma \in R^{m\times n}$ 满足 ${\Sigma }_{ii}={\sigma }_i\ge 0,{\Sigma }_{ij}=0,i\ne j$，${\sigma }_i$称为奇异值。

图解奇异值分解：

$A=U\Sigma V^T$	x	$V^{T}x$	$\Sigma V^{T}x$	$U\Sigma V^{T}x$
$$\left[\begin{array}{cc}1& 1\\ 1& 1\\ 0& 0\end{array}\right]=$$ $$\left[\begin{array}{ccc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}& 0\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}2& 0\\ 0& 0\\ 0& 0\end{array}\right]{\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]}^T$$
$$\left[\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right]=$$ $$\left[\begin{array}{ccc}\frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\\ \frac{2}{\sqrt{6}}& 0& -\frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{6}}& -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\end{array}\right]\left[\begin{array}{cc}\sqrt{3}& 0\\ 0& 1\\ 0& 0\end{array}\right]{\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]}^T$$