机器学习——奇异值分解二（特征分解+SVD纯理解）

矩阵的特征分解

特征值和特征向量的定义

抄来的：奇异值分解

困惑1：特征值和特征向量，和原矩阵是怎样的关系，需要一个栗子进行更具象的认识
困惑2：为什么多个特征向量组合成的矩阵，可以构成矩阵A的特征分解？需要推导
困惑3：为什么要特征向量标准化？
困惑4：标准正交基是什么，为什么满足$W^{T}W=I$
为什么。。。。

太多why，只能自己来解决吗。。。涕泪横流。。。

先来看看特征值和特征向量

特征值与特征向量的推导

求解特征向量与特征值

$Ax=\lambda x$，λ是特征值，但特征值可能会有多个，每个特征值都有对应的特征向量

根据$（A-\lambda E）x=0$，而需要x是非零向量，则要求A-λE的行列式为0，即$|A-\lambda E|=0$，就可以求出多个λ值
分别将λ值代入$|A-\lambda E|x=0$，就可以求出对应的特征向量x

question:为什么x是非零向量，$|A-\lambda E|=0$的行列式就为0呢？而不是$A-\lambda E=0$向量呢？

still,why?
毫不避讳地说：我大学线性代数是老师给的同情分，60分飘过
但我后来，有自己学习过的，现在也忘个精光了，现在还是重新梳理一遍吧，省的回头海马体又不争气

非零解与行列式值的关系

首先，先从求解矩阵的行列式方法，推导出【非零解与行列式值的关系】

求解行列式，要从【消元法】求解齐次方程组的权重系数w的过程讲起：

• $w_1{x}_{11}+w_2{x}_{12}+w_3{x}_{13}=0$ 式子①
• $w_1{x}_{21}+w_2{x}_{22}+w_3{x}_{23}=0$ 式子②
• $w_1{x}_{31}+w_2{x}_{32}+w_3{x}_{33}=0$ 式子③

通过消元法，求解$w_1、w_2、w_3$：

• 式子①保持：$w_1{x}_{11}+w_2{x}_{12}+w_3{x}_{13}=0$
• 式子②【数乘】【数加】消去$w_1$项
  • 数乘：$w_1{x}_{21}\frac{x_{11}}{x_{21}}+w_2{x}_{22}\frac{x_{11}}{x_{21}}+w_3{x}_{23}\frac{x_{11}}{x_{21}}=0$
  • 数加①： 式子② -式子①可得$w_1\ast 0+w_2(x_{22}\frac{x_{11}}{x_{21}}-x_{12})+w_3(x_{23}\frac{x_{11}}{x_{21}}-x_{13})=0$
  • 即简化为$w_1\ast 0+w_2{b}_2+w_3{b}_3=0$
• 式子③【数乘】【数加】消去$w_1、w_2$项
  • 数乘： $w_1{x}_{31}\frac{x_{11}}{x_{31}}+w_2{x}_{32}\frac{x_{11}}{x_{31}}+w_3{x}_{33}\frac{x_{11}}{x_{31}}=y_3\frac{x_{11}}{x_{31}}$
  • 数加①：式子③ -式子①可得$w_1\ast 0+w_2(x_{32}\frac{x_{11}}{x_{31}}-x_{12})+w_3(x_{33}\frac{x_{11}}{x_{31}}-x_{13})=0$
  • 数乘再数加消除$w2$，最终可化简为：$w_1\ast 0+w_2\ast 0+w_3{c}_3=0$

通过消元法后：

稍微整理，下列的a\b\c系列都是已知数，求出w

• $w_1{a}_1+w_2{a}_2+w_3{a}_3=0$
• $w_1\ast 0+w_2{b}_2+w_3{b}_3=0$
• $w_1\ast 0+w_2\ast 0+w_3{c}_3=0$

这种情况下，方程只有无解，零解和非零解三种情况
将系数写成矩阵$\left|\begin{array}{ccc}{a}_1& a_2& a_3\\ 0& b_2& b_3\\ 0& 0& c_3\end{array}\right|$，要使w1、w2、w3三个中有非零解，那就至少需要c3=0-

我觉得我在放屁。。。应该不是这样的，我再衡量衡量
还是偷别的up主教学吧
找个正解的线性代数（三）行列式的来历

好，即使上述关系能体现出，行列式不为零，则有非齐次线性方程组有非零解
但跟求特征根有什么关系呢？$(A-\lambda E)x=0$
求特征根是求齐次线性方程组的解，但原本求行列式时的方程是非齐次方程组
特征根λ的行列式是：
$\left|\begin{array}{ccc}{x}_{11}-\lambda & x_{12}& x_{13}\\ x_{21}& x_{22}-\lambda & x_{23}\\ x_{31}& x_{32}& x_{33}-\lambda \end{array}\right|$

然后我又去翻其他的资料，果然。。。前边的分析方向搞错了，只能证明非齐次线性方程组的非零解条件是：行列式≠0

继续论证，齐次线性方程组的非零解条件是：行列式=0，才能说明行列式与特征根的关系

所以，求解非零特征根，是要求齐次线性方程组对应的系数矩阵的秩小于元素个数，也就等同于矩阵的行列式为0。

衍生出新的问题：为什么行列式是这样算的，行列式的本质到底是什么？它的计算有什么代数或几何意义吗？
我觉得，我需要知道它。。。然后去找到知乎一篇文行列式本质
我粗看一遍，感觉这篇文章一定藏着我想要的答案，但首先，我要能看懂它…

我很绝望，行列式的定义是总结归纳出来的吗？
它没有个因果关系吗？
头疼。。。。。

任意矩阵，都可以通过【交换】、【倍乘】、【倍加】的方式，变成上三角矩阵，且不改变行列式的值
B站up主的俗说矩阵，非常好！

穿插理解：行列式

呜呜呜呜呜呜，经过我坚持不懈地在B站摸鱼划水，终于在众说纷纭中，打通了任督二脉
我好像是懂了，懂了n阶行列式的定义，为什么是这样的了！！！！

先摆上二阶行列式的定义：

再摆上三阶行列式的定义：

再摆上n阶行列式的定义：

I don’t know why，how，what
二阶、二阶推导到三阶，我还能理解，但是怎么推出n阶的？？？
非常头疼，看了很多解释，有些看起来很专业，但我还是不理解
直到回顾到B站的俗说矩阵的行列式按行按列展开
我才有种灵光一闪的开窍！！！哦！！！！

首先，在行列式的二、三阶定义中，可以推导出【数乘】【交换】【数加】三种变换时的行列式变化

• 【行或列数加】：行列式值无改变
• 【行或列数乘】：行列式值乘相同数
• 【行或列相邻交换】：行列式值为相反值
  

二阶可以由余子式累加得到
通过拆分成三角形式的行列式，可以更好地求的行列式
$\left|\begin{array}{cc}a& b\\ x_{21}& x_{22}\end{array}\right|=\left|\begin{array}{cc}a& 0\\ x_{21}& x_{22}\end{array}\right|+\left|\begin{array}{cc}0& b\\ x_{21}& x_{22}\end{array}\right|$

下三角无需更换行列，直接求得行列式
$\left|\begin{array}{cc}a& 0\\ x_{21}& x_{22}\end{array}\right|=a\left|\begin{array}{c}{x}_{22}\end{array}\right|=a{x}_{22}$

将行列式通过【变换】，变换成下三角后，再求行列式
$\left|\begin{array}{cc}0& b\\ x_{21}& x_{22}\end{array}\right|=-\left|\begin{array}{cc}b& 0\\ x_{22}& x_{21}\end{array}\right|=-b\left|\begin{array}{c}{x}_{21}\end{array}\right|=-b{x}_{21}$

相邻变换，行列式值会变为相反值，因此变换过程有负号产生

三阶也是如此，但三阶是可以由二阶推导来的
$\left|\begin{array}{ccc}{x}_{11}& x_{12}& x_{13}\\ x_{21}& x_{22}& x_{23}\\ x_{31}& x_{32}& x_{33}\end{array}\right|=\left|\begin{array}{ccc}{x}_{11}& 0& 0\\ x_{21}& x_{22}& x_{23}\\ x_{31}& x_{32}& x_{33}\end{array}\right|+\left|\begin{array}{ccc}0& x_{12}& 0\\ x_{21}& x_{22}& x_{23}\\ x_{31}& x_{32}& x_{33}\end{array}\right|+\left|\begin{array}{ccc}0& 0& x_{13}\\ x_{21}& x_{22}& x_{23}\\ x_{31}& x_{32}& x_{33}\end{array}\right|$

第一个直接构成下三角

• $\left|\begin{array}{ccc}{x}_{11}& 0& 0\\ x_{21}& x_{22}& x_{23}\\ x_{31}& x_{32}& x_{33}\end{array}\right|=x_{11}\left|\begin{array}{cc}{x}_{22}& x_{23}\\ x_{32}& x_{33}\end{array}\right|=x_{11}\left|\begin{array}{cc}{x}_{22}& 0\\ x_{32}& x_{33}\end{array}\right|+x_{11}\left|\begin{array}{cc}0& x_{23}\\ x_{32}& x_{33}\end{array}\right|$
• $x_{11}\left|\begin{array}{cc}{x}_{22}& 0\\ x_{32}& x_{33}\end{array}\right|+x_{11}\left|\begin{array}{cc}0& x_{23}\\ x_{32}& x_{33}\end{array}\right|=x_{11}\left|\begin{array}{cc}{x}_{22}& 0\\ x_{32}& x_{33}\end{array}\right|-x_{11}\left|\begin{array}{cc}{x}_{23}& 0\\ x_{33}& x_{32}\end{array}\right|$
• 最终得到：$x_{11}\ast x_{22}{x}_{33}-x_{11}{x}_{23}{x}_{32}$

第二个需要变换1次，才成为下三角

• $\left|\begin{array}{ccc}0& x_{12}& 0\\ x_{21}& x_{22}& x_{23}\\ x_{31}& x_{32}& x_{33}\end{array}\right|=-\left|\begin{array}{ccc}{x}_{12}& 0& 0\\ x_{22}& x_{21}& x_{23}\\ x_{32}& x_{31}& x_{33}\end{array}\right|=-x_{12}\left|\begin{array}{cc}{x}_{21}& x_{23}\\ x_{31}& x_{33}\end{array}\right|$
• $-x_{12}\left|\begin{array}{cc}{x}_{21}& x_{23}\\ x_{31}& x_{33}\end{array}\right|=-x_{12}(\left|\begin{array}{cc}{x}_{21}& 0\\ x_{31}& x_{33}\end{array}\right|+\left|\begin{array}{cc}0& x_{23}\\ x_{31}& x_{33}\end{array}\right|)=-x_{12}(\left|\begin{array}{cc}{x}_{21}& 0\\ x_{31}& x_{33}\end{array}\right|-\left|\begin{array}{cc}{x}_{23}& 0\\ x_{33}& x_{31}\end{array}\right|)=-x_{12}\ast (x_{21}\ast \left|\begin{array}{c}{x}_{33}\end{array}\right|-x_{23}\ast \left|\begin{array}{c}{x}_{31}\end{array}\right|)=-x_{12}\ast x_{21}\ast x_{33}+x_{12}\ast x_{23}\ast x_{31}$

第三个需要变换2次，才成为下三角

• $\left|\begin{array}{ccc}0& 0& x_{13}\\ x_{21}& x_{22}& x_{23}\\ x_{31}& x_{32}& x_{33}\end{array}\right|=-\left|\begin{array}{ccc}0& x_{13}& 0\\ x_{21}& x_{23}& x_{22}\\ x_{31}& x_{33}& x_{32}\end{array}\right|=\left|\begin{array}{ccc}{x}_{13}& 0& 0\\ x_{23}& x_{21}& x_{22}\\ x_{33}& x_{31}& x_{32}\end{array}\right|=x_{13}\left|\begin{array}{cc}{x}_{21}& x_{22}\\ x_{31}& x_{32}\end{array}\right|$
• 同理可推导得：$x_{13}\ast x_{21}\ast x_{32}-x_{13}\ast x_{22}\ast x_{32}$

为什么要变换的这么详细呢？因为这个过程，恰好展现了n阶行列式的定义！

首先，每一次的变换，都是先把首行中的元素，逐一变换到左上角，这个变换的过程主要与列有关

如果首行元素在奇数列（如第3列），则变换到左上角时，行列式值是不变号的
如果首行元素在偶数列（如第2列），则变换到左上角时，行列式值会变成负号

但除了首行元素的列问题，还有次行元素的列问题

因此，我脑子不够用了，但好在世界上有很多优秀的阿婆主，能讲清楚一些
n阶特征公式解释

具体的，还是看up主的分析会比较有领悟

当然，可能我只是哦！但实际还不是很清晰，但。。。不想特别去深究行列式的定义，大概理解就好
我。。。又快要忘记前边思考的是什么问题了
已理解：行列式是什么，行列式和非零解的关系，可知道当行列式不为零时，求解特征值时，特征值也是非零解

特征值和特征向量的推导

如果从坐标系固定，矩阵向量变换的角度看，矩阵A与向量x相乘$Ax$，通常是对向量x进行【旋转】+【伸缩】的变换，这个变换过程中，并伴随有【升降维】的作用。

如果从矩阵向量固定，坐标系变换的角度看，矩阵A与向量x相乘$Ax$，则表示向量x是在A坐标系下，（相当于声明：x是火星A上的人）

而矩阵与特征向量、特征值的关系$Ax=\lambda x$，右侧的$\lambda x$没有矩阵相乘，则表示标准正交基坐标系$I$下的向量x，只不过这个向量x中每个值都乘以λ倍

而$Ax=\lambda x$，则表示，在A坐标系下的特征向量x，实际等同于标准正交基坐标系$I$里的向量x伸缩λ倍，相当于当坐标系A旋转伸缩变换成标准正交基坐标系$I$后，向量x的方向没有发生旋转，只是进行了伸缩变换。

向量x，正是特征向量，而特征值λ相当于向量x伸缩的倍数

例如A有一个特征向量$x_1$及对应特征值${\lambda }_1$，则$A{x}_1={\lambda }_1{x}_1$
$\left|\begin{array}{ccc}{a}_{11}& x_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|\left|\begin{array}{c}{x}_{11}\\ x_{21}\\ x_{31}\end{array}\right|={\lambda }_1\left|\begin{array}{c}{x}_{11}\\ x_{21}\\ x_{31}\end{array}\right|$

再例如A的第2 个特征向量$x_2$及对应特征值${\lambda }_2$，则$A{x}_2={\lambda }_2{x}_2$
$\left|\begin{array}{ccc}{a}_{11}& x_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|\left|\begin{array}{c}{x}_{12}\\ x_{22}\\ x_{32}\end{array}\right|={\lambda }_1\left|\begin{array}{c}{x}_{12}\\ x_{22}\\ x_{32}\end{array}\right|$

将A的所有特征向量x组成矩阵W，则有
$W=\left|\begin{array}{ccc}{x}_{11}& x_{12}& x_{13}\\ x_{21}& x_{22}& x_{23}\\ x_{31}& x_{32}& x_{33}\end{array}\right|$

要让${\lambda }_1、{\lambda }_2、{\lambda }_3$对应乘以到W中,则需要将λ形成对角矩阵
$\Sigma =\left|\begin{array}{ccc}{\lambda }_1& 0& 0\\ 0& {\lambda }_2& 0\\ 0& 0& {\lambda }_3\end{array}\right|$
则$W\Sigma =\left|\begin{array}{ccc}{\lambda }_1{x}_{11}& {\lambda }_2{x}_{12}& {\lambda }_3{x}_{13}\\ {\lambda }_1{x}_{21}& {\lambda }_2{x}_{22}& {\lambda }_3{x}_{23}\\ {\lambda }_1{x}_{31}& {\lambda }_2{x}_{32}& {\lambda }_3{x}_{33}\end{array}\right|$

而$AW=\left|\begin{array}{ccc}{a}_{11}& x_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|\left|\begin{array}{ccc}{x}_{11}& x_{12}& x_{13}\\ x_{21}& x_{22}& x_{23}\\ x_{31}& x_{32}& x_{33}\end{array}\right|=W\Sigma =\left|\begin{array}{ccc}{x}_{11}& x_{12}& x_{13}\\ x_{21}& x_{22}& x_{23}\\ x_{31}& x_{32}& x_{33}\end{array}\right|\left|\begin{array}{ccc}{\lambda }_1& 0& 0\\ 0& {\lambda }_2& 0\\ 0& 0& {\lambda }_3\end{array}\right|$

$AW{W}^{-1}=W\Sigma W^{-1}$，因此就有$A=W\Sigma W^{-1}$

这就是矩阵特征分解的推导

因此，一个矩阵，可以由它的所有特征向量和特征值来表示

矩阵特征分解的意义

矩阵（方阵），可以由它的所有特征向量和特征值来表示，

例如A是mxm的方阵，它所有的特征向量为mxm的方阵W，对应的特征值矩阵为mxm的对角矩阵Σ

则$A=W\Sigma W^T$

特征分解后，可以选择删除一些不重要的特征，对方阵A进行降维。

那怎么知道哪些特征是不重要的呢？

这里的特征，其实指的就是特征向量和特征值，主要看特征值。

如果特征值相对而言特别特别小，接近于0，则这个特征向量对原方阵A的影响相应比较小。

$A=\left|\begin{array}{ccc}{a}_{11}& x_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|=\left|\begin{array}{ccc}{x}_{11}& x_{12}& x_{13}\\ x_{21}& x_{22}& x_{23}\\ x_{31}& x_{32}& x_{33}\end{array}\right|\left|\begin{array}{ccc}{\lambda }_1& 0& 0\\ 0& {\lambda }_2& 0\\ 0& 0& {\lambda }_3\end{array}\right|\left|\begin{array}{ccc}{x}_{11}& x_{21}& x_{31}\\ x_{12}& x_{22}& x_{32}\\ x_{13}& x_{23}& x_{33}\end{array}\right|$

$A=\left|\begin{array}{ccc}{\lambda }_1{x}_{11}& {\lambda }_2{x}_{12}& {\lambda }_3{x}_{13}\\ {\lambda }_1{x}_{21}& {\lambda }_2{x}_{22}& {\lambda }_3{x}_{23}\\ {\lambda }_1{x}_{31}& {\lambda }_2{x}_{32}& {\lambda }_3{x}_{33}\end{array}\right|\left|\begin{array}{ccc}{x}_{11}& x_{21}& x_{31}\\ x_{12}& x_{22}& x_{32}\\ x_{13}& x_{23}& x_{33}\end{array}\right|$

$A=\left|\begin{array}{ccc}{\lambda }_1{x}_{11}^2+{\lambda }_2{x}_{12}^2+{\lambda }_3{x}_{13}^2& {\lambda }_1{x}_{11}{x}_{21}+{\lambda }_2{x}_{12}{x}_{22}+{\lambda }_3{x}_{13}{x}_{23}& {\lambda }_1{x}_{11}{x}_{31}+{\lambda }_2{x}_{12}{x}_{32}+{\lambda }_3{x}_{13}{x}_{33}\\ {\lambda }_1{x}_{21}{x}_{11}+{\lambda }_2{x}_{22}{x}_{12}+{\lambda }_3{x}_{23}{x}_{13}& {\lambda }_1{x}_{21}{x}_{21}+{\lambda }_2{x}_{22}{x}_{22}+{\lambda }_3{x}_{23}{x}_{23}& {\lambda }_1{x}_{21}{x}_{31}+{\lambda }_2{x}_{22}{x}_{32}+{\lambda }_3{x}_{32}{x}_{33}\\ {\lambda }_1{x}_{31}{x}_{11}+{\lambda }_2{x}_{32}{x}_{12}+{\lambda }_3{x}_{33}{x}_{13}& {\lambda }_1{x}_{31}{x}_{21}+{\lambda }_2{x}_{32}{x}_{22}+{\lambda }_3{x}_{33}{x}_{23}& {\lambda }_1{x}_{31}{x}_{31}+{\lambda }_2{x}_{32}{x}_{32}+{\lambda }_3{x}_{33}{x}_{33}\end{array}\right|$

如果将特征值非常小的特征值和对应的特征向量去掉，如删掉λ1和x2，则有
$A=\left|\begin{array}{cc}{\lambda }_2{x}_{12}& {\lambda }_3{x}_{13}\\ {\lambda }_2{x}_{22}& {\lambda }_3{x}_{23}\\ {\lambda }_2{x}_{32}& {\lambda }_3{x}_{33}\end{array}\right|\left|\begin{array}{ccc}{x}_{12}& x_{22}& x_{32}\\ x_{13}& x_{23}& x_{33}\end{array}\right|$

这样还原出来的A，就不是完完全全的A矩阵了，但相对而言，如果λ1比较小，那么还原出来的矩阵与A矩阵差别也不会太大

奇异值分解SVD

看过一个推导的非常详实的知乎大神：奇异值分解（SVD）

看过理解，不代表真的理解，自己去推导一下吧，搞不好会有一些新的认识

A是mxn的矩阵，U是mxm的方阵，V是nxn的方阵，∑是一个mxn的矩阵，且只有对角线上的元素为非零元素。

那么A、U、V、∑之间有什么关系，才能形成奇异值分解$A=U\Sigma V^T$的关系呢？

首先，U是$A{A}^T$方阵的特征向量，特征值为${\lambda }_u$：$A{A}^{T}U={\lambda }_{u}U$

其次，V是$A^{T}A$方阵的特征向量，特征值为${\lambda }_v$：$A^{T}AV={\lambda }_{v}V$

要知道，不同特征值对应的特征向量是线性无关的，因此，它的转置乘以它本身$V^{T}V=U^{T}U=E$

进而，可以求出奇异矩阵∑，$A=U\Sigma V^T\to AV=U\Sigma V^{T}V=U\Sigma$

$\Sigma$只有对角线上的元素是非零，因此逐一求出对角线上的元素${\alpha }_i$即可
$A{v}_1=U{\alpha }_1$、$A{v}_2=U{\alpha }_2$…

又或者，$A=U\Sigma V^T\to A^T=V\Sigma U^T$，$A{A}^T=U\Sigma V^{T}V\Sigma U^T=U{\Sigma }^2{U}^T$

由于U是$A{A}^T$的特征向量，因此$A{A}^{T}U={\lambda }_{u}U\to A{A}^T=U{\Sigma }_u{U}^T=U{\Sigma }^2{U}^T$

因此有${\Sigma }^2={\Sigma }_u$，奇异值²=特征值

奇异值可以直接通过特征值开根号得到。

奇异值分解的降维意义

为什么奇异值分解，可以进行降维呢？

主要还是参考矩阵的特征分解时的降维意义。

不过，这只是一种比较数理方面的解释，B站有个博主，用了非常生动形象的动画效果，演示了降维的操作及意义！

B站小学长课堂

当时我在高铁的渣渣网络上看到时，虽然卡的一匹，但依然惊叹到：世间有如此博主，实乃学渣之幸事！

总之，到这里，奇异值分解内容，算是学习结束了

撒花~🌼