线性代数入门与学习笔记

该内容为重拾部分线性代数知识的学习笔记，内容上更多的是为了解决问题而学习的内容，并非系统化的学习。
针对的问题为：Music算法推导求解过程中的矩阵计算知识。
学习的内容包括：矩阵原理、矩阵行列式、矩阵的秩、线性变换矩阵变换、单位矩阵与逆矩阵、特征值和特征向量。
推荐学习视频：bilibili的视频：【线性代数全集从入门到精通（清楚易懂，看过的都说好，哈哈）】 https://www.bilibili.com/video/BV1wL411H7x1/?share_source=copy_web&vd_source=a0df23ab5f45bf4a580c20684f4a6705

一. 矩阵

1. 线性方程组
   线性方程组，多元x1 x2 x3等组成的线性方程组。线性方程组的解只有三种情况：0个解、1个（组）解和无穷多个解。
   

2. 增广矩阵
   增广矩阵为系数矩阵+常数项矩阵，是一种更简单的表达。
   

3. 理想矩阵：阶梯型矩阵、对角矩阵
   通过对矩阵进行初等行变换，即行的倍数、行的叠加、行的倍数再叠加，矩阵的解不变。
   从最下面一行开始消元，得到理想型矩阵可以方便求解元，该方法叫做高斯消元法。
   阶梯型矩阵就可以方便求解，对角矩阵则是更加理想的矩阵。
   

4. 矩阵与向量
   空间中的向量，可以用多个正交单位向量的组合表示。
   多个向量的线性组合为这些向量的向量空间。
   线性相关：多个向量的线性组合能够等于0，其中他们的系数不全为0，即线性相关，否则线性无关。
   定义：n+1个n维向量一定是线性相关的。因为n个不相关的向量已经组成了整个n维的自由空间，多一个肯定是在这个自由空间中的。
   向量的计算：数乘、加法、线性组合。
   

5. 齐次方程组
   齐次方程组的常数矩阵为0，即Ax = 0
   

6. 矩阵乘法
   矩阵乘法中，左边矩阵的列数要等于右边矩阵的行数。

二、矩阵行列式

1. 行列式可以Det(A)表示
2. 行列式为符号系数+子矩阵行列式的叠加。

三、矩阵秩

1. 秩的定义
   矩阵的秩为最高阶非零子式的阶数。
   
2. 秩对求解个数的意义
   系数矩阵的秩=增广矩阵的秩：1个解
   系数矩阵的秩<增广矩阵的秩：0个解
   系数矩阵的秩>增广矩阵的秩：无穷个解

四、线性变换、矩阵变换

1. 线性变换和矩阵变换
   这两种变换是可以在一定程度上转换的。

五、单位矩阵与逆矩阵

1. 单位矩阵
   
2. 逆矩阵
   逆矩阵与原矩阵的乘积为单位矩阵。
   逆矩阵的计算可以由下述公式计算，分母为矩阵行列式，也可以用Det(A)表示，选取最佳的一行（0比较多的行）进行计算。分子为伴随矩阵。
   
   

六、特征值与特征向量

1. 特征值和特征向量
   矩阵和特征向量的乘积，正好为一个特征值与该特征向量的乘积。即矩阵的乘积，只改变该方向的大小，而不改变方向。
   特征向量表达了方向，特征值表达了大小。
   个人理解：特征向量意味着该矩阵在这个方向上的映射。
   

2. 特征值计算
   Ax = λx
   Ax = λIx
   (A-λI)x = 0
   Det(A-λI) = 0
   得到多个特征值

3. 特征向量的计算
   带入特征值到上式，进行计算和求解。
   

4. 意义
   几何意义为变换效果只发生缩放，不发生其他如旋转、平移。
   代数意义为矩阵的内部结构进行了分解和化解。

七、协方差矩阵

1. 协方差矩阵
   个人理解：表达了两个矩阵之间的关联性。