线性代数空间理解

学习线性代数已经很久，但是在使用过程中仍然还是不明所以，比如不知道特征向量和特征值的含义、矩阵的相乘是什么意思、如何理解矩阵的秩……。随着遇到的次数越来越多，因此我决定需要对线性代数的本质做一次深刻的探讨了。

本次主要是参考了3Blue1Brown和其他若干博客来对此展开笔记的记录。

需要说明的是，这里的是记录线性代数的本质，因此关于如何计算的方法或者内容则相对较少。

向量是什么

先抛出一个问题，什么是向量。这里存在着三个观点。虽然不同，但是存在着一定的联系。

主要由物理专业、计算机专业和数学专业三种角度来看待这个问题。

• 物理学家认为，向量是空间中的箭头，决定一个向量的是它的长度和它所指的方向。因此只要在空间中，能够保证以上两个特征，那么就可以自由移动一个向量而保持不变。
• 计算机专业的则认为，向量是有序的数字列表。

这两种观点的存在就导致在使用或者讨论过程中存在两种观点，即向量到底是空间中的箭头，还是一组有序的序列?

• 因此，数学家则尝试概括这两种情况，其认为，向量只要保证两个向量相加和数字与向量相乘有具体的含义，则向量可以是任何的东西。也正因如此，向量在使用过程中，可以将空间中的箭头转为对应的有序数列；而有序的序列也可以转为空间中的一个箭头（具有几何意义）。

  这里之所以被数学家认为只需要考虑加法和乘法，我认为是因为对于一个空间来说，根据一个坐标空间中的基向量，只用加法和乘法就是可以完全表示基向量所在的空间。因此不需要考虑其他的运算了。

  这个过程可以参考视频来理解。

因此，线性代数的意义有：

1. **为数据分析提供了一条将大量数据列表概念化和可视化的渠道，了解特定运算的含义。**　
1. **给物理学家和计算机程序员提供了一种语言，这样就可以通过计算机能处理数字，进一步而操纵空间。**

线性变换和矩阵

先说线性变换。线性变换其实就是函数，只不过输入就是向量，输出还是向量而已。但是为什么从功能上来看是一样的操作，但是却要用两个概念来定义呢？

这是因为，线性变换体现在变换这个词上。The word “transformation” suggests that you think using movement. 也就是，线性变换就是一种向量的变动/运动。

原则上，变换可以是多种多样的，但是线性代数将变换进行了约束，即限制在线性的特殊变换上。

这里说一下线性的两个特点，只要满足皆为线性变换：1）直线变换之后仍然保持为直线；2）原点必须保持固定。

如果要是从图形的角度上来看，那么借助带有网格线的坐标系来看，所谓的能够符合线性变换的定义的变换，就是变换之后的网格线仍然保持平行且等距的特点。此时就可以认为是线性变换。

下面只有第一个图才是线性变换，其他的都不是。

那么接下来就引出“如何用数值来描述这些线性变换呢？”这就要引出接下来要说的矩阵了。

先说一个列向量$\hat{V}=[1,2{]}^T$，用基向量$i,j$可以在坐标系中表示如下：

那么我们进行坐标系的整体旋转。如下图所示，原坐标系为浅色细线构成，剪切后（视频中定义为Shear，它是一种拉伸。而旋转被定义为Rotation，它是常见的旋转操作）的坐标系为蓝色粗线构成。

此时基向量在原来的坐标系中表示为$[1,-2{]}^T$和$[3,0{]}^T$。转变后的向量$\hat{V}$等于$[5,2{]}^T$。

---

至此，便可以总结几点信息：

1. 在原直角坐标系中，基坐标$i=[1,0{]}^T,j=[0,1{]}^T$；
2. 向量的线性转化在公示上表现为左乘一个矩阵，该矩阵就是一个新坐标系的基（当然该矩阵的列向量可以线性相关，也可以线性无关。比如在二维平面中，线性相关就表示为两个重叠的基向量，那么就体现为一条直线了）；
3. 线性变换的本质其实就是向量的空间变换；
4. 其实这个过程也可以侧面说明，为什么数学家把向量的定义为向量只要保证两个向量相加和数字与向量相乘有具体的含义。在线性变换的过程中，也就只使用了加法和乘法两种运算就实现了线性变换。
5. 同时这也可以看出，只需要记录基向量，那么就可以表示出任意向量的落脚点。

线性变换的复合和矩阵乘法

先说结论：两矩阵相乘的几何意义，也就是两个线性变化的相继作用（multiplying two matrices like this has the geometric meaning of applying one transformation then another）

如下图所示，基向量经过两次复合变换。但是如何记录这两次复合变换的过程。这就需要用到矩阵的相乘。

其实这就很简单，只需要按照变换的顺序，写出对应的变换矩阵就可以了，剩下的就是交给矩阵相乘。

行列式

“The purpose of computation is insight, not numbers”—Richard Hamming

在线性变换的时候，网格图的单位坐标会发生缩放，那么对于单位长度围成的图形来说，就可以计算出对应的面积。那么在缩放单位坐标时，所围成的图形的面积也跟着对应缩放。

在下图中，图形由原来的面积A变为6A，面积增长了6倍。此时就引出了行列式在几何中的定义：线性变换改变面积的比例被称为线性变换的行列式。

这里还有一个特殊情况，就是当行列式为0时，那么对应的几何效果如下。这时候说明它将整个平面压缩到一条线上，甚至是在一个点上。

正是因为有这个特性，那么可以得出一个结论：只需要检验一个矩阵的行列式是否为0，我们就能了解这个矩阵所代表的变换是否将空间压缩到更小的维度上。

换句话说，只有矩阵代表的变换将空间压缩到更低的维度时（空间压缩对应的就是矩阵的行列式为零），才会存在一个非零向量，使得矩阵和它的乘积向量为零向量。

---

实际上，特征值是存在为负数的情况的，那么该如何理解缩放为负数倍的情况呢？

动画说明

这里以二维平面为例，从几何上来说，其实是空间上的一次翻转，就类似一枚硬币，从正面翻转到反面的效果。

那么如果从基向量的角度上来看，那么就可以认为是两个基向量的相对位置发生了变换。具体如下面两张图所示.

扩展了解：

1. 如何理解为什么负的面积与定向（orientation）的改变有关？
2. $det(M)<0$意味着什么? 在三维空间下是什么意思？
3. 如何计算行列式？在几何层面行列式的计算证明。

矩阵的逆

矩阵的逆时应用在解方程组的时候使用的。

具体来说，对于一个线性变换 $A\vec{x}=\vec{v}$ ，其对应的几何变换如下图所示，即需要找到一个向量$\vec{x}$在变换矩阵$A$的作用下，使得与向量$\vec{v}$重合（如粉红色箭头所示）。

而矩阵的逆或者说逆变换则是指与向量$\vec{v}$重合之后，通过线性变换再变回向量$\vec{x}$。而此时的计算就变为了$\vec{x}=A^{-1}\vec{v}$。这时就需要考虑$ A^{-1} $的情况

在#行列式#一节中说到，变换矩阵的行列式决定了该线性变换是否会产生压缩空间的情况发生。因此$ A^{-1} $有两种情况，即$det(A)=?0$。

当$det(A)\ne 0$时，就几何变换如下图所示（存在非零向量的变换）

其实这两张图更直观地可以看出$A^{-1}A=E$，表示什么变换都没有。

如果$det(A)=0$时，那么在几何上就表示为变换空间压缩到更低的维度上。由于不能将一条线反转或者解压缩为一个平面（以2-D为例），因此就不存在这样的逆变换。

基变换

前文一直以来都是以标准的直角坐标系来当作基向量来说明向量。但是事实上，还是存在其他的基向量，比如下图中，两个基向量分别是$\overrightarrow{b_1},\overrightarrow{b_2}$。那么对应的向量就是单位向量。

但是在标准的直角坐标系中，$\overrightarrow{b_1},\overrightarrow{b_2}$就不是单位向量了（如下图）。

正是因为对基的不同选择，那么就造成了不同向量的表达。那么该如何实现不同基下的向量转换呢？

比如，在新坐标系中，有一向量$\left[\begin{array}{c}-1\\ 2\end{array}\right]$。那么在标准的直角坐标系中应该是多少呢？

其实很简单，根据#线性变换和矩阵#章节的内容就可以知道，矩阵与向量的乘积就表示了基向量的转换。计算过程如下图所示。新坐标系中，基向量为$\overrightarrow{b_1}=\left[\begin{array}{c}2\\ 1\end{array}\right];\overrightarrow{b_2}=\left[\begin{array}{c}-1\\ 1\end{array}\right]$。

r如果仔细想一想，上述的过程是反着的。正常的逻辑不应该是用新坐标系中的$\left[\begin{array}{c}-1\\ 2\end{array}\right]$与$\overrightarrow{b_1},\overrightarrow{b_2}$构成的向量的逆相乘吗？这样才能够变换回去呀。

但是如果再仔细一想，新基向量为$\overrightarrow{b_1}=\left[\begin{array}{c}2\\ 1\end{array}\right];\overrightarrow{b_2}=\left[\begin{array}{c}-1\\ 1\end{array}\right]$是在标准坐标系中表示的。那么假设$A=\left[\begin{array}{cc}2& -1\\ 1& 2\end{array}\right]$，那么对于新坐标系来说，其要转为标准直角坐标系下的向量，那么变换的逆矩阵就是A。

---

接下来就基变换的问题来引申出以往见过的矩阵表达式$A^{-1}MA$的含义是什么。

在标准的直角坐标系中，坐标系的逆时针循转可以用如下的矩阵来实现。

那么如果用基向量为$\overrightarrow{b_1}=\left[\begin{array}{c}2\\ 1\end{array}\right];\overrightarrow{b_2}=\left[\begin{array}{c}-1\\ 1\end{array}\right]$的新坐标系中实现某一向量$\vec{v}$在新坐标系中的转换呢？

在下图的公式中（矩阵相乘从右往左看）就给出了计算的转换方法。其中$A=\left[\begin{array}{cc}2& -1\\ 1& 2\end{array}\right]$,$M=\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]$

所以，$A^{-1}MA$暗示了一种数学上的转移作用，中间矩阵$M$表示某种变换，而外侧的两个矩阵代表着转移作用，页就是视觉上的转化。

特征值和特征向量

首先考虑这样一个问题，对于一个向量，其张成的空间如下图所示（也就是通过原点和向量尖端的直线）

现在让这个坐标系进行变换，变换矩阵为$\left[\begin{array}{cc}3& 1\\ 0& 2\end{array}\right]$，那么此时大部分的向量离开了其张成的空间，效果如下图：

但是，有一些向量却没有离开其张成的空间，变换矩阵只是对其进行了缩放而已，效果如下图所示：

在经过定性分析之后，我们展开对其的定量分析。在变换的过程中我们发现有两组向量张成的空间是特殊的（即没有离开其张成的空间），我们依次来看。

首先是x轴的变换，如下图所示，在变换之后，单位长度被放大了3倍。

而向量$[-1,1]$也是同样，但是其单位长度倍放大了2倍。

那么对这两个向量的缩放结果如下图所示：

而这两个向量就是我们所说的特征向量，而缩放的倍数就是特征值。

特征向量的特点：在旋转之后还会留在他张成（形成）的向量空间里。

特征值是衡量特征向量在变换中拉伸或者压缩比例的因子。

从这里可以看出特征值的乘积就是经过线性变换后矩阵行列式的值，如果特征值出现了负数，那么其几何含义与行列式是一样的。

理解线性变换作用的关键往往较少依赖于特定坐标系。（This gives too mush weight to our coordinate system）

更好的方法就是求出它的特征向量和特征值。

---

扩展了解：

1. 若想考虑为什么那么重要，那么具有用途并值得研究，那么就来考虑三维空间中的旋转。

2. 对角矩阵的应用以及如何转化。

   如果一个矩阵可以对角化，那么可以有很多用处，比如幂迭代法求解特征值分解和奇异值分解等

---

2024/04/17：只对向量的本质作了进一步的了解。只能说数形结合太重要了