机器学习数学基础：19.线性相关与线性无关

一、线性相关与线性无关的定义

（一）线性相关

想象我们有一组向量，就好比是一群有着不同“力量”和“方向”的小伙伴。给定的向量组${\vec{\alpha }}_1,{\vec{\alpha }}_2,\cdots ,{\vec{\alpha }}_m$，如果能找到不全为零的数$k_1,k_2,\cdots ,k_m$，让$k_1{\vec{\alpha }}_1+k_2{\vec{\alpha }}_2+\cdots +k_m{\vec{\alpha }}_m=\vec{0}$成立，那这组向量就是线性相关的。

举个例子，在一个二维平面里，有向量${\vec{\alpha }}_1=\left(\begin{array}{c}1\\ 1\end{array}\right)$和${\vec{\alpha }}_2=\left(\begin{array}{c}2\\ 2\end{array}\right)$。我们试着找一些数让它们的组合等于零向量。嘿，发现当$k_1=-2$，$k_2=1$的时候（这两个数不全是$0$哦），$-2\left(\begin{array}{c}1\\ 1\end{array}\right)+1\left(\begin{array}{c}2\\ 2\end{array}\right)=\left(\begin{array}{c}-2+2\\ -2+2\end{array}\right)=\left(\begin{array}{c}0\\ 0\end{array}\right)$。这就说明这两个向量之间存在一种“特殊关系”，它们是线性相关的。从直观上看，${\vec{\alpha }}_2$就像是${\vec{\alpha }}_1$的“双胞胎加强版”，方向完全一样，只是长度不同，所以它们之间不是相互独立的。

（二）线性无关

还是那组向量小伙伴，如果只有当$k_1=k_2=\cdots =k_m=0$时，才有$k_1{\vec{\alpha }}_1+k_2{\vec{\alpha }}_2+\cdots +k_m{\vec{\alpha }}_m=\vec{0}$，那这组向量就是线性无关的。

比如在平面直角坐标系中的两个单位向量${\vec{e}}_1=\left(\begin{array}{c}1\\ 0\end{array}\right)$和${\vec{e}}_2=\left(\begin{array}{c}0\\ 1\end{array}\right)$。我们来假设一下，要是存在两个数$k_1$和$k_2$，让$k_1{\vec{e}}_1+k_2{\vec{e}}_2=\vec{0}$，也就是$k_1\left(\begin{array}{c}1\\ 0\end{array}\right)+k_2\left(\begin{array}{c}0\\ 1\end{array}\right)=\left(\begin{array}{c}{k}_1\\ k_2\end{array}\right)=\left(\begin{array}{c}0\\ 0\end{array}\right)$，那只能是$k_1=0$而且$k_2=0$。没有其他非零的数能让这个等式成立，这就表明${\vec{e}}_1$和${\vec{e}}_2$是相互独立的，它们组成的向量组就是线性无关的。从几何角度看，${\vec{e}}_1$沿着$x$轴方向，${\vec{e}}_2$沿着$y$轴方向，它们相互垂直，谁也不“依赖”谁。

二、从线性方程组角度理解

（一）线性相关

线性相关这件事，其实可以和齐次线性方程组联系起来。我们把向量组${\vec{\alpha }}_1,{\vec{\alpha }}_2,\cdots ,{\vec{\alpha }}_m$当作系数矩阵$A$的列向量，也就是$A=({\vec{\alpha }}_1,{\vec{\alpha }}_2,\cdots ,{\vec{\alpha }}_m)$。那么$k_1{\vec{\alpha }}_1+k_2{\vec{\alpha }}_2+\cdots +k_m{\vec{\alpha }}_m=\vec{0}$就相当于齐次线性方程组$Ax=0$（这里$x=\left(\begin{array}{c}{k}_1\\ k_2\\ ⋮\\ k_m\end{array}\right)$）有非零解。

比如说前面那个线性相关的例子，向量组${\vec{\alpha }}_1=\left(\begin{array}{c}1\\ 1\end{array}\right)$和${\vec{\alpha }}_2=\left(\begin{array}{c}2\\ 2\end{array}\right)$，对应的系数矩阵$A=\left(\begin{array}{cc}1& 2\\ 1& 2\end{array}\right)$，齐次线性方程组就是$\left(\begin{array}{cc}1& 2\\ 1& 2\end{array}\right)\left(\begin{array}{c}{k}_1\\ k_2\end{array}\right)=\left(\begin{array}{c}0\\ 0\end{array}\right)$。我们来解这个方程组，从第一个方程$k_1+2k_2=0$，可以得到$k_1=-2k_2$。那我们随便让$k_2=1$，$k_1$就等于$-2$了，这就是一组非零解呀。这就说明这个齐次线性方程组有非零解，也就意味着向量组是线性相关的。

（二）线性无关

线性无关呢，就表示对应的齐次线性方程组仅有零解。同样是由向量组构成的系数矩阵$A$，齐次线性方程组$Ax=0$只有$x=0$（也就是$k_1=k_2=\cdots =k_m=0$）这一个解。

像刚才说的单位向量组${\vec{e}}_1=\left(\begin{array}{c}1\\ 0\end{array}\right)$和${\vec{e}}_2=\left(\begin{array}{c}0\\ 1\end{array}\right)$，它们的系数矩阵$A=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)$，对应的齐次线性方程组$\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)\left(\begin{array}{c}{k}_1\\ k_2\end{array}\right)=\left(\begin{array}{c}0\\ 0\end{array}\right)$。根据矩阵乘法，很明显只能得到$k_1=0$并且$k_2=0$，这是这个方程组唯一的解，也就是仅有零解，所以这个向量组是线性无关的。

三、线性相关性的判断方法

（一）根据定义判断

假设有向量组${\vec{\gamma }}_1,{\vec{\gamma }}_2,\cdots ,{\vec{\gamma }}_n$，我们先假设存在数$k_1,k_2,\cdots ,k_n$，让$k_1{\vec{\gamma }}_1+k_2{\vec{\gamma }}_2+\cdots +k_n{\vec{\gamma }}_n=\vec{0}$。然后就像解方程一样，去试着找出$k_1,k_2,\cdots ,k_n$的值。要是能找到不全为零的数满足这个等式，那这个向量组就是线性相关的；要是只能得到$k_1=k_2=\cdots =k_n=0$，那这个向量组就是线性无关的。

举个复杂点的例子，有向量组${\vec{\gamma }}_1=\left(\begin{array}{c}1\\ 1\\ 0\end{array}\right)$，${\vec{\gamma }}_2=\left(\begin{array}{c}0\\ 1\\ 1\end{array}\right)$，${\vec{\gamma }}_3=\left(\begin{array}{c}1\\ 2\\ 1\end{array}\right)$。设$k_1{\vec{\gamma }}_1+k_2{\vec{\gamma }}_2+k_3{\vec{\gamma }}_3=\vec{0}$，也就是$k_1\left(\begin{array}{c}1\\ 1\\ 0\end{array}\right)+k_2\left(\begin{array}{c}0\\ 1\\ 1\end{array}\right)+k_3\left(\begin{array}{c}1\\ 2\\ 1\end{array}\right)=\left(\begin{array}{c}{k}_1+k_3\\ k_1+k_2+2k_3\\ k_2+k_3\end{array}\right)=\left(\begin{array}{c}0\\ 0\\ 0\end{array}\right)$，这样就得到了一个方程组$\{\begin{array}{l}{k}_1+k_3=0\\ k_1+k_2+2k_3=0\\ k_2+k_3=0\end{array}$。

我们来解这个方程组，从第一个方程$k_1=-k_3$，把它代入第二个方程，就得到$-k_3+k_2+2k_3=0$，也就是$k_2+k_3=0$，这和第三个方程是一样的。再把$k_1=-k_3$代入第三个方程，能得到$k_2-k_1=0$，也就是$k_2=k_1$。最后解得$k_1=k_2=k_3=0$，所以这个向量组是线性无关的。

（二）利用矩阵求解判断

我们把向量组里的向量都拿出来，依次作为矩阵$A$的列向量。然后对矩阵$A$进行一些操作，也就是初等行变换，把它变成行阶梯形矩阵。这个行阶梯形矩阵中非零行的行数，就是矩阵的秩$r(A)$，它表示矩阵里线性无关的行（或列）向量的最大个数。

如果行阶梯形矩阵中非零行的行数（也就是矩阵的秩$r(A)$）小于向量的个数$m$，那就说明向量组是线性相关的；要是$r(A)=m$，那向量组就是线性无关的。

比如说有向量组${\vec{\delta }}_1=\left(\begin{array}{c}1\\ 2\\ 3\end{array}\right)$，${\vec{\delta }}_2=\left(\begin{array}{c}2\\ 4\\ 6\end{array}\right)$，${\vec{\delta }}_3=\left(\begin{array}{c}3\\ 6\\ 9\end{array}\right)$，我们把它们构成矩阵$A=\left(\begin{array}{ccc}1& 2& 3\\ 2& 4& 6\\ 3& 6& 9\end{array}\right)$。

对它进行初等行变换：

• 先把第二行减去第一行的$2$倍，第三行减去第一行的$3$倍，就得到$\left(\begin{array}{ccc}1& 2& 3\\ 0& 0& 0\\ 0& 0& 0\end{array}\right)$。

你看，这个行阶梯形矩阵中非零行的行数是$1$，也就是矩阵的秩$r(A)=1$，而这里向量的个数$m=3$，因为$1<3$，所以这个向量组是线性相关的。

四、线性相关性的推论

（一）相关向量组增加向量后仍相关

假如有一个向量组${\vec{\alpha }}_1,{\vec{\alpha }}_2,\cdots ,{\vec{\alpha }}_m$是线性相关的，这就好比一群小伙伴里已经存在一些“依赖关系”了。那如果我们再往这个向量组里增加任意数量的向量${\vec{\alpha }}_{m+1},{\vec{\alpha }}_{m+2},\cdots ,{\vec{\alpha }}_{m+s}$，得到的新向量组${\vec{\alpha }}_1,{\vec{\alpha }}_2,\cdots ,{\vec{\alpha }}_m,{\vec{\alpha }}_{m+1},{\vec{\alpha }}_{m+2},\cdots ,{\vec{\alpha }}_{m+s}$还是线性相关的。

为什么呢？因为原来的向量组线性相关，所以肯定存在不全为零的数$k_1,k_2,\cdots ,k_m$，让$k_1{\vec{\alpha }}_1+k_2{\vec{\alpha }}_2+\cdots +k_m{\vec{\alpha }}_m=\vec{0}$。对于新的向量组，我们可以让增加的这些向量前面的系数$k_{m+1}=k_{m+2}=\cdots =k_{m+s}=0$，这样$k_1{\vec{\alpha }}_1+k_2{\vec{\alpha }}_2+\cdots +k_m{\vec{\alpha }}_m+k_{m+1}{\vec{\alpha }}_{m+1}+k_{m+2}{\vec{\alpha }}_{m+2}+\cdots +k_{m+s}{\vec{\alpha }}_{m+s}=\vec{0}$，而且$k_1,k_2,\cdots ,k_m,k_{m+1},k_{m+2},\cdots ,k_{m+s}$不全为零，所以新向量组还是线性相关的。

比如已知向量组${\vec{\alpha }}_1=\left(\begin{array}{c}1\\ 1\end{array}\right)$，${\vec{\alpha }}_2=\left(\begin{array}{c}2\\ 2\end{array}\right)$是线性相关的（前面验证过啦），现在增加向量${\vec{\alpha }}_3=\left(\begin{array}{c}3\\ 4\end{array}\right)$，因为$-2{\vec{\alpha }}_1+1{\vec{\alpha }}_2+0{\vec{\alpha }}_3=\vec{0}$，有不全为零的系数$-2,1,0$，所以新的向量组${\vec{\alpha }}_1,{\vec{\alpha }}_2,{\vec{\alpha }}_3$就是线性相关的。

（二）无关向量组增加向量后情况分析

要是一个向量组是线性无关的，增加向量后新向量组的情况就有点复杂啦，它可能线性相关，也可能线性无关。

• 可能线性相关的情况：在一个二维空间里，有向量组${\vec{e}}_1=\left(\begin{array}{c}1\\ 0\end{array}\right)$，${\vec{e}}_2=\left(\begin{array}{c}0\\ 1\end{array}\right)$，它们是线性无关的，就像直角坐标系里的两个“坐标轴方向”。要是我们增加一个向量${\vec{e}}_3=\left(\begin{array}{c}1\\ 1\end{array}\right)$，设$k_1{\vec{e}}_1+k_2{\vec{e}}_2+k_3{\vec{e}}_3=\vec{0}$，也就是$k_1\left(\begin{array}{c}1\\ 0\end{array}\right)+k_2\left(\begin{array}{c}0\\ 1\end{array}\right)+k_3\left(\begin{array}{c}1\\ 1\end{array}\right)=\left(\begin{array}{c}{k}_1+k_3\\ k_2+k_3\end{array}\right)=\left(\begin{array}{c}0\\ 0\end{array}\right)$，这样就得到方程组$\{\begin{array}{l}{k}_1+k_3=0\\ k_2+k_3=0\end{array}$。我们令$k_3=1$，那$k_1=-1$，$k_2=-1$，这就找到了不全为零的解，所以新的向量组${\vec{e}}_1,{\vec{e}}_2,{\vec{e}}_3$就是线性相关的。

• 可能线性无关的情况：在三维空间里，有向量组${\vec{e}}_1=\left(\begin{array}{c}1\\ 0\\ 0\end{array}\right)$，${\vec{e}}_2=\left(\begin{array}{c}0\\ 1\\ 0\end{array}\right)$，它们是线性无关的。要是增加向量${\vec{e}}_3=\left(\begin{array}{c}0\\ 0\\ 1\end{array}\right)$，设$k_1{\vec{e}}_1+k_2{\vec{e}}_2+k_3{\vec{e}}_3=\vec{0}$，也就是$\left(\begin{array}{c}{k}_1\\ k_2\\ k_3\end{array}\right)=\left(\begin{array}{c}0\\ 0\\ 0\end{array}\right)$，只能推出$k_1=k_2=k_3=0$，所以新的向量组${\vec{e}}_1,{\vec{e}}_2,{\vec{e}}_3$还是线性无关的。

五、极大线性无关组

（一）概念

“能力”，可以把其他小伙伴的“能力”用它们的组合表示出来。

例如，在向量组${\vec{\alpha }}_1=\left(\begin{array}{c}1\\ 1\\ 1\end{array}\right)$，${\vec{\alpha }}_2=\left(\begin{array}{c}1\\ 2\\ 3\end{array}\right)$，${\vec{\alpha }}_3=\left(\begin{array}{c}2\\ 3\\ 4\end{array}\right)$，${\vec{\alpha }}_4=\left(\begin{array}{c}3\\ 4\\ 5\end{array}\right)$中。我们来看看${\vec{\alpha }}_1$和${\vec{\alpha }}_2$，假设存在数$k_1$，$k_2$使得$k_1{\vec{\alpha }}_1+k_2{\vec{\alpha }}_2=\vec{0}$，即$k_1\left(\begin{array}{c}1\\ 1\\ 1\end{array}\right)+k_2\left(\begin{array}{c}1\\ 2\\ 3\end{array}\right)=\left(\begin{array}{c}{k}_1+k_2\\ k_1+2k_2\\ k_1+3k_2\end{array}\right)=\left(\begin{array}{c}0\\ 0\\ 0\end{array}\right)$，通过求解方程组$\{\begin{array}{l}{k}_1+k_2=0\\ k_1+2k_2=0\\ k_1+3k_2=0\end{array}$，可以得到$k_1=k_2=0$，所以${\vec{\alpha }}_1$和${\vec{\alpha }}_2$线性无关。

再看${\vec{\alpha }}_3$，${\vec{\alpha }}_3={\vec{\alpha }}_1+{\vec{\alpha }}_2$；${\vec{\alpha }}_4=2{\vec{\alpha }}_1+{\vec{\alpha }}_2$，也就是${\vec{\alpha }}_3$和${\vec{\alpha }}_4$都能由${\vec{\alpha }}_1$和${\vec{\alpha }}_2$线性表示。所以${\vec{\alpha }}_1$，${\vec{\alpha }}_2$构成了该向量组的一个极大线性无关组。

（二）求解方法

1. 构造矩阵：把向量组中的向量按顺序作为矩阵$A$的列向量。比如有向量组${\vec{\beta }}_1=\left(\begin{array}{c}1\\ 1\\ 0\\ 0\end{array}\right)$，${\vec{\beta }}_2=\left(\begin{array}{c}0\\ 0\\ 1\\ 1\end{array}\right)$，${\vec{\beta }}_3=\left(\begin{array}{c}1\\ 1\\ 1\\ 1\end{array}\right)$，${\vec{\beta }}_4=\left(\begin{array}{c}2\\ 2\\ 1\\ 1\end{array}\right)$，则构造矩阵$A=\left(\begin{array}{cccc}1& 0& 1& 2\\ 1& 0& 1& 2\\ 0& 1& 1& 1\\ 0& 1& 1& 1\end{array}\right)$。
2. 初等行变换化为行最简形矩阵：利用三种初等行变换，即换行（交换两行的位置）、某一行乘以非零常数、某一行加上另一行的倍数，将矩阵化为行最简形矩阵。
   • 对于矩阵$A$，先将第二行减去第一行，第四行减去第三行，得到$\left(\begin{array}{cccc}1& 0& 1& 2\\ 0& 0& 0& 0\\ 0& 1& 1& 1\\ 0& 0& 0& 0\end{array}\right)$。此时已经是行阶梯形矩阵，再进一步化为行最简形矩阵，无需其他操作。
3. 确定极大线性无关组：行最简形矩阵中主元（每行第一个非零元素）所在列对应的原向量组中的向量就构成一个极大线性无关组。在上述行最简形矩阵中，主元在第一列和第三列，所以${\vec{\beta }}_1$和${\vec{\beta }}_3$构成该向量组的一个极大线性无关组。

（三）性质

1. 不唯一性：极大线性无关组并不是唯一的。仍以上述向量组为例，经过进一步分析可能还存在其他两个向量的组合也满足极大线性无关组的条件。再比如向量组${\vec{\gamma }}_1=\left(\begin{array}{c}1\\ 0\\ 0\end{array}\right)$，${\vec{\gamma }}_2=\left(\begin{array}{c}0\\ 1\\ 0\end{array}\right)$，${\vec{\gamma }}_3=\left(\begin{array}{c}1\\ 1\\ 0\end{array}\right)$，${\vec{\gamma }}_4=\left(\begin{array}{c}0\\ 0\\ 1\end{array}\right)$。${\vec{\gamma }}_1$，${\vec{\gamma }}_2$，${\vec{\gamma }}_4$是一个极大线性无关组，因为它们线性无关且${\vec{\gamma }}_3={\vec{\gamma }}_1+{\vec{\gamma }}_2$；同时${\vec{\gamma }}_1$，${\vec{\gamma }}_3$，${\vec{\gamma }}_4$也可以是极大线性无关组，${\vec{\gamma }}_2={\vec{\gamma }}_3-{\vec{\gamma }}_1$且这三个向量线性无关。这是因为在向量组中，可能存在多种不同的线性无关的组合方式，都能满足极大线性无关组对向量组的“代表”作用。
2. 向量个数相等：一个向量组的任意两个极大线性无关组所含向量的个数一定相等，这个固定的个数称为向量组的秩。例如，对于向量组${\vec{\delta }}_1=\left(\begin{array}{c}1\\ 2\\ 3\end{array}\right)$，${\vec{\delta }}_2=\left(\begin{array}{c}2\\ 4\\ 6\end{array}\right)$，${\vec{\delta }}_3=\left(\begin{array}{c}3\\ 6\\ 9\end{array}\right)$，它的一个极大线性无关组可以是 { δ ⃗ 1 } \{\vec{\delta}_1\} {δ 1​}（因为${\vec{\delta }}_2=2{\vec{\delta }}_1$，${\vec{\delta }}_3=3{\vec{\delta }}_1$），若再找出另一个极大线性无关组，其中向量个数也必然为$1$，该向量组的秩就是$1$。这是因为极大线性无关组反映的是向量组中线性无关的“最大规模”，无论以何种方式选取，这个“最大规模”是固定的，就像一个容器的最大容量是确定的，虽然装东西的方式可以不同，但最大能装的量是一样的。

（四）用极大线性无关组表示不属于该组的向量

当我们确定了向量组的极大线性无关组后，对于那些不属于极大线性无关组的向量，我们可以通过求解线性方程组的方式来确定它们由极大线性无关组线性表示的系数。

例如，已知向量组${\overrightarrow{ϵ}}_1=\left(\begin{array}{c}1\\ 1\\ 0\end{array}\right)$，${\overrightarrow{ϵ}}_2=\left(\begin{array}{c}0\\ 1\\ 1\end{array}\right)$，${\overrightarrow{ϵ}}_3=\left(\begin{array}{c}1\\ 2\\ 1\end{array}\right)$，已求得${\overrightarrow{ϵ}}_1$，${\overrightarrow{ϵ}}_2$是极大线性无关组。设${\overrightarrow{ϵ}}_3=x{\overrightarrow{ϵ}}_1+y{\overrightarrow{ϵ}}_2$，即$\left(\begin{array}{c}1\\ 2\\ 1\end{array}\right)=x\left(\begin{array}{c}1\\ 1\\ 0\end{array}\right)+y\left(\begin{array}{c}0\\ 1\\ 1\end{array}\right)=\left(\begin{array}{c}x\\ x+y\\ y\end{array}\right)$，由此得到方程组$\{\begin{array}{l}x=1\\ x+y=2\\ y=1\end{array}$。通过解方程组，很容易得出$x=1$，$y=1$，所以${\overrightarrow{ϵ}}_3={\overrightarrow{ϵ}}_1+{\overrightarrow{ϵ}}_2$。这就好像我们找到了一种“配方”，用极大线性无关组中的向量按照特定的比例（这里$x=1$，$y=1$）组合起来，就能得到不属于极大线性无关组的向量，体现了极大线性无关组对整个向量组的“构建”作用，有助于我们更清晰、简洁地描述整个向量组的结构和性质。