机器学习数学基础：21.特征值与特征向量

一、引言

在现代科学与工程的众多领域中，线性代数扮演着举足轻重的角色。其中，特征值、特征向量以及相似对角化的概念和方法，不仅是线性代数理论体系的核心部分，更是解决实际问题的有力工具。无论是在物理学中描述系统的振动模式，还是在计算机科学里进行数据降维与图像处理，它们都发挥着关键作用。本教程将深入且全面地对这些内容展开讲解，旨在帮助读者透彻理解并熟练运用相关知识。

二、基础知识准备

（一）对角矩阵的高次幂计算

在开启特征值与特征向量的探索之旅前，我们先来聚焦对角矩阵的高次幂运算。对角矩阵是一种结构特殊的方阵，其显著特点是主对角线以外的所有元素均为零。用数学语言描述，对于一个$n$阶对角矩阵$\Lambda =\left(\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right)$，在计算它的$N$次幂${\Lambda }^N$时，我们可以遵循一个简洁的规则：直接将主对角线上的各个元素替换为它们各自的$N$次幂。即${\Lambda }^N=\left(\begin{array}{cccc}{\lambda }_1^N& 0& \cdots & 0\\ 0& {\lambda }_2^N& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n^N\end{array}\right)$。

为了更直观地理解，我们来看几个具体例子。当$N=2$时，${\Lambda }^2=\left(\begin{array}{cccc}{\lambda }_1^2& 0& \cdots & 0\\ 0& {\lambda }_2^2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n^2\end{array}\right)$；当$N=3$时，${\Lambda }^3=\left(\begin{array}{cccc}{\lambda }_1^3& 0& \cdots & 0\\ 0& {\lambda }_2^3& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n^3\end{array}\right)$。这种计算方式的便捷性，源于对角矩阵自身独特的结构，使得高次幂的计算变得相对简单直接。

（二）对角矩阵的乘法

在矩阵乘法的运算体系中，对角矩阵的乘法展现出独特的简便性。假设我们有两个$n$阶对角矩阵${\Lambda }_1=\left(\begin{array}{cccc}{a}_1& 0& \cdots & 0\\ 0& a_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & a_n\end{array}\right)$和${\Lambda }_2=\left(\begin{array}{cccc}{b}_1& 0& \cdots & 0\\ 0& b_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & b_n\end{array}\right)$。

它们的乘积${\Lambda }_1{\Lambda }_2$的计算过程如下：根据矩阵乘法的定义，对于一般矩阵$C=AB$，$C$的元素$c_{ij}={\sum }_{k=1}^n{a}_{ik}{b}_{kj}$。但对于对角矩阵${\Lambda }_1$和${\Lambda }_2$，由于非对角元素均为$0$，在计算乘积矩阵${\Lambda }_1{\Lambda }_2$的元素时，只有$i=j$的位置上的元素不为$0$。具体来说，$({\Lambda }_1{\Lambda }_2{)}_{ii}=a_i{b}_i$，而$({\Lambda }_1{\Lambda }_2{)}_{ij}=0$（$i\ne j$）。所以${\Lambda }_1{\Lambda }_2=\left(\begin{array}{cccc}{a}_1{b}_1& 0& \cdots & 0\\ 0& a_2{b}_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & a_n{b}_n\end{array}\right)$，即只需将对应位置的元素相乘即可得到乘积矩阵的元素。

三、特征值与特征向量的求解

（一）求解方法概述

对于一个$n$阶方阵$A$，我们通过构建并求解特征方程$|A-\lambda E|=0$来获取其特征值$\lambda$。这里的$E$代表$n$阶单位矩阵，$|A-\lambda E|$是一个关于$\lambda$的$n$次多项式，被称为矩阵$A$的特征多项式。

从行列式的计算角度来看，$A-\lambda E$是将矩阵$A$的主对角线元素分别减去$\lambda$后得到的矩阵，然后计算这个新矩阵的行列式。例如，对于二阶矩阵$A=\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right)$，$A-\lambda E=\left(\begin{array}{cc}{a}_{11}-\lambda & a_{12}\\ a_{21}& a_{22}-\lambda \end{array}\right)$，其特征多项式$|A-\lambda E|=(a_{11}-\lambda )(a_{22}-\lambda )-a_{12}{a}_{21}$，这是一个关于$\lambda$的二次多项式。

求解特征方程$|A-\lambda E|=0$，本质上就是求解这个$n$次多项式方程的根。这些根就是矩阵$A$的特征值，在求解过程中，可能会出现重根的情况。例如，对于矩阵$A=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$，其特征多项式为$|A-\lambda E|=\left|\begin{array}{cc}2-\lambda & 1\\ 1& 2-\lambda \end{array}\right|=(2-\lambda {)}^2-1={\lambda }^2-4\lambda +3$。令${\lambda }^2-4\lambda +3=0$，通过因式分解得到$(\lambda -1)(\lambda -3)=0$，解得特征值${\lambda }_1=1$，${\lambda }_2=3$，这里特征值没有重根。但对于一些特殊矩阵，可能会出现如二重根、三重根等情况。

（二）特征向量的求解

当我们成功求得矩阵$A$的特征值$\lambda$后，接下来要做的是将每个特征值$\lambda$代入齐次线性方程组$(A-\lambda E)X=0$，以此来求解对应的特征向量$X$。

以矩阵$A=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$为例，当${\lambda }_1=1$时，将其代入$(A-{\lambda }_{1}E)X=0$，得到$\left(\begin{array}{cc}2-1& 1\\ 1& 2-1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{cc}1& 1\\ 1& 1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{c}0\\ 0\end{array}\right)$。

为了求解这个齐次线性方程组，我们对系数矩阵$\left(\begin{array}{cc}1& 1\\ 1& 1\end{array}\right)$进行初等行变换。根据初等行变换的规则，将第二行减去第一行，可将系数矩阵化为$\left(\begin{array}{cc}1& 1\\ 0& 0\end{array}\right)$。这意味着原方程组等价于$x_1+x_2=0$，我们令$x_2=t$（$t$为任意非零实数），那么$x_1=-t$。所以，对应的特征向量可以表示为$X_1=t\left(\begin{array}{c}-1\\ 1\end{array}\right)$（$t\ne 0$），这里$t$的任意非零取值都对应着一个特征向量，它们构成了属于特征值${\lambda }_1=1$的特征向量空间。

当${\lambda }_2=3$时，代入$(A-{\lambda }_{2}E)X=0$，即$\left(\begin{array}{cc}2-3& 1\\ 1& 2-3\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{cc}-1& 1\\ 1& -1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{c}0\\ 0\end{array}\right)$。

同样对系数矩阵$\left(\begin{array}{cc}-1& 1\\ 1& -1\end{array}\right)$进行初等行变换，将第一行乘以$-1$后加到第二行，可化为$\left(\begin{array}{cc}1& -1\\ 0& 0\end{array}\right)$。此时方程组等价于$x_1-x_2=0$，令$x_2=s$（$s$为任意非零实数），则$x_1=s$。所以对应的特征向量为$X_2=s\left(\begin{array}{c}1\\ 1\end{array}\right)$（$s\ne 0$）。

需要特别强调的是，在求解特征向量时，我们要找出所有的特征向量，而不仅仅是基础解系。基础解系是齐次线性方程组解空间的一组基，它能通过线性组合表示出解空间中的所有向量，但每个基础解系向量乘以非零标量后得到的向量也都是特征向量，我们需要将它们都考虑在内。

四、相似对角化

（一）相似对角化的条件

对于一个$n$阶方阵$A$，若存在一个可逆矩阵$P$和一个对角矩阵$\Lambda$，使得$P^{-1}AP=\Lambda$成立，则称矩阵$A$可进行相似对角化。

判断矩阵$A$能否相似对角化，是一个关键且严谨的过程，我们需要通过求特征向量和基础解系来得出结论。具体步骤如下：

1. 首先，求解特征方程$|A-\lambda E|=0$，从而得到矩阵$A$的所有特征值${\lambda }_i$（$i=1,2,\cdots ,n$）。这些特征值是后续分析的基础。
2. 对于每一个特征值${\lambda }_i$，将其代入齐次线性方程组$(A-{\lambda }_{i}E)X=0$，然后求解该方程组，得到基础解系${\xi }_{i1},{\xi }_{i2},\cdots ,{\xi }_{i{r}_i}$。这里的$r_i$表示基础解系中向量的个数，它反映了属于特征值${\lambda }_i$的线性无关特征向量的数量。
3. 最后，我们检查所有特征值对应的线性无关特征向量的个数之和是否等于矩阵$A$的阶数$n$，即判断${\sum }_{i=1}^n{r}_i=n$是否成立。如果等式成立，那么矩阵$A$可相似对角化；若不成立，则矩阵$A$不可相似对角化。

（二）相似对角化的步骤

1. 第一步，全面且准确地求出矩阵$A$的所有特征值${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$。这一步是相似对角化的起始点，需要我们熟练掌握特征方程的求解方法。
2. 第二步，针对每个特征值${\lambda }_i$，细致地求出对应的所有线性无关的特征向量${\xi }_{i1},{\xi }_{i2},\cdots ,{\xi }_{i{r}_i}$。然后，将这些特征向量按照一定的顺序按列构成可逆矩阵$P=({\xi }_{11},\cdots ,{\xi }_{1r_1},{\xi }_{21},\cdots ,{\xi }_{2r_2},\cdots ,{\xi }_{n1},\cdots ,{\xi }_{n{r}_n})$。在构建$P$矩阵时，要确保特征向量的排列顺序与后续对角矩阵$\Lambda$中特征值的顺序相对应。
3. 第三步，构建对角矩阵$\Lambda =\left(\begin{array}{cccc}{\lambda }_1& & & \\ & \ddots & & \\ & & {\lambda }_n& \end{array}\right)$。其中，主对角线上的元素就是矩阵$A$的特征值，并且这些特征值的顺序要与$P$矩阵中特征向量的排列顺序严格对应。

例如，对于前面提到的矩阵$A=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$，特征值${\lambda }_1=1$对应的特征向量取${\xi }_{11}=\left(\begin{array}{c}-1\\ 1\end{array}\right)$（当$t=1$时），特征值${\lambda }_2=3$对应的特征向量取${\xi }_{21}=\left(\begin{array}{c}1\\ 1\end{array}\right)$（当$s=1$时），则$P=\left(\begin{array}{cc}-1& 1\\ 1& 1\end{array}\right)$，$\Lambda =\left(\begin{array}{cc}1& 0\\ 0& 3\end{array}\right)$。通过计算$P^{-1}AP$，可以验证$P^{-1}AP=\Lambda$，从而实现了矩阵$A$的相似对角化。

（三）$P$矩阵的可逆性

在相似对角化的过程中，$P$矩阵的可逆性具有举足轻重的地位。从相似对角化的定义$P^{-1}AP=\Lambda$可以看出，如果$P$不可逆，那么$P^{-1}$就不存在，也就无法满足相似对角化的形式要求，矩阵$A$也就不能进行相似对角化。

深入分析可知，$P$矩阵是由矩阵$A$的特征向量构成的。而$P$矩阵可逆的充要条件是它的列向量线性无关，也就是矩阵$A$的$n$个特征向量线性无关。这进一步说明了$n$阶方阵$A$可相似对角化的充要条件是$A$有$n$个线性无关的特征向量。如果$A$的特征向量线性相关，那么$P$矩阵就不可逆，相似对角化也就无法实现。

五、特征值与相似矩阵的性质

（一）特征值的性质

1. 特征值乘积与行列式的关系：特征值的乘积等于矩阵的行列式，即${\prod }_{i=1}^n{\lambda }_i=|A|$。这一性质揭示了特征值与矩阵行列式之间的内在联系。例如，对于矩阵$A=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$，我们可以通过行列式的计算公式$|A|=2\times 2-1\times 1=3$来计算其行列式的值。同时，我们已经求得该矩阵的特征值${\lambda }_1=1$，${\lambda }_2=3$，${\lambda }_1{\lambda }_2=1\times 3=3$，恰好等于矩阵$A$的行列式$|A|$。这一性质在很多情况下可以帮助我们快速验证计算结果的正确性，或者通过已知的特征值来计算矩阵的行列式。
2. 特征值之和与矩阵迹的关系：特征值的和等于矩阵的主对角线元素之和，矩阵的主对角线元素之和也被称为矩阵的迹，记为$tr(A)$，即${\sum }_{i=1}^n{\lambda }_i={\sum }_{i=1}^n{a}_{ii}$。对于矩阵$A=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$，$tr(A)=2+2=4$，而特征值${\lambda }_1=1$，${\lambda }_2=3$，${\lambda }_1+{\lambda }_2=1+3=4$，二者相等。这一性质在判断矩阵的一些特性以及简化计算中具有重要作用。比如，当我们知道矩阵的特征值时，能快速得到矩阵的迹；反之，若已知矩阵的迹和部分特征值，也可据此求出其他特征值。

（二）相似矩阵的性质

1. 特征值相同：相似矩阵具有相同的特征值。即若矩阵$A$与$B$相似，存在可逆矩阵$P$使得$P^{-1}AP=B$，那么$A$和$B$的特征多项式$|A-\lambda E|$与$|B-\lambda E|$是相等的。这是因为$|B-\lambda E|=|P^{-1}AP-\lambda E|=|P^{-1}(A-\lambda E)P|$，根据行列式的性质$|P^{-1}(A-\lambda E)P|=|P^{-1}||A-\lambda E||P|$，又因为$|P^{-1}||P|=1$，所以$|B-\lambda E|=|A-\lambda E|$，进而$A$和$B$有相同的特征值。这一性质在矩阵的变换和分类中非常关键，相似矩阵由于特征值相同，在很多与特征值相关的性质和应用上表现出一致性。
2. 行列式相等：相似矩阵的行列式相等。因为$|B|=|P^{-1}AP|=|P^{-1}||A||P|=|A|$（依据行列式的性质$|AB|=|A||B|$以及$|P^{-1}||P|=1$）。这意味着相似矩阵在行列式相关的运算和性质上是等价的，例如在判断矩阵是否可逆时，相似矩阵具有相同的可逆性（因为可逆矩阵的行列式不为零，相似矩阵行列式相等，所以要么都可逆，要么都不可逆）。
3. 迹相等：相似矩阵的迹相等。由于相似矩阵特征值相同，而特征值的和等于矩阵的迹，所以相似矩阵的迹必然相等。即若$A$与$B$相似，$tr(A)=tr(B)$。这一性质在一些需要比较矩阵特征的场景中很有用，比如在判断两个矩阵是否可能相似时，迹是否相等可以作为一个初步的判断条件。

六、伴随矩阵与转置矩阵的特征值

（一）伴随矩阵的特征值

对于矩阵$A$，当$A$可逆时，其伴随矩阵$A^{\ast }$满足$A^{\ast }=|A|A^{-1}$。假设$\lambda$是$A$的特征值，$\xi$是对应的特征向量，即$A\xi =\lambda \xi$（$\xi \ne 0$）。两边同时左乘$A^{\ast }$，得到$A^{\ast }A\xi =A^{\ast }\lambda \xi$。又因为$A^{\ast }A=|A|E$，所以$|A|\xi =\lambda A^{\ast }\xi$，则$A^{\ast }\xi =\frac{|A|}{\lambda }\xi$（$\lambda \ne 0$）。这表明当$\lambda$是可逆矩阵$A$的非零特征值时，$\frac{|A|}{\lambda }$是$A^{\ast }$的特征值。例如，若$A$是一个$3$阶可逆矩阵，$|A|=6$，$A$的一个特征值为$2$，那么$A^{\ast }$对应有一个特征值为$\frac{6}{2}=3$。

当$\lambda =0$时，情况较为特殊。若$0$是$A$的特征值，则$A$不可逆（因为可逆矩阵的特征值都不为$0$），此时需要根据$A$的秩等信息进一步分析$A^{\ast }$的特征值情况。若$r(A)<n-1$（$n$为矩阵$A$的阶数），则$A^{\ast }$的所有元素都为$0$，即$A^{\ast }=0$，$0$是$A^{\ast }$的$n$重特征值；若$r(A)=n-1$，$A^{\ast }$的秩为$1$，$0$是$A^{\ast }$的$n-1$重特征值，另一个非零特征值可通过其他方法计算。

（二）伴随矩阵与转置矩阵特征值的关系

$A$的伴随矩阵$A^{\ast }$和$A$的转置矩阵$A^T$的特征值相同。这是因为$|A^T-\lambda E|=|(A-\lambda E{)}^T|$，根据行列式的性质$|A^T|=|A|$，可得$|(A-\lambda E{)}^T|=|A-\lambda E|$，所以$A$和$A^T$有相同的特征多项式，进而有相同的特征值。而$A^{\ast }$与$A$的特征值存在上述关系，所以在一定条件下，$A^{\ast }$和$A^T$的特征值相同。这一关系在研究矩阵的各种变换和性质时提供了更多的思路和联系，例如在某些涉及伴随矩阵和转置矩阵的计算和证明中，可以利用它们特征值相同这一性质进行推导和简化。

七、矩阵$A$及其相关矩阵的特征值与特征向量性质推导

（一）$aA+bE$（$a$、$b$为常数 ）的特征值与特征向量

已知$\lambda$是矩阵$A$的特征值，$\xi$是对应的特征向量，即$A\xi =\lambda \xi$。
对于矩阵$aA+bE$，计算$(aA+bE)\xi$：
$$\begin{array}{rl}(aA+bE)\xi & =aA\xi +bE\xi \\ & =a\lambda \xi +b\xi \\ & =(a\lambda +b)\xi \end{array}$$
根据特征值与特征向量的定义，满足$(aA+bE)\xi =\mu \xi$（$\mu$为特征值，$\xi$为特征向量）的$\mu$就是$aA+bE$的特征值，所以$aA+bE$的特征值为$a\lambda +b$，且特征向量与$A$相同，为$\xi$。这表明对矩阵$A$进行$a$倍缩放并加上$b$倍单位矩阵的变换后，其特征值也相应地进行$a$倍缩放再加上$b$的变换，而特征向量保持不变。

（二）$A^n$（$n$为正整数 ）的特征值与特征向量

已知$A\xi =\lambda \xi$，当$n=2$时：
$$\begin{array}{rl}{A}^2\xi & =A(A\xi )\\ & =A(\lambda \xi )\\ & =\lambda A\xi \\ & ={\lambda }^2\xi \end{array}$$
假设当$n=k$（$k$为正整数）时，$A^k\xi ={\lambda }^k\xi$成立。
当$n=k+1$时：
$$\begin{array}{rl}{A}^{k+1}\xi & =A(A^k\xi )\\ & =A({\lambda }^k\xi )\\ & ={\lambda }^{k}A\xi \\ & ={\lambda }^{k+1}\xi \end{array}$$
由数学归纳法可知，对于任意正整数$n$，$A^n\xi ={\lambda }^n\xi$。所以$A^n$的特征值为${\lambda }^n$，特征向量为$\xi$。这体现了矩阵幂次运算与特征值、特征向量之间的规律，矩阵$A$的$n$次幂的特征值是其原特征值的$n$次幂，且特征向量在幂次变换下保持稳定。

（三）$A^{-1}$（$A$可逆 ）的特征值与特征向量

因为$A$可逆，且$A\xi =\lambda \xi$（$\xi \ne 0$），两边同时左乘$A^{-1}$：
$$\begin{array}{rl}{A}^{-1}A\xi & =A^{-1}\lambda \xi \\ \xi & =\lambda A^{-1}\xi \end{array}$$
由于$\lambda \ne 0$（可逆矩阵的特征值不为$0$），等式两边同时除以$\lambda$，得到$A^{-1}\xi =\frac{1}{\lambda }\xi$。所以$A^{-1}$的特征值为$\frac{1}{\lambda }$，特征向量为$\xi$。这表明可逆矩阵$A$的逆矩阵的特征值是$A$特征值的倒数，且矩阵$A$与其逆矩阵$A^{-1}$具有相同的特征向量，反映了可逆矩阵与其逆矩阵在特征向量性质上的紧密联系。

（四）$A^T$（$A$的转置矩阵 ）的特征值

已知$A$和$A^T$的特征多项式分别为$|A-\lambda E|$和$|A^T-\lambda E|$。
根据行列式的性质：对于任意矩阵$M$，$|M^T|=|M|$。
对于$M=A-\lambda E$，有$|A^T-\lambda E|=|(A-\lambda E{)}^T|=|A-\lambda E|$。
因为特征多项式相等，所以$A$和$A^T$有相同的特征值。但需要注意的是，虽然$A$和$A^T$特征值相同，它们的特征向量一般不同。这是因为矩阵转置后，其对向量的变换方式在空间中的表现有所不同，导致满足特征向量定义的向量集合通常不一致。

八、总结

本教程全面且深入地讲解了线性代数中特征值与特征向量的求解方法，包括从特征方程出发求特征值，以及通过代入方程组细致求解特征向量的过程，同时强调了求解特征向量时要涵盖所有情况。对于相似对角化，我们详细阐述了其基础概念、判断条件、具体步骤以及$P$矩阵可逆性的重要意义。此外，还深入探讨了特征值与相似矩阵的诸多性质，以及伴随矩阵与转置矩阵特征值的特点和关系，并对矩阵$A$及其相关矩阵的特征值与特征向量性质进行了详细推导。

特征值、特征向量以及相似对角化作为线性代数的核心内容，不仅在理论体系中占据关键地位，而且在实际应用中有着广泛的用途。希望读者通过本教程能够深入理解这些知识，熟练掌握相关的计算和判断方法，为后续在数学、物理、工程、计算机科学等多个领域的学习和研究打下坚实的基础。在学习过程中，建议读者多做练习题，通过实际操作加深对这些概念和方法的理解和运用能力。