线性代数 | 机器学习数学基础

前言

线性代数（linear algebra）是关于向量空间和线性映射的一个数学分支。它包括对线、面和子空间的研究，同时也涉及到所有的向量空间的一般性质。

本文主要介绍机器学习中所用到的线性代数核心基础概念，供读者学习阶段查漏补缺或是快速学习参考。

线性代数

行列式

1.行列式按行（列）展开定理

(1) 设$A=(a_{ij}{)}_{n\times n}$，则：$a_{i1}{A}_{j1}+a_{i2}{A}_{j2}+\cdots +a_{in}{A}_{jn}=\{\begin{array}{l}|A|,i=j\\ 0,i\ne j\end{array}$

或$a_{1i}{A}_{1j}+a_{2i}{A}_{2j}+\cdots +a_{ni}{A}_{nj}=\{\begin{array}{l}|A|,i=j\\ 0,i\ne j\end{array}$即 $A{A}^{\ast }=A^{\ast }A=\left|A\right|E,$其中：$A^{\ast }=\left(\begin{array}{cccc}{A}_{11}& A_{12}& \dots & A_{1n}\\ A_{21}& A_{22}& \dots & A_{2n}\\ \dots & \dots & \dots & \dots \\ A_{n1}& A_{n2}& \dots & A_{nn}\end{array}\right)=(A_{ji})={(A_{ij})}^T$

$D_n=\left|\begin{array}{cccc}1& 1& \dots & 1\\ x_1& x_2& \dots & x_n\\ \dots & \dots & \dots & \dots \\ x_1^{n-1}& x_2^{n-1}& \dots & x_n^{n-1}\end{array}\right|={\prod }_{1\le j<i\le n}^{}(x_i-x_j)$

(2) 设$A,B$为$n$阶方阵，则$\left|AB\right|=\left|A\right|\left|B\right|=\left|B\right|\left|A\right|=\left|BA\right|$，但$\left|A\pm B\right|=\left|A\right|\pm \left|B\right|$不一定成立。

(3) $\left|kA\right|=k^n\left|A\right|$,$A$为$n$阶方阵。

(4) 设$A$为$n$阶方阵，$|A^T|=|A|;|A^{-1}|=|A{|}^{-1}$（若$A$可逆），$|A^{\ast }|=|A{|}^{n-1}$

$n\ge 2$

(5) $\left|\begin{array}{cc}& AO\\ & OB\end{array}\right|=\left|\begin{array}{cc}& AC\\ & OB\end{array}\right|=\left|\begin{array}{cc}& AO\\ & CB\end{array}\right|=|A||B|$
，$A,B$为方阵，但$\left|\begin{array}{cc}O& A_{m\times m}\\ B_{n\times n}& O\end{array}\right|=({-1)}^{mn}|A||B|$ 。

(6) 范德蒙行列式$D_n=\left|\begin{array}{cccc}1& 1& \dots & 1\\ x_1& x_2& \dots & x_n\\ \dots & \dots & \dots & \dots \\ x_1^{n-1}& x_2^{n1}& \dots & x_n^{n-1}\end{array}\right|={\prod }_{1\le j<i\le n}^{}(x_i-x_j)$

设$A$是$n$阶方阵，${\lambda }_i(i=1,2\cdots ,n)$是$A$的$n$个特征值，则
$|A|={\prod }_{i=1}^n{\lambda }_i$

矩阵

矩阵：$m\times n$个数$a_{ij}$排成$m$行$n$列的表格$\left[\begin{array}{c}{a}_{11}{a}_{12}\cdots a_{1n}\\ a_{21}{a}_{22}\cdots a_{2n}\\ \cdots \cdots \cdots \cdots \cdots \\ a_{m1}{a}_{m2}\cdots a_{mn}\end{array}\right]$ 称为矩阵，简记为$A$，或者${\left(a_{ij}\right)}_{m\times n}$ 。若$m=n$，则称$A$是$n$阶矩阵或$n$阶方阵。

矩阵的线性运算

1.矩阵的加法

设$A=(a_{ij}),B=(b_{ij})$是两个$m\times n$矩阵，则$m\times n$ 矩阵$C=c_{ij})=a_{ij}+b_{ij}$称为矩阵$A$与$B$的和，记为$A+B=C$ 。

2.矩阵的数乘

设$A=(a_{ij})$是$m\times n$矩阵，$k$是一个常数，则$m\times n$矩阵$(k{a}_{ij})$称为数$k$与矩阵$A$的数乘，记为$kA$。

3.矩阵的乘法

设$A=(a_{ij})$是$m\times n$矩阵，$B=(b_{ij})$是$n\times s$矩阵，那么$m\times s$矩阵$C=(c_{ij})$，其中$c_{ij}=a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\cdots +a_{in}{b}_{nj}={\sum }_{k=1}^n{a}_{ik}{b}_{kj}$称为$AB$的乘积，记为$C=AB$ 。

4. ${\mathbf{A}}^{\mathbf{T}}$、${\mathbf{A}}^{-1}$、${\mathbf{A}}^{\ast }$三者之间的关系

(1) ${(A^T)}^T=A,{(AB)}^T=B^T{A}^T,{(kA)}^T=k{A}^T,{(A\pm B)}^T=A^T\pm B^T$

(2) ${\left(A^{-1}\right)}^{-1}=A,{\left(AB\right)}^{-1}=B^{-1}{A}^{-1},{\left(kA\right)}^{-1}=\frac{1}{k}{A}^{-1},$

但 ${(A\pm B)}^{-1}=A^{-1}\pm B^{-1}$不一定成立。

(3) ${\left(A^{\ast }\right)}^{\ast }=|A{|}^{n-2}A(n\ge 3)$，${\left(AB\right)}^{\ast }=B^{\ast }{A}^{\ast },$ ${\left(kA\right)}^{\ast }=k^{n-1}{A}^{\ast }\left(n\ge 2\right)$

但${\left(A\pm B\right)}^{\ast }=A^{\ast }\pm B^{\ast }$不一定成立。

(4) ${(A^{-1})}^T={(A^T)}^{-1},{\left(A^{-1}\right)}^{\ast }={(A{A}^{\ast })}^{-1},{(A^{\ast })}^T={\left(A^T\right)}^{\ast }$

5.有关${\mathbf{A}}^{\ast }$的结论

(1) $A{A}^{\ast }=A^{\ast }A=|A|E$

(2) $|A^{\ast }|=|A{|}^{n-1}(n\ge 2),{(kA)}^{\ast }=k^{n-1}{A}^{\ast },{\left(A^{\ast }\right)}^{\ast }=|A{|}^{n-2}A(n\ge 3)$

(3) 若$A$可逆，则$A^{\ast }=|A|A^{-1},{(A^{\ast })}^{\ast }=\frac{1}{|A|}A$

(4) 若$A$为$n$阶方阵，则：

$r(A^{\ast })=\{\begin{array}{l}n,r(A)=n\\ 1,r(A)=n-1\\ 0,r(A)<n-1\end{array}$

6.有关${\mathbf{A}}^{-1}$的结论

$A$可逆$\iff AB=E;\iff |A|\ne 0;\iff r(A)=n;$

$\iff A$可以表示为初等矩阵的乘积；$\iff A;\iff Ax=0$。

7.有关矩阵秩的结论

(1) 秩$r(A)$=行秩=列秩；

(2) $r(A_{m\times n})\le \min (m,n);$

(3) $A\ne 0\Rightarrow r(A)\ge 1$；

(4) $r(A\pm B)\le r(A)+r(B);$

(5) 初等变换不改变矩阵的秩

(6) $r(A)+r(B)-n\le r(AB)\le \min (r(A),r(B)),$特别若$AB=O$
则：$r(A)+r(B)\le n$

(7) 若$A^{-1}$存在$\Rightarrow r(AB)=r(B);$ 若$B^{-1}$存在
$\Rightarrow r(AB)=r(A);$

若$r(A_{m\times n})=n\Rightarrow r(AB)=r(B);$ 若$r(A_{m\times s})=n\Rightarrow r(AB)=r\left(A\right)$。

(8) $r(A_{m\times s})=n\iff Ax=0$只有零解

8.分块求逆公式

${\left(\begin{array}{cc}A& O\\ O& B\end{array}\right)}^{-1}=\left(\begin{array}{cc}{A}^{-1}& O\\ O& B^{-1}\end{array}\right)$； ${\left(\begin{array}{cc}A& C\\ O& B\end{array}\right)}^{-1}=\left(\begin{array}{cc}{A}^{-1}& -A^{-1}C{B}^{-1}\\ O& B^{-1}\end{array}\right)$；

${\left(\begin{array}{cc}A& O\\ C& B\end{array}\right)}^{-1}=\left(\begin{array}{cc}{A}^{-1}& O\\ -B^{-1}C{A}^{-1}& B^{-1}\end{array}\right)$； ${\left(\begin{array}{cc}O& A\\ B& O\end{array}\right)}^{-1}=\left(\begin{array}{cc}O& B^{-1}\\ A^{-1}& O\end{array}\right)$

这里$A$，$B$均为可逆方阵。

向量

1.有关向量组的线性表示

(1)${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性相关$\iff$至少有一个向量可以用其余向量线性表示。

(2)${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性无关，${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$，$\beta$线性相关$\iff \beta$可以由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$唯一线性表示。

(3) $\beta$可以由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性表示
$\iff r({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s)=r({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s,\beta )$ 。

2.有关向量组的线性相关性

(1)部分相关，整体相关；整体无关，部分无关.

(2) ① $n$个$n$维向量
${\alpha }_1,{\alpha }_2\cdots {\alpha }_n$线性无关$\iff \left|\left[{\alpha }_1{\alpha }_2\cdots {\alpha }_n\right]\right|\ne 0$， $n$个$n$维向量${\alpha }_1,{\alpha }_2\cdots {\alpha }_n$线性相关
$\iff |[{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n]|=0$
。

② $n+1$个$n$维向量线性相关。

③ 若${\alpha }_1,{\alpha }_2\cdots {\alpha }_S$线性无关，则添加分量后仍线性无关；或一组向量线性相关，去掉某些分量后仍线性相关。

3.有关向量组的线性表示

(1) ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性相关$\iff$至少有一个向量可以用其余向量线性表示。

(2) ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性无关，${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$，$\beta$线性相关$\iff \beta$ 可以由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$唯一线性表示。

(3) $\beta$可以由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性表示
$\iff r({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s)=r({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s,\beta )$

4.向量组的秩与矩阵的秩之间的关系

设$r(A_{m\times n})=r$，则$A$的秩$r(A)$与$A$的行列向量组的线性相关性关系为：

(1) 若$r(A_{m\times n})=r=m$，则$A$的行向量组线性无关。

(2) 若$r(A_{m\times n})=r<m$，则$A$的行向量组线性相关。

(3) 若$r(A_{m\times n})=r=n$，则$A$的列向量组线性无关。

(4) 若$r(A_{m\times n})=r<n$，则$A$的列向量组线性相关。

5.$\mathbf{n}$维向量空间的基变换公式及过渡矩阵

若${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$与${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$是向量空间$V$的两组基，则基变换公式为：

$({\beta }_1,{\beta }_2,\cdots ,{\beta }_n)=({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)\left[\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1n}\\ c_{21}& c_{22}& \cdots & c_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ c_{n1}& c_{n2}& \cdots & c_{nn}\end{array}\right]=({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)C$

其中$C$是可逆矩阵，称为由基${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$到基${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$的过渡矩阵。

6.坐标变换公式

若向量$\gamma$在基${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$与基${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$的坐标分别是
$X={(x_1,x_2,\cdots ,x_n)}^T$，

$Y={\left(y_1,y_2,\cdots ,y_n\right)}^T$ 即： $\gamma =x_1{\alpha }_1+x_2{\alpha }_2+\cdots +x_n{\alpha }_n=y_1{\beta }_1+y_2{\beta }_2+\cdots +y_n{\beta }_n$，则向量坐标变换公式为$X=CY$ 或$Y=C^{-1}X$，其中$C$是从基${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$到基${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$的过渡矩阵。

7.向量的内积

$(\alpha ,\beta )=a_1{b}_1+a_2{b}_2+\cdots +a_n{b}_n={\alpha }^T\beta ={\beta }^T\alpha$

8.Schmidt 正交化

若${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性无关，则可构造${\beta }_1,{\beta }_2,\cdots ,{\beta }_s$使其两两正交，且${\beta }_i$仅是${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_i$的线性组合$(i=1,2,\cdots ,n)$，再把${\beta }_i$单位化，记${\gamma }_i=\frac{{\beta }_i}{|{\beta }_i|}$，则${\gamma }_1,{\gamma }_2,\cdots ,{\gamma }_i$是规范正交向量组。其中
${\beta }_1={\alpha }_1$， ${\beta }_2={\alpha }_2-\frac{({\alpha }_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1$ ， ${\beta }_3={\alpha }_3-\frac{({\alpha }_3,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1-\frac{({\alpha }_3,{\beta }_2)}{({\beta }_2,{\beta }_2)}{\beta }_2$ ，

…

${\beta }_s={\alpha }_s-\frac{({\alpha }_s,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1-\frac{({\alpha }_s,{\beta }_2)}{({\beta }_2,{\beta }_2)}{\beta }_2-\cdots -\frac{({\alpha }_s,{\beta }_{s-1})}{({\beta }_{s-1},{\beta }_{s-1})}{\beta }_{s-1}$

9.正交基及规范正交基

向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量，就称其为规范正交基。

线性方程组

1．克莱姆法则

线性方程组$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n=b_n\end{array}$，如果系数行列式$D=\left|A\right|\ne 0$，则方程组有唯一解，$x_1=\frac{D_1}{D},x_2=\frac{D_2}{D},\cdots ,x_n=\frac{D_n}{D}$，其中$D_j$是把$D$中第$j$列元素换成方程组右端的常数列所得的行列式。

2. $n$阶矩阵$A$可逆$\iff Ax=0$只有零解。$\iff \forall b,Ax=b$总有唯一解，一般地，$r(A_{m\times n})=n\iff Ax=0$只有零解。

3.非奇次线性方程组有解的充分必要条件，线性方程组解的性质和解的结构

(1) 设$A$为$m\times n$矩阵，若$r(A_{m\times n})=m$，则对$Ax=b$而言必有$r(A)=r(A⋮b)=m$，从而$Ax=b$有解。

(2) 设$x_1,x_2,\cdots x_s$为$Ax=b$的解，则$k_1{x}_1+k_2{x}_2\cdots +k_s{x}_s$当$k_1+k_2+\cdots +k_s=1$时仍为$Ax=b$的解；但当$k_1+k_2+\cdots +k_s=0$时，则为$Ax=0$的解。特别$\frac{x_1+x_2}{2}$为$Ax=b$的解；$2x_3-(x_1+x_2)$为$Ax=0$的解。

(3) 非齐次线性方程组$Ax=b$无解$\iff r(A)+1=r(\overline{A})\iff b$不能由$A$的列向量${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$线性表示。

4.奇次线性方程组的基础解系和通解，解空间，非奇次线性方程组的通解

(1) 齐次方程组$Ax=0$恒有解(必有零解)。当有非零解时，由于解向量的任意线性组合仍是该齐次方程组的解向量，因此$Ax=0$的全体解向量构成一个向量空间，称为该方程组的解空间，解空间的维数是$n-r(A)$，解空间的一组基称为齐次方程组的基础解系。

(2) ${\eta }_1,{\eta }_2,\cdots ,{\eta }_t$是$Ax=0$的基础解系，即：

1. ${\eta }_1,{\eta }_2,\cdots ,{\eta }_t$是$Ax=0$的解；

2. ${\eta }_1,{\eta }_2,\cdots ,{\eta }_t$线性无关；

3. $Ax=0$的任一解都可以由${\eta }_1,{\eta }_2,\cdots ,{\eta }_t$线性表出.
   $k_1{\eta }_1+k_2{\eta }_2+\cdots +k_t{\eta }_t$是$Ax=0$的通解，其中$k_1,k_2,\cdots ,k_t$是任意常数。

矩阵的特征值和特征向量

1.矩阵的特征值和特征向量的概念及性质

(1) 设$\lambda$是$A$的一个特征值，则 $kA,aA+bE,A^2,A^m,f(A),A^T,A^{-1},A^{\ast }$有一个特征值分别为
$k\lambda ,a\lambda +b,{\lambda }^2,{\lambda }^m,f(\lambda ),\lambda ,{\lambda }^{-1},\frac{|A|}{\lambda },$且对应特征向量相同（$A^T$ 例外）。

(2)若${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$为$A$的$n$个特征值，则${\sum }_{i=1}^n{\lambda }_i={\sum }_{i=1}^n{a}_{ii},{\prod }_{i=1}^n{\lambda }_i=|A|$ ,从而$|A|\ne 0\iff A$没有特征值。

(3)设${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_s$为$A$的$s$个特征值，对应特征向量为${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$，

若: $\alpha =k_1{\alpha }_1+k_2{\alpha }_2+\cdots +k_s{\alpha }_s$ ,

则: $A^n\alpha =k_1{A}^n{\alpha }_1+k_2{A}^n{\alpha }_2+\cdots +k_s{A}^n{\alpha }_s=k_1{\lambda }_1^n{\alpha }_1+k_2{\lambda }_2^n{\alpha }_2+\cdots k_s{\lambda }_s^n{\alpha }_s$ 。

2.相似变换、相似矩阵的概念及性质

(1) 若$A\sim B$，则

1. $A^T\sim B^T,A^{-1}\sim B^{-1},,A^{\ast }\sim B^{\ast }$

2. $|A|=|B|,{\sum }_{i=1}^n{A}_{ii}={\sum }_{i=1}^n{b}_{ii},r(A)=r(B)$

3. $|\lambda E-A|=|\lambda E-B|$，对$\forall \lambda$成立

3.矩阵可相似对角化的充分必要条件

(1)设$A$为$n$阶方阵，则$A$可对角化$\iff$对每个$k_i$重根特征值${\lambda }_i$，有$n-r({\lambda }_{i}E-A)=k_i$

(2) 设$A$可对角化，则由$P^{-1}AP=\Lambda ,$有$A=P\Lambda P^{-1}$，从而$A^n=P{\Lambda }^n{P}^{-1}$

(3) 重要结论

1. 若$A\sim B,C\sim D$，则$\left[\begin{array}{cc}A& O\\ O& C\end{array}\right]\sim \left[\begin{array}{cc}B& O\\ O& D\end{array}\right]$.

2. 若$A\sim B$，则$f(A)\sim f(B),\left|f(A)\right|\sim \left|f(B)\right|$，其中$f(A)$为关于$n$阶方阵$A$的多项式。

3. 若$A$为可对角化矩阵，则其非零特征值的个数(重根重复计算)＝秩($A$)

4.实对称矩阵的特征值、特征向量及相似对角阵

(1)相似矩阵：设$A,B$为两个$n$阶方阵，如果存在一个可逆矩阵$P$，使得$B=P^{-1}AP$成立，则称矩阵$A$与$B$相似，记为$A\sim B$。

(2)相似矩阵的性质：如果$A\sim B$则有：

1. $A^T\sim B^T$

2. $A^{-1}\sim B^{-1}$ （若$A$，$B$均可逆）

3. $A^k\sim B^k$ （$k$为正整数）

4. $\left|\lambda E-A\right|=\left|\lambda E-B\right|$，从而$A,B$
   有相同的特征值

5. $\left|A\right|=\left|B\right|$，从而$A,B$同时可逆或者不可逆

6. 秩$\left(A\right)=$秩$\left(B\right),\left|\lambda E-A\right|=\left|\lambda E-B\right|$，$A,B$不一定相似

二次型

1.$\mathbf{n}$个变量${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}$的二次齐次函数

$f(x_1,x_2,\cdots ,x_n)={\sum }_{i=1}^n{\sum }_{j=1}^n{a}_{ij}{x}_i{y}_j$，其中$a_{ij}=a_{ji}(i,j=1,2,\cdots ,n)$，称为$n$元二次型，简称二次型. 若令$x=\left[\begin{array}{c}{x}_1\\ x_1\\ ⋮\\ x_n\end{array}\right],A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]$,这二次型$f$可改写成矩阵向量形式$f=x^{T}Ax$。其中$A$称为二次型矩阵，因为$a_{ij}=a_{ji}(i,j=1,2,\cdots ,n)$，所以二次型矩阵均为对称矩阵，且二次型与对称矩阵一一对应，并把矩阵$A$的秩称为二次型的秩。

2.惯性定理，二次型的标准形和规范形

(1) 惯性定理

对于任一二次型，不论选取怎样的合同变换使它化为仅含平方项的标准型，其正负惯性指数与所选变换无关，这就是所谓的惯性定理。

(2) 标准形

二次型$f=\left(x_1,x_2,\cdots ,x_n\right)=x^{T}Ax$经过合同变换$x=Cy$化为$f=x^{T}Ax=y^T{C}^{T}AC$

$y={\sum }_{i=1}^r{d}_i{y}_i^2$称为 $f(r\le n)$的标准形。在一般的数域内，二次型的标准形不是唯一的，与所作的合同变换有关，但系数不为零的平方项的个数由$r(A)$唯一确定。

(3) 规范形

任一实二次型$f$都可经过合同变换化为规范形$f=z_1^2+z_2^2+\cdots z_p^2-z_{p+1}^2-\cdots -z_r^2$，其中$r$为$A$的秩，$p$为正惯性指数，$r-p$为负惯性指数，且规范型唯一。

3.用正交变换和配方法化二次型为标准形，二次型及其矩阵的正定性

设$A$正定$\Rightarrow kA(k>0),A^T,A^{-1},A^{\ast }$正定；$|A|>0$,$A$可逆；$a_{ii}>0$，且$|A_{ii}|>0$

$A$，$B$正定$\Rightarrow A+B$正定，但$AB$，$BA$不一定正定

$A$正定$\iff f(x)=x^{T}Ax>0,\forall x\ne 0$

$\iff A$的各阶顺序主子式全大于零

$\iff A$的所有特征值大于零

$\iff A$的正惯性指数为$n$

$\iff$存在可逆阵$P$使$A=P^{T}P$

$\iff$存在正交矩阵$Q$，使$Q^{T}AQ=Q^{-1}AQ=\left(\begin{array}{ccc}{\lambda }_1& & \\ \begin{array}{cc}& \\ & \end{array}& \ddots & \\ & & {\lambda }_n\end{array}\right),$

其中${\lambda }_i>0,i=1,2,\cdots ,n.$正定$\Rightarrow kA(k>0),A^T,A^{-1},A^{\ast }$正定； $|A|>0,A$可逆；$a_{ii}>0$，且$|A_{ii}|>0$ 。

总体框架

运算性质

参考文章

机器学习的线性代数基础概念 · 机器学习数学基础 (itdiffer.com)

机器学习中的线性代数 - 知乎 (zhihu.com)

线性代数基本知识-思维导图_线性代数思维导图_Arrow的博客-CSDN博客

推荐阅读

【机器学习的数学基础】（一）线性代数(Linear Algebra)（上）_linear algebra for everyone csdn_二进制人工智能的博客-CSDN博客

【机器学习的数学基础】（二）线性代数(Linear Algebra)（中）_二进制人工智能的博客-CSDN博客

【机器学习的数学基础】（三）线性代数(Linear Algebra)（下）_ordered basis线代_二进制人工智能的博客-CSDN博客

考研线性代数最全知识点梳理思维导图 - 知乎 (zhihu.com)

LQLab: Coding Learning Writing — LQLab

本文由博客一文多发平台 OpenWrite 发布！