机器学习数学基础：14.矩阵的公式

1. 操作顺序可交换

对于矩阵$A$，若存在两种运算$?$和$?$，使得$(A^{?}{)}^{?}=(A^{?}{)}^{?}$，这意味着这两种运算的顺序可以交换。由此我们得到以下三个重要等式：

• $(A^{\ast }{)}^{-1}=(A^{-1}{)}^{\ast }$：
  • 已知伴随矩阵与逆矩阵的关系$A^{\ast }=|A|A^{-1}$。
  • 对于$(A^{\ast }{)}^{-1}$，将$A^{\ast }=|A|A^{-1}$代入可得$(|A|A^{-1}{)}^{-1}$。
  • 根据逆矩阵性质$(kA{)}^{-1}=\frac{1}{k}{A}^{-1}$（这里$k=|A|$），则$(|A|A^{-1}{)}^{-1}=\frac{1}{|A|}(A^{-1}{)}^{-1}$。
  • 又因为$(A^{-1}{)}^{-1}=A$，所以$\frac{1}{|A|}(A^{-1}{)}^{-1}=\frac{1}{|A|}A$。
  • 对于$(A^{-1}{)}^{\ast }$，由$A^{\ast }=|A|A^{-1}$可得$(A^{-1}{)}^{\ast }=|A^{-1}|(A^{-1}{)}^{-1}$。
  • 已知$|A^{-1}|=\frac{1}{|A|}$，所以$(A^{-1}{)}^{\ast }=\frac{1}{|A|}(A^{-1}{)}^{-1}=\frac{1}{|A|}A$。
  • 综上，$(A^{\ast }{)}^{-1}=(A^{-1}{)}^{\ast }$。
• $(A^T{)}^{\ast }=(A^{\ast }{)}^T$：
  • 设$A=(a_{ij})$，则$A^T=(a_{ji})$。
  • 伴随矩阵$A^{\ast }$的元素$(A^{\ast }{)}_{ij}=A_{ji}$（其中$A_{ij}$是$A$的代数余子式）。
  • 对于$(A^T{)}^{\ast }$，其元素$((A^T{)}^{\ast }{)}_{ij}=(A^T{)}_{ji}$的代数余子式。
  • 而$(A^T{)}_{ji}=A_{ij}$，所以$((A^T{)}^{\ast }{)}_{ij}$实际上是$A_{ij}$的代数余子式。
  • 对于$(A^{\ast }{)}^T$，$(A^{\ast }{)}^T$的元素$((A^{\ast }{)}^T{)}_{ij}=(A^{\ast }{)}_{ji}$，而$(A^{\ast }{)}_{ji}$也是$A_{ij}$的代数余子式。
  • 所以$(A^T{)}^{\ast }=(A^{\ast }{)}^T$。
• $(A^{-1}{)}^T=(A^T{)}^{-1}$：
  • 因为$A{A}^{-1}=E$，两边同时取转置，根据$(AB{)}^T=B^T{A}^T$，可得$(A{A}^{-1}{)}^T=(A^{-1}{)}^T{A}^T=E^T=E$。
  • 由逆矩阵定义，若$AB=E$，则$B=A^{-1}$，所以$(A^{-1}{)}^T$是$A^T$的逆矩阵，即$(A^{-1}{)}^T=(A^T{)}^{-1}$。

2. 整体操作要对调

对于两个矩阵$A$和$B$，若满足$(AB{)}^{?}=B^{?}{A}^{?}$，则有以下等式：

• $(AB{)}^{-1}=B^{-1}{A}^{-1}$：
  • 因为$(AB)(B^{-1}{A}^{-1})=A(B{B}^{-1})A^{-1}$（矩阵乘法结合律）。
  • 而$B{B}^{-1}=E$，所以$A(B{B}^{-1})A^{-1}=AE{A}^{-1}=A{A}^{-1}=E$。
  • 同理$(B^{-1}{A}^{-1})(AB)=B^{-1}(A^{-1}A)B=B^{-1}EB=B^{-1}B=E$。
  • 根据逆矩阵定义，若$AB=E$且$BA=E$，则$B$是$A$的逆矩阵，所以$(AB{)}^{-1}=B^{-1}{A}^{-1}$。
• $(AB{)}^T=B^T{A}^T$：
  • 设$A=(a_{ij})$是$m\times n$矩阵，$B=(b_{ij})$是$n\times p$矩阵，则$AB$的$(i,j)$元素为${\sum }_{k=1}^n{a}_{ik}{b}_{kj}$。
  • 那么$(AB{)}^T$的$(i,j)$元素为${\sum }_{k=1}^n{a}_{jk}{b}_{ki}$。
  • 对于$B^T{A}^T$，$B^T$是$p\times n$矩阵，$A^T$是$n\times m$矩阵，$B^T{A}^T$的$(i,j)$元素为${\sum }_{k=1}^n(B^T{)}_{ik}(A^T{)}_{kj}={\sum }_{k=1}^n{b}_{ki}{a}_{jk}$。
  • 所以$(AB{)}^T=B^T{A}^T$。
• $(AB{)}^{\ast }=B^{\ast }{A}^{\ast }$：
  • 已知$A^{\ast }=|A|A^{-1}$，$B^{\ast }=|B|B^{-1}$。
  • 那么$(AB{)}^{\ast }=|AB|(AB{)}^{-1}$。
  • 因为$|AB|=|A||B|$，$(AB{)}^{-1}=B^{-1}{A}^{-1}$，所以$(AB{)}^{\ast }=|A||B|B^{-1}{A}^{-1}$。
  • 又因为$B^{\ast }{A}^{\ast }=|B|B^{-1}|A|A^{-1}=|A||B|B^{-1}{A}^{-1}$。
  • 所以$(AB{)}^{\ast }=B^{\ast }{A}^{\ast }$。

3. 重复操作会还原

• $(A^T{)}^T=A$：
  • 设$A=(a_{ij})$，则$A^T=(a_{ji})$。
  • 对$A^T$再取转置，$(A^T{)}^T$的$(i,j)$元素就是$A^T$的$(j,i)$元素，即$a_{ij}$。
  • 所以$(A^T{)}^T=A$。
• $(A^{-1}{)}^{-1}=A$：
  • 由逆矩阵定义，若$AB=E$，则$B=A^{-1}$。
  • 因为$A{A}^{-1}=E$，那么对于$A^{-1}$，存在矩阵$A$使得$A^{-1}A=E$。
  • 所以$A$是$A^{-1}$的逆矩阵，即$(A^{-1}{)}^{-1}=A$。

4. 转置的优良性

• $|A^T|=|A|$：
  • 行列式的定义是基于矩阵元素的一种运算，转置只是行列互换，其本质上的代数运算关系不变。
  • 从行列式的展开式角度来看，$A$的行列式展开式与$A^T$的行列式展开式完全相同，所以$|A^T|=|A|$。
• $(kA{)}^T=k{A}^T$：
  • 设$A=(a_{ij})$，则$kA=(k{a}_{ij})$。
    -$(kA{)}^T$的$(i,j)$元素为$(k{a}_{ji})$。
  • 而$k{A}^T$的$(i,j)$元素为$k(a_{ji})$。
  • 所以$(kA{)}^T=k{A}^T$。
• $(A+B{)}^T=A^T+B^T$：
  • 设$A=(a_{ij})$，$B=(b_{ij})$，则$A+B=(a_{ij}+b_{ij})$。
    -$(A+B{)}^T$的$(i,j)$元素为$(a_{ji}+b_{ji})$。
    -$A^T=(a_{ji})$，$B^T=(b_{ji})$，所以$A^T+B^T$的$(i,j)$元素为$a_{ji}+b_{ji}$。
  • 因此$(A+B{)}^T=A^T+B^T$。

同时需要注意，一般情况下$(A+B{)}^{-1}\ne A^{-1}+B^{-1}$且$(A+B{)}^{\ast }\ne A^{\ast }+B^{\ast }$，通过简单的反例可以说明。例如，取$A=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)$，$B=\left(\begin{array}{cc}-1& 0\\ 0& -1\end{array}\right)$，则$A+B=\left(\begin{array}{cc}0& 0\\ 0& 0\end{array}\right)$，$(A+B{)}^{-1}$不存在，而$A^{-1}=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)$，$B^{-1}=\left(\begin{array}{cc}-1& 0\\ 0& -1\end{array}\right)$，$A^{-1}+B^{-1}=\left(\begin{array}{cc}0& 0\\ 0& 0\end{array}\right)$，两者不相等。对于伴随矩阵也可类似举例说明。

5. 逆矩阵的定义

由$A{A}^{-1}=E$可得：

• $|A^{-1}|=\frac{1}{|A|}$：
  • 因为$A{A}^{-1}=E$，两边取行列式，根据$|AB|=|A||B|$，可得$|A{A}^{-1}|=|A||A^{-1}|=|E|$。
  • 而$|E|=1$，所以$|A^{-1}|=\frac{1}{|A|}$。
• $(kA{)}^{-1}=\frac{1}{k}{A}^{-1}$（$k\ne 0$）：
  • 因为$(kA)(\frac{1}{k}{A}^{-1})=k\cdot \frac{1}{k}A{A}^{-1}=A{A}^{-1}=E$。
  • 根据逆矩阵定义，若$AB=E$，则$B$是$A$的逆矩阵，所以$(kA{)}^{-1}=\frac{1}{k}{A}^{-1}$。

6. 伴随矩阵的推导

已知$C^{\ast }=|C|C^{-1}$，对于矩阵$A$有$A^{\ast }=|A|A^{-1}$，由此可得：

• $(kA{)}^{\ast }=k^{n-1}{A}^{\ast }$：
  • 首先$(kA{)}^{\ast }=|kA|(kA{)}^{-1}$。
  • 因为$|kA|=k^n|A|$（$n$为矩阵$A$的阶数），$(kA{)}^{-1}=\frac{1}{k}{A}^{-1}$。
  • 所以$(kA{)}^{\ast }=k^n|A|\cdot \frac{1}{k}{A}^{-1}=k^{n-1}|A|A^{-1}$。
  • 又因为$A^{\ast }=|A|A^{-1}$，所以$(kA{)}^{\ast }=k^{n-1}{A}^{\ast }$。
• $|A^{\ast }|=|A{|}^{n-1}$：
  • 已知$A^{\ast }=|A|A^{-1}$，则$|A^{\ast }|=||A|A^{-1}|$。
  • 根据$|kA|=k^n|A|$，这里$k=|A|$，所以$||A|A^{-1}|=|A{|}^n|A^{-1}|$。
  • 又因为$|A^{-1}|=\frac{1}{|A|}$，所以$|A{|}^n|A^{-1}|=|A{|}^n\frac{1}{|A|}=|A{|}^{n-1}$。
  • 即$|A^{\ast }|=|A{|}^{n-1}$。
• $(A^{\ast }{)}^{\ast }=|A{|}^{n-2}A$：
  • 由$A^{\ast }=|A|A^{-1}$，可得$(A^{\ast }{)}^{\ast }=|A^{\ast }|(A^{\ast }{)}^{-1}$。
  • 已知$|A^{\ast }|=|A{|}^{n-1}$，$(A^{\ast }{)}^{-1}=(|A|A^{-1}{)}^{-1}=\frac{1}{|A|}(A^{-1}{)}^{-1}$。
  • 因为$(A^{-1}{)}^{-1}=A$，所以$(A^{\ast }{)}^{-1}=\frac{1}{|A|}A$。
  • 则$(A^{\ast }{)}^{\ast }=|A{|}^{n-1}\cdot \frac{1}{|A|}A=|A{|}^{n-2}A$。