线性判别分析（LDA）中求协方差矩阵示例

让我们通过一个简单的例子计算协方差矩阵。假设我们有两类数据集 $X_0$ 和 $X_1$，每类有两个样本，每个样本有两个特征。

数据集：

类 0 的样本：
$$X_0=\left[\begin{array}{cc}1& 2\\ 2& 3\end{array}\right]$$

类 1 的样本：
$$X_1=\left[\begin{array}{cc}4& 5\\ 5& 6\end{array}\right]$$

1. 计算每类的均值向量：

首先，我们需要计算每类数据的均值向量。

对于类 0，均值向量 ${\mu }_0$：
$${\mu }_0=\frac{1}{2}\left[\begin{array}{c}1+2\\ 2+3\end{array}\right]=\left[\begin{array}{c}1.5\\ 2.5\end{array}\right]$$

对于类 1，均值向量 ${\mu }_1$：
$${\mu }_1=\frac{1}{2}\left[\begin{array}{c}4+5\\ 5+6\end{array}\right]=\left[\begin{array}{c}4.5\\ 5.5\end{array}\right]$$

2. 计算协方差矩阵：

协方差矩阵的公式为：
$$\Sigma =\frac{1}{n-1}\sum _{i=1}^n(x_i-\mu )(x_i-\mu {)}^T$$

对类 0 计算协方差矩阵 ${\Sigma }_0$：

我们对每个样本减去均值向量 ${\mu }_0$，并计算它们的外积。

对于第一个样本 $x_1=[1,2]$，
$$x_1-{\mu }_0=\left[\begin{array}{c}1\\ 2\end{array}\right]-\left[\begin{array}{c}1.5\\ 2.5\end{array}\right]=\left[\begin{array}{c}-0.5\\ -0.5\end{array}\right]$$

对于第二个样本 $x_2=[2,3]$，
$$x_2-{\mu }_0=\left[\begin{array}{c}2\\ 3\end{array}\right]-\left[\begin{array}{c}1.5\\ 2.5\end{array}\right]=\left[\begin{array}{c}0.5\\ 0.5\end{array}\right]$$

接下来，我们计算外积：
$$(x_1-{\mu }_0)(x_1-{\mu }_0{)}^T=\left[\begin{array}{c}-0.5\\ -0.5\end{array}\right]\left[\begin{array}{cc}-0.5& -0.5\end{array}\right]=\left[\begin{array}{cc}0.25& 0.25\\ 0.25& 0.25\end{array}\right]$$
$$(x_2-{\mu }_0)(x_2-{\mu }_0{)}^T=\left[\begin{array}{c}0.5\\ 0.5\end{array}\right]\left[\begin{array}{cc}0.5& 0.5\end{array}\right]=\left[\begin{array}{cc}0.25& 0.25\\ 0.25& 0.25\end{array}\right]$$

协方差矩阵为这两个外积的平均：
$${\Sigma }_0=\frac{1}{2-1}\left(\left[\begin{array}{cc}0.25& 0.25\\ 0.25& 0.25\end{array}\right]+\left[\begin{array}{cc}0.25& 0.25\\ 0.25& 0.25\end{array}\right]\right)=\left[\begin{array}{cc}0.5& 0.5\\ 0.5& 0.5\end{array}\right]$$

对类 1 计算协方差矩阵 ${\Sigma }_1$：

同样地，对类 1 的样本进行相同的步骤。

对于第一个样本 $x_1=[4,5]$，
$$x_1-{\mu }_1=\left[\begin{array}{c}4\\ 5\end{array}\right]-\left[\begin{array}{c}4.5\\ 5.5\end{array}\right]=\left[\begin{array}{c}-0.5\\ -0.5\end{array}\right]$$

对于第二个样本 $x_2=[5,6]$，
$$x_2-{\mu }_1=\left[\begin{array}{c}5\\ 6\end{array}\right]-\left[\begin{array}{c}4.5\\ 5.5\end{array}\right]=\left[\begin{array}{c}0.5\\ 0.5\end{array}\right]$$

外积分别为：
$$(x_1-{\mu }_1)(x_1-{\mu }_1{)}^T=\left[\begin{array}{cc}0.25& 0.25\\ 0.25& 0.25\end{array}\right]$$
$$(x_2-{\mu }_1)(x_2-{\mu }_1{)}^T=\left[\begin{array}{cc}0.25& 0.25\\ 0.25& 0.25\end{array}\right]$$

协方差矩阵为：
$${\Sigma }_1=\frac{1}{2-1}\left(\left[\begin{array}{cc}0.25& 0.25\\ 0.25& 0.25\end{array}\right]+\left[\begin{array}{cc}0.25& 0.25\\ 0.25& 0.25\end{array}\right]\right)=\left[\begin{array}{cc}0.5& 0.5\\ 0.5& 0.5\end{array}\right]$$

结果：

对于类 0 和类 1，它们的协方差矩阵分别为：
$${\Sigma }_0=\left[\begin{array}{cc}0.5& 0.5\\ 0.5& 0.5\end{array}\right]$$
$${\Sigma }_1=\left[\begin{array}{cc}0.5& 0.5\\ 0.5& 0.5\end{array}\right]$$

这是一个简单的二维数据集协方差矩阵的计算例子。