方差，协方差及协方差矩阵的计算

1.方差

• 方差是用来衡量一组数据的离散程度，数序表达式如下:
  $${\sigma }^2=\frac{1}{N}\sum _{i=1}^N(x_i-\mu {)}^2$$

  • ${\sigma }^2$表示样本的总体方差，
  • $N$ 表示样本总数，
  • $x_i$是第 i 个样本，
  • $\mu$ 是数据集的平均值$(\mu =\frac{1}{N}{\sum }_{i=1}^N{x}_i)$

• 假设某班级有 5 名学生的数学成绩为：$85,74,63,95,99$, 计算平均值为 $\mu =\frac{85+74+63+95+99}{5}=83.2$ ,方差的计算如下：
  $${{\sigma }_{成绩}}^2=\frac{(85-83.5{)}^2+(74-83.5{)}^2+(63-83.5{)}^2+(95-83.5{)}^2+(99-83.5{)}^2}{5}=177.05$$

2.协方差

• 协方差是用来衡量两组样本之间的关系，数序表达式如下:
  $${\sigma }_x{\sigma }_y=\frac{1}{N}\sum _{i=1}^N(x_i-{\mu }_x)(y_i-{\mu }_y)$$
  • ${\sigma }_x{\sigma }_y$表示两组样本的总体协方差，
  • $N$ 是样本对的总数，
  • $x_i,y_i$ 是第 i 对样本，
  • ${\mu }_x,{\mu }_y$分别表示两组样本的均值。
• 例如，要计算如下 $x,y$ 两个样本的协方差：

x	y
500	200
600	250
451	180

• • 计算$x$的平均值 $u_x=\frac{500+600+451}{3}=517$
  • 计算$y$的平均值 $u_y=\frac{200+250+180}{3}=210$
    $${\sigma }_x{\sigma }_y=\frac{(500-517)(200-210)+(600-517)(250-210)+(451-517)(180-210)}{3}=\mathrm{1823.33...}$$

3.协方差矩阵

协方差矩阵就是将多组数据的方差和协方差用矩阵的形式表达出来，例如如下三组样本,其协方差的矩阵排布如下，从下图可以看出，对角线上是各个样本的方差，两边则是样本之间的协方差

x	y	z
$x_1$	$y_1$	$z_1$
$x_2$	$y_2$	$z_2$
$x_3$	$y_3$	$z_3$

$$cov=\left[\begin{array}{ccc}{\sigma }_x^2& {\sigma }_x{\sigma }_y& {\sigma }_x{\sigma }_z\\ {\sigma }_y{\sigma }_x& {\sigma }_y^2& {\sigma }_y{\sigma }_z\\ {\sigma }_z{\sigma }_x& {\sigma }_z{\sigma }_y& {\sigma }_x^2\end{array}\right]$$

4.通过矩阵运算求解一个矩阵的协方差矩阵

• 将第三节使用的样本写成矩阵的形式,本节主要求解这个矩阵的协方差矩阵
  $$\left[\begin{array}{ccc}{x}_1& y_1& z_1\\ x_2& y_2& z_2\\ x_3& y_3& z_3\end{array}\right]$$
• 求出过度矩阵 $a$,根据下面计算可知，过度矩阵 $a$ 其实是求解了每个样本的 标准差
  $$\begin{gathered} a=\left[\begin{array}{ccc}{x}_1& y_1& z_1\\ x_2& y_2& z_2\\ x_3& y_3& z_3\end{array}\right]-\frac{1}{3}\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]\left[\begin{array}{ccc}{x}_1& y_1& z_1\\ x_2& y_2& z_2\\ x_3& y_3& z_3\end{array}\right] \\ ---- \\ a=\left[\begin{array}{ccc}{x}_1& y_1& z_1\\ x_2& y_2& z_2\\ x_3& y_3& z_3\end{array}\right]-\frac{1}{3}\left[\begin{array}{ccc}{x}_1+x_2+x_3& y_1+y_2+y_3& z_1+z_2+z_3\\ x_1+x_2+x_3& y_1+y_2+y_3& z_1+z_2+z_3\\ x_1+x_2+x_3& y_1+y_2+y_3& z_1+z_2+z_3\end{array}\right] \\ ---- \\ a=\left[\begin{array}{ccc}{x}_1-\frac{1}{3}(x_1+x_2+x_3)& y_1-\frac{1}{3}(y_1+y_2+y_3)& z_1-\frac{1}{3}(z_1+z_2+z_3)\\ x_2-\frac{1}{3}(x_1+x_2+x_3)& y_2-\frac{1}{3}(y_1+y_2+y_3)& z_2-\frac{1}{3}(z_1+z_2+z_3)\\ x_3-\frac{1}{3}(x_1+x_2+x_3)& y_3-\frac{1}{3}(y_1+y_2+y_3)& z_3-\frac{1}{3}(z_1+z_2+z_3)\end{array}\right] \end{gathered}$$
• 最后求解协方差矩阵P
  $$P=\frac{1}{3}\ast a^T\ast a$$

$$a^T=\left[\begin{array}{ccc}{x}_1-\frac{1}{3}(x_1+x_2+x_3)& x_2-\frac{1}{3}(x_1+x_2+x_3)& x_3-\frac{1}{3}(x_1+x_2+x_3)\\ y_1-\frac{1}{3}(y_1+y_2+y_3)& y_2-\frac{1}{3}(y_1+y_2+y_3)& y_3-\frac{1}{3}(y_1+y_2+y_3)\\ z_1-\frac{1}{3}(z_1+z_2+z_3)& z_2-\frac{1}{3}(z_1+z_2+z_3)& z_3-\frac{1}{3}(z_1+z_2+z_3)\end{array}\right]$$

$$P=\frac{1}{3}\ast \left[\begin{array}{ccc}{x}_1-\frac{1}{3}(x_1+x_2+x_3)& x_2-\frac{1}{3}(x_1+x_2+x_3)& x_3-\frac{1}{3}(x_1+x_2+x_3)\\ y_1-\frac{1}{3}(y_1+y_2+y_3)& y_2-\frac{1}{3}(y_1+y_2+y_3)& y_3-\frac{1}{3}(y_1+y_2+y_3)\\ z_1-\frac{1}{3}(z_1+z_2+z_3)& z_2-\frac{1}{3}(z_1+z_2+z_3)& z_3-\frac{1}{3}\ast (z_1+z_2+z_3)\end{array}\right]\ast \left[\begin{array}{ccc}{x}_1-\frac{1}{3}(x_1+x_2+x_3)& y_1-\frac{1}{3}(y_1+y_2+y_3)& z_1-\frac{1}{3}(z_1+z_2+z_3)\\ x_2-\frac{1}{3}(x_1+x_2+x_3)& y_2-\frac{1}{3}(y_1+y_2+y_3)& z_2-\frac{1}{3}(z_1+z_2+z_3)\\ x_3-\frac{1}{3}(x_1+x_2+x_3)& y_3-\frac{1}{3}(y_1+y_2+y_3)& z_3-\frac{1}{3}(z_1+z_2+z_3)\end{array}\right]$$

• 如此运算便可通过矩阵运算求出协方差矩阵