机器学习数学基础：39.样本和隐含和残差协方差矩阵

假设我们研究学生的数学成绩、英语成绩和学习时间之间的关系。收集了100名学生这三项数据作为样本。

样本协方差矩阵

计算得到的样本协方差矩阵如下（假设数据简化）：
$$\left[\begin{array}{ccc}Var(数学)& Cov(数学,英语)& Cov(数学,学习时间)\\ Cov(英语,数学)& Var(英语)& Cov(英语,学习时间)\\ Cov(学习时间,数学)& Cov(学习时间,英语)& Var(学习时间)\end{array}\right]=\left[\begin{array}{ccc}25& 10& 8\\ 10& 16& 6\\ 8& 6& 9\end{array}\right]$$
这里$Var(数学)$表示数学成绩的方差，$Cov(数学,英语)$表示数学成绩和英语成绩的协方差，以此类推，体现了实际样本中这三个变量之间的离散和相关关系。

隐含协方差矩阵

我们构建一个结构方程模型，假设学习时间会影响数学和英语成绩，通过模型计算得到隐含协方差矩阵：
$$\left[\begin{array}{ccc}23& 9& 7\\ 9& 15& 5\\ 7& 5& 8\end{array}\right]$$
这是基于我们设定的模型，推导出来的变量之间的协方差关系。

比较拟合程度

用样本协方差矩阵减去隐含协方差矩阵，得到残差矩阵：
$$\left[\begin{array}{ccc}25-23& 10-9& 8-7\\ 10-9& 16-15& 6-5\\ 8-7& 6-5& 9-8\end{array}\right]=\left[\begin{array}{ccc}2& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]$$
如果残差矩阵里的元素都比较小，就说明我们构建的这个模型推导出来的变量关系，和实际样本数据中的变量关系差异不大，模型拟合较好。但如果残差矩阵元素值较大，那就说明模型和实际数据不太相符，拟合程度差。

为了让你更好地理解，下面再以一个更简单的例子详细说明隐含协方差矩阵的计算过程：

假设我们有一个非常简单的结构方程模型，只包含两个观测变量$X$和$Y$，它们都受到一个共同的潜变量$Z$的影响，且模型中路径系数分别为$a$（$Z$对$X$的影响）和$b$（$Z$对$Y$的影响），潜变量$Z$的方差为$Var(Z)={\sigma }^2$。

首先，根据结构方程模型的理论，观测变量$X$和$Y$的方差可以表示为：
$$Var(X)=a^2\times Var(Z)=a^2{\sigma }^2$$
$$Var(Y)=b^2\times Var(Z)=b^2{\sigma }^2$$

观测变量$X$和$Y$之间的协方差可以表示为：
$$Cov(X,Y)=a\times b\times Var(Z)=ab{\sigma }^2$$

那么，这个模型的隐含协方差矩阵就是：
$$\left[\begin{array}{cc}Var(X)& Cov(X,Y)\\ Cov(Y,X)& Var(Y)\end{array}\right]=\left[\begin{array}{cc}{a}^2{\sigma }^2& ab{\sigma }^2\\ ab{\sigma }^2& b^2{\sigma }^2\end{array}\right]$$

例如，假设$a=0.6$，$b=0.5$，${\sigma }^2=4$，则：
$$Var(X)=a^2{\sigma }^2=0.6^2\times 4=1.44$$
$$Var(Y)=b^2{\sigma }^2=0.5^2\times 4=1$$
$$Cov(X,Y)=ab{\sigma }^2=0.6\times 0.5\times 4=1.2$$

所以隐含协方差矩阵为：
$$\left[\begin{array}{cc}1.44& 1.2\\ 1.2& 1\end{array}\right]$$

这就是在这个简单的结构方程模型下，通过模型设定的参数计算得到隐含协方差矩阵的过程。在实际的结构方程模型中，可能会有更多的观测变量、潜变量以及更复杂的关系，但基本的计算原理是类似的。