回归分析例题（多元统计分析期末复习）

例一

---

例二

一元线性回归

---

解：
（1）y=$\hat{a}$+$\hat{b}$x，求线性回归方程即求出$\hat{a}$和$\hat{b}$
而

$\hat{b}$= $\frac{L_{xy}}{L_{xx}}$

所以我们首先需要计算$L_{xy}$ 和$L_{xx}$：

所以$\hat{b}$=$\frac{L_{xy}}{L_{xx}}$=4.185

$\hat{a}$=$\bar{y}$-$\hat{b}\bar{x}$=319.086

所以回归方程为$\hat{y}$=319.086+4.185x

（2）显著性检验需要我们计算出$T_0$，所以依次计算出$L_{yy}$、$\hat{\sigma }$，计算得$T_0$如下：

而$F_0$=$T_0^2$=14.438>$F_{\alpha }$(1,n-2)=$F_{0.05}$(1,10)=4.965，因此拒绝$H_0$，即：回归效果是显著的。

（3）预测值直接把$x_0$=35代入回归方程即可，$\widehat{y_0}$=319.086+4.185*35=465.571；
而预测区间需要计算出以下值：

其实难度不大，主要是记住公式就行。

例三

多元线性回归

X=$\left[\begin{array}{cc}0& 0\\ 1& 1\\ 1& 1\\ -1& 1\\ 2& 0\end{array}\right]$，Y=$\left[\begin{array}{c}0.01\\ 2.98\\ 3.04\\ -1.97\\ 4.96\end{array}\right]$

设y=${\beta }_1$$x_1$+${\beta }_2$$x_2$+ε 求：
（1）试求β；
（2）Y的预测值$\hat{Y}$，$\hat{\epsilon }$以及残差平方和Q；
（3）决定系数 $R^2$ 和 回归平方和U；

---

这题可以算是比较典型的一道多元回归了，无论是什么情境下，我们都可以总结出X和Y两个矩阵，题目无非是要我们求β、Q、U和R²，只要记住公式+计算正确一般没什么问题。

解：
求回归方程（Y=Xβ+ε）即 求β和ε，因为X和Y我们可以从题目中总结出来；
首先我们需要求β，记住以下公式：

$\beta =(X^{\prime }X{)}^{-1}{X}^{\prime }Y$

X和Y都是已知的，先求X’X，再求其逆矩阵，一般情况下题目给出的都是二阶矩阵，而二阶矩阵的逆矩阵的计算公式为：

$A^{-1}$= $\frac{A^{\ast }}{|A|}$

即A的伴随矩阵除以A的行列式，而二阶矩阵的伴随矩阵有个口诀是“主交换，副变号”，意思是主对角线的元素对换，副对角线的元素变成其相反数。

所以我们计算得到X’X=$\left[\begin{array}{cc}7& 1\\ 1& 3\end{array}\right]$，它的伴随矩阵就是$\left[\begin{array}{cc}3& -1\\ -1& 7\end{array}\right]$，再除以行列式值为20，所以它的逆矩阵$(X^{\prime }X{)}^{-1}$=$\left[\begin{array}{cc}0.15& -0.05\\ -0.05& 0.35\end{array}\right]$

接着再依次乘上X’、Y，最终结果为

$\beta =\left[\begin{array}{c}2.484\\ 0.522\end{array}\right]$

于是我们就可以把 Y的预测值 计算出来，

$\hat{Y}$=Xβ=$\left[\begin{array}{cc}0& 0\\ 1& 1\\ 1& 1\\ -1& 1\\ 2& 0\end{array}\right]$$\left[\begin{array}{c}2.484\\ 0.522\end{array}\right]$=$\left[\begin{array}{c}0\\ 3.006\\ 3.006\\ -1.962\\ 4.968\end{array}\right]$

$\hat{\epsilon }$=$Y$-$\hat{Y}$=$\left[\begin{array}{c}0.01\\ -0.026\\ 0.034\\ -0.008\\ -0.008\end{array}\right]$

残差平方和Q 就是$\hat{\epsilon }$中元素的平方和，即：
Q=$\hat{\epsilon }$'$\hat{\epsilon }$=0.00206

接下来计算 回归平方和U，等于总偏差平方和-残差平方和
通过矩阵Y和Y的均值$\bar{Y}$我们可以首先把总偏差平方和算出来

TSS=( $Y-\bar{Y}$)'( $Y-\bar{Y}$)
或TSS= $Y^{\prime }Y$-n $\overline{Y^2}$

用第一个式子算出TSS=30.33252
所以U=TSS-Q=30.33046

决定系数 为

$R^2=\frac{U}{TSS}$

所以$R^2$=30.33046/30.33252=0.999932