全期望值定理与全方差定理

全期望值定理（law of total expectation）比较熟悉，竟然还有个全方差定理（law of total variance），关于条件期望与条件方差的，总结一下。

1. 全期望值定理

随机变量 $X$ 关于另外一个随机变量 $Y$ 的条件方差的期望的期望等于该随机变量 $X$ 的期望

$$E(X)=E_Y[E(X|Y)]$$

2. 全方差定理

这个就稍微有点复杂了

$$Var(X)=E_Y(Var(Y|X))+Va{r}_Y(E(Y|X))$$

证明：
先把方差表示成期望形式，利用全期望值定理，然后将第一项期望值展开，最后把后两项期望值结合
Var(X)=E(X2)−E2(X)=EY[E(X2∣Y)]−{EY[E(X∣Y)]}2=EY[Var(X∣Y)+E2(X∣Y)]−{EY[E(X∣Y)]}2=EY[Var(X∣Y)+EY[E2(X∣Y)]−{EY[E(X∣Y)]}2=EY(Var(X∣Y))+VarY(E(X∣Y))\begin{aligned} Var(X)=&E(X^2)-E^2(X)\\ =&E_Y[E(X^2|Y)]-\{E_Y[E(X|Y)]\}^2\\ =&E_Y[Var(X|Y)+E^2(X|Y)]-\{E_Y[E(X|Y)]\}^2\\ =&E_Y[Var(X|Y)+E_Y[E^2(X|Y)]-\{E_Y[E(X|Y)]\}^2\\ =&E_Y(Var(X|Y))+Var_Y(E(X|Y)) \end{aligned} Var(X)=====​E(X2)−E2(X)EY​[E(X2∣Y)]−{EY​[E(X∣Y)]}2EY​[Var(X∣Y)+E2(X∣Y)]−{EY​[E(X∣Y)]}2EY​[Var(X∣Y)+EY​[E2(X∣Y)]−{EY​[E(X∣Y)]}2EY​(Var(X∣Y))+VarY​(E(X∣Y))​

要能看出最后两项其实是 $E(X|Y)$ 在 $Y$ 上的方差。 $\square$