贝叶斯中的充分统计量

内容来源

贝叶斯统计（第二版）中国统计出版社

---

前两篇笔记简述经典统计中的充分统计量和判断充分统计量的 $Neyman$ 因子分解定理

而在贝叶斯统计中，充分统计量也有一个充要条件

定理兼定义

设

$x=(x_1,x_2,\cdots ,x_n)$ 是来自密度函数 $p(x|\theta )$ 的一个样本

$T=T(x)$ 是统计量，它的密度函数为 $p(t|\theta )$

$\mathcal{H}=\pi (\theta )$ 是 $\theta$ 的某个先验分布族

则 $T(x)$ 为 $\theta$ 的充分统计量的充要条件为

对任一先验分布 $\pi (\theta )\in \mathcal{H}$

$\pi (\theta |T(x))=\pi (\theta |x)$

即用样本分布 $p(x|\theta )$ 算得的后验分布与统计量 $T(x)$ 算得的后验分布是相同的

例

设 $x=(x_1,\cdots ,x_n)$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的一个样本，则有

$$\begin{array}{rl}p(x|\mu ,{\sigma }^2)& =(\sqrt{2\pi }\sigma {)}^{-n}\exp \left[-\frac{1}{2{\sigma }^2}\sum (x_i-\mu {)}^2\right]\\ & =(\sqrt{2\pi }\sigma {)}^{-n}\exp \left[-\frac{1}{2{\sigma }^2}\sum (x_i-\overline{x}+\overline{x}-\mu {)}^2\right]\\ & =(\sqrt{2\pi }\sigma {)}^{-n}\exp \left\{-\frac{1}{2{\sigma }^2}\left[\sum (x_i-\overline{x}{)}^2+0+n(\overline{x}-\mu {)}^2\right]\right\}\\ & =(\sqrt{2\pi }\sigma {)}^{-n}\exp \left\{-\frac{1}{2{\sigma }^2}\left[Q+n(\overline{x}-\mu {)}^2\right]\right\}\end{array}$$

其中

$$\overline{x}=\frac{1}{n}\sum x_i,Q=\sum (x_i-\overline{x}{)}^2$$

设 $\pi (\mu ,{\sigma }^2)$ 是任意一个先验分布，则 $\mu ,{\sigma }^2$ 的后验密度为

$$\pi (\mu ,{\sigma }^2|x)=\frac{{\sigma }^{-n}\pi (\mu ,{\sigma }^2)\exp \left\{-\frac{1}{2{\sigma }^2}\left[Q+n(\overline{x}-\mu {)}^2\right]\right\}}{{\int }_{-\infty }^{\infty }{\int }_0^{\infty }{\sigma }^{-n}\exp \left\{-\frac{1}{2{\sigma }^2}\left[Q+n(\overline{x}-\mu {)}^2\right]\right\}\mathrm{d}{\sigma }^2\mathrm{d}\mu }$$

书上这里提了 $(\overline{x},Q)$ 是 $(\mu ,{\sigma }^2)$ 的充分统计量，但接下来的过程并没有使用这个条件（？）

由*学生定理（ $t$ 分布的推论）*，得

$$\overline{x}\sim N(\mu ,{\sigma }^2/n),Q/{\sigma }^2\sim {\chi }^2(n-1)$$

由此可以写出 $\overline{x}$ 与 $Q$ 的分布

p ( x ‾ ∣ μ , σ 2 ) = n 2 π σ exp ⁡ { − n 2 σ 2 ( x ‾ − μ ) 2 } p ( Q ∣ μ , σ 2 ) = 1 Γ ( n − 1 2 ) ( 2 σ 2 ) n − 1 2 Q n − 3 2 exp ⁡ { − Q / 2 σ 2 } \begin{align*} &p(\overline{x}|\mu,\sigma^2)=\frac{\sqrt{n}}{\sqrt{2\pi}\sigma} \exp\left\{-\frac{n}{2\sigma^2}(\overline{x}-\mu)^2\right\}\\ &p(Q|\mu,\sigma^2)=\frac{1}{\Gamma(\frac{n-1}{2})(2\sigma^2)^{\frac{n-1}{2}}} Q^{\frac{n-3}{2}}\exp\{-Q/2\sigma^2\} \end{align*} ​p(x∣μ,σ2)=2π ​σn ​​exp{−2σ2n​(x−μ)2}p(Q∣μ,σ2)=Γ(2n−1​)(2σ2)2n−1​1​Q2n−3​exp{−Q/2σ2}​

写 $Q$ 的条件分布时，不要用卡方 $pdf$ 再作变量变换。卡方分布是特殊的伽马分布，而且伽马分布有个特殊的性质——伸缩。所以有 $Q\sim \Gamma (\frac{n-1}{2},2{\sigma }^2)$

然后由于 $\overline{x}$ 与 $Q$ 独立，所以 $\overline{x}$ 与 $Q$ 的联合密度函数为

这个独立也是学生定理的结论

$$\pi (\overline{x},Q|\mu ,{\sigma }^2)=\frac{\sqrt{n}/\sqrt{2\pi }\sigma }{\Gamma (\frac{n-1}{2})(2{\sigma }^2{)}^{\frac{n-1}{2}}}{Q}^{\frac{n-3}{2}}\exp \left\{-\frac{1}{2{\sigma }^2}\left[Q+n(\overline{x}-\mu {)}^2\right]\right\}$$

由贝叶斯公式，得在给定 $\overline{x}$ 和 $Q$ 下的后验密度

$$\begin{array}{rl}\pi (\mu ,{\sigma }^2|\overline{x},Q)& =\frac{\pi (\overline{x},Q|\mu ,{\sigma }^2)\pi (\mu ,{\sigma }^2)}{{\int }_{-\infty }^{\infty }{\int }_0^{\infty }\pi (\overline{x},Q|\mu ,{\sigma }^2)\mathrm{d}{\sigma }^2\mathrm{d}\mu }\\ & =\frac{{\sigma }^{-n}\pi (\mu ,{\sigma }^2)\exp \left\{-\frac{1}{2{\sigma }^2}\left[Q+n(\overline{x}-\mu {)}^2\right]\right\}}{{\int }_{-\infty }^{\infty }{\int }_0^{\infty }{\sigma }^{-n}\exp \left\{-\frac{1}{2{\sigma }^2}\left[Q+n(\overline{x}-\mu {)}^2\right]\right\}\mathrm{d}{\sigma }^2\mathrm{d}\mu }\end{array}$$

对比两个后验密度，可得

$$\pi (\mu ,{\sigma }^2|\overline{x},Q)=\pi (\mu ,{\sigma }^2|x)$$