【数理统计】参数估计

点估计

矩估计法

【定义】设 $X$ 是随机变量，若 $E(X^k)(k=1,2,...)$ 存在，则称其为 $X$ 的 $k$ 阶矩。

【方法】设待估计的参数 ${\theta }_1,{\theta }_2,...,{\theta }_n$，设

$$\{\begin{array}{l}{\mu }_1={\mu }_1({\theta }_1,{\theta }_2,...,{\theta }_n)=E(X^1)\\ {\mu }_2={\mu }_2({\theta }_1,{\theta }_2,...,{\theta }_n)=E(X^2)\\ ...\\ {\mu }_n={\mu }_n({\theta }_1,{\theta }_2,...,{\theta }_n)=E(X^n)\end{array}$$

这是关于 ${\theta }_i$ 的方程组，解该方程组可得

$$\{\begin{array}{l}{\theta }_1={\theta }_1({\mu }_1,{\mu }_2,...,{\mu }_n)\\ {\theta }_2={\theta }_2({\mu }_1,{\mu }_2,...,{\mu }_n)\\ ...\\ {\theta }_n={\theta }_n({\mu }_1,{\mu }_2,...,{\mu }_n)\end{array}$$

以 $A_l=\frac{1}{n}{\sum }_{i=1}^n{X}_i^l$ 代替上式中的 ${\mu }_l(l=1,2,...,n)$ 即可得到矩估计量。

注意：

• $A_1=\frac{1}{n}{\sum }_{i=1}^n{X}_i=\bar{X}$
• $A_2=\frac{1}{n}{\sum }_{i=1}^n{X}_i^2$
• $A_2-A_1^2=D(X)$

【举例】

• 当 $n=1$ 时，即待估计参数有一个，令 ${\mu }_1=E(X)$，然后解出 ${\theta }_1$，最后用 $A_1$ 代替 ${\mu }_1$ 即可。
• 当 $n=2$ 时，即待估计参数有两个，令

$$\{\begin{array}{l}{\mu }_1=E(X)\\ {\mu }_2=E(X^2)=D(X)+[E(X){]}^2\end{array}$$

然后解出 ${\theta }_1,{\theta }_2$，最后用 $A_1,A_2$ 代替 ${\mu }_1,{\mu }_2$ 即可。

最大似然估计法

【定义】若总体 $X$ 的概率密度函数为 $f(x;\theta )$，其中 $\theta \in \Theta$ 为参数向量（$\Theta$ 为参数 $\theta$ 可能取值的范围），$X_1,X_2,...,X_n$ 为来自 $X$ 的一个样本，则联合概率密度函数记为

$$L(x_1,x_2,...,x_n;\theta )=\prod _{i=1}^{n}f(x_i;\theta )$$

称为参数 $\theta$ 的似然函数。

【思想】求参数 $\theta$ 的估计值，使得似然函数取得最大值。

【方法】求极大似然估计的一般步骤如下：

• 写出似然函数：

$$L(x_1,x_2,...,x_n;\theta )=\prod _{i=1}^{n}f(x_i;{\theta }_1,{\theta }_2,...,{\theta }_m)$$

• 对似然函数取对数：

$$\ln L=\sum _{i=1}^n\ln f(x_i;{\theta }_1,{\theta }_2,...,{\theta }_m)$$

• 对 ${\theta }_j(j=1,2,...,m)$ 分别求偏导，建立似然方程组：

$$\frac{\partial \ln L}{\partial {\theta }_j}=0(j=1,2,...,m)$$

• 解得 $\widehat{{\theta }_j}$ 为 ${\theta }_j$ 的极大似然估计量（不是估计量！）

区间估计

【定义】设总体的未知参数为 $\theta$，由样本 $X_1,X_2,...,X_n$ 确定两个统计量

$$\widehat{{\theta }_1}=\widehat{{\theta }_1}(X_1,X_2,...,X_n),\widehat{{\theta }_2}=\widehat{{\theta }_2}(X_1,X_2,...,X_n)$$

对于给定的实数 $\alpha (o<\alpha <1)$，满足

P { θ 1 ^ < θ < θ 2 ^ } ≥ 1 − α P\{ \hat{\theta_1} < \theta < \hat{\theta_2} \} \geq 1-\alpha P{θ1​^​<θ<θ2​^​}≥1−α

则称随机区间 $(\widehat{{\theta }_1},\widehat{{\theta }_2})$ 是 $\theta$ 的置信水平为 $1-\alpha$ 的置信区间，$1-\alpha$ 为置信水平，$\alpha$ 为显著性水平，通常取值 0.1 或 0.05。

【枢轴量法】

• 选取待估参数 $\theta$ 的估计量：遵从估计量的优良性准则，如 $\bar{X}\to \mu$，$S^2\to {\sigma }^2$
• 建立枢轴量：$W=W(X_1,X_2,...,X_n;\theta )$，使得 $W$ 不依赖于 $\theta$ 及其他未知参数
• 确定 $W$ 的分布，通常选取经典分布
• 根据 $W$ 的分布，建立概率等式：

P { W 1 − α / 2 < W < W α / 2 } = 1 − α P\{ W_{1-\alpha/2} < W < W_{\alpha/2} \} = 1-\alpha P{W1−α/2​<W<Wα/2​}=1−α

• 将上式等价变形为：

P { a < θ < b } = 1 − α P\{ a < \theta < b \} = 1-\alpha P{a<θ<b}=1−α

$(a,b)$ 即为 $\theta$ 的一个置信水平为 $1-\alpha$ 的置信区间。

单个正态总体参数的区间估计

均值 $\mu$ 的区间估计

（1）${\sigma }^2$ 已知

根据中心极限定理，选取枢轴量

$$\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$$

注意右边的枢轴量（即标准正态分布）并不依赖于任何未知参数，因此有

$$P\left\{-u_{\alpha /2}<\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}<u_{\alpha /2}\right\}=1-\alpha$$

注：对于标准正态分布，有 $u_{\alpha }=-u_{1-\alpha }$

等价变形为

$$P\left\{\bar{X}-\frac{\sigma }{\sqrt{n}}{u}_{\alpha /2}<\mu <\bar{X}+\frac{\sigma }{\sqrt{n}}{u}_{\alpha /2}\right\}=1-\alpha$$

因此 $\mu$ 的一个置信水平为 $1-\alpha$ 的置信区间为

$$\left(\bar{X}-\frac{\sigma }{\sqrt{n}}{u}_{\alpha /2},\bar{X}+\frac{\sigma }{\sqrt{n}}{u}_{\alpha /2}\right)$$

注：有些教科书上用的不是 $u$，而是 $z$，其实两者表示的意思是一样的。

（2）${\sigma }^2$ 未知

考虑 $S^2$ 为 ${\sigma }^2$ 的无偏估计，根据抽样分布定理，应选取枢轴量

$$\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$

注意右边的枢轴量（即自由度为 $n-1$ 的 $t$ 分布）并不依赖于任何未知参数，因此有

$$P\left\{-t_{\alpha /2}(n-1)<\frac{\bar{X}-\mu }{S/\sqrt{n}}<t_{\alpha /2}(n-1)\right\}=1-\alpha$$

注：对于自由度为 $n$ 的 $t$ 分布，有 $t_{\alpha }(n)=-t_{1-\alpha }(n)$

等价变形为

$$P\left\{\bar{X}-\frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1)<\mu <\bar{X}+\frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1)\right\}=1-\alpha$$

因此 $\mu$ 的一个置信水平为 $1-\alpha$ 的置信区间为

$$\left(\bar{X}-\frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1),\bar{X}+\frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1)\right)$$

方差 ${\sigma }^2$ 的区间估计

（1）$\mu$ 已知

由抽样分布定理，应选取枢轴量

$${\chi }^2=\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2\sim {\chi }^2(n)$$

注意右边的枢轴量（即自由度为 $n$ 的 $\chi$ 分布）并不依赖于任何未知参数，因此有

$$P\left\{{\chi }_{1-\alpha /2}^2(n)<\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2<{\chi }_{\alpha /2}^2(n)\right\}=1-\alpha$$

等价变形为

$$P\left\{\frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\chi }_{\alpha /2}^2(n)}<{\sigma }^2<\frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\chi }_{1-\alpha /2}^2(n)}\right\}=1-\alpha$$

因此 ${\sigma }^2$ 的一个置信水平为 $1-\alpha$ 的置信区间为

$$\left(\frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\chi }_{\alpha /2}^2(n)},\frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\chi }_{1-\alpha /2}^2(n)}\right)$$

（2）$\mu$ 未知

考虑 $S^2$ 为 ${\sigma }^2$ 的无偏估计，由抽样分布定理，应选取枢轴量

$${\chi }^2=\frac{n-1}{{\sigma }^2}{S}^2\sim {\chi }^2(n-1)$$

注意右边的枢轴量（即自由度为 $n-1$ 的 $\chi$ 分布）并不依赖于任何未知参数，因此有

$$P\left\{{\chi }_{1-\alpha /2}^2(n-1)<\frac{n-1}{{\sigma }^2}{S}^2<{\chi }_{\alpha /2}^2(n-1)\right\}=1-\alpha$$

等价变形为

$$P\left\{\frac{(n-1)S^2}{{\chi }_{\alpha /2}^2(n)}<{\sigma }^2<\frac{(n-1)S^2}{{\chi }_{1-\alpha /2}^2(n)}\right\}=1-\alpha$$

因此 ${\sigma }^2$ 的一个置信水平为 $1-\alpha$ 的置信区间为

$$\left(\frac{(n-1)S^2}{{\chi }_{\alpha /2}^2(n)},\frac{(n-1)S^2}{{\chi }_{1-\alpha /2}^2(n)}\right)$$

两个正态总体参数的区间估计（略）

（略）

补充：单侧置信区间

【定义 1】设总体的未知参数为 $\theta$，由样本 $X_1,X_2,...,X_n$ 确定的统计量

$$\hat{\theta }=\hat{\theta }(X_1,X_2,...,X_n)$$

对于给定的实数 $\alpha (o<\alpha <1)$，满足

P { θ > θ ^ } ≥ 1 − α , ∀ θ ∈ Θ P\{ \theta > \hat{\theta} \} \geq 1-\alpha, \forall \theta \in \Theta P{θ>θ^}≥1−α,∀θ∈Θ

则称随机区间 $(\hat{\theta },+\infty )$ 是 $\theta$ 的置信水平为 $1-\alpha$ 的单侧置信区间，$\hat{\theta }$ 称为 $\theta$ 的置信水平为 $1-\alpha$ 的单侧置信下限。

【定义 2】设总体的未知参数为 $\theta$，由样本 $X_1,X_2,...,X_n$ 确定的统计量

$$\hat{\theta }=\hat{\theta }(X_1,X_2,...,X_n)$$

对于给定的实数 $\alpha (o<\alpha <1)$，满足

P { θ < θ ^ } ≥ 1 − α , ∀ θ ∈ Θ P\{ \theta < \hat{\theta} \} \geq 1-\alpha, \forall \theta \in \Theta P{θ<θ^}≥1−α,∀θ∈Θ

则称随机区间 $(-\infty ,\hat{\theta })$ 是 $\theta$ 的置信水平为 $1-\alpha$ 的单侧置信区间，$\hat{\theta }$ 称为 $\theta$ 的置信水平为 $1-\alpha$ 的单侧置信上限。

【举例】对于正态总体 $X$，若均值 $\mu$、方差 ${\sigma }^2$ 均未知，设 $X_1,...,X_n$ 是一个样本，由

$$\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$

得

$$P\left\{\frac{\bar{X}-\mu }{S/\sqrt{n}}<t_{\alpha }(n-1)\right\}=1-\alpha$$

等价变形为

$$P\left\{\mu >\bar{X}-\frac{S}{\sqrt{n}}{t}_{\alpha }(n-1)\right\}=1-\alpha$$

因此 $\mu$ 的一个置信水平为 $1-\alpha$ 的单侧置信区间为

$$\left(\bar{X}-\frac{S}{\sqrt{n}}{t}_{\alpha }(n-1),+\infty \right)$$

【总结】在形式上，只需将置信区间的上下限中的 $\alpha /2$ 改成 $\alpha$，就能得到相应的单侧置信上下限了。