【概率论三】参数估计：点估计（矩估计、极大似然法）、区间估计

参数估计讲什么

1. 由样本来确定未知参数
2. 参数估计分为点估计与区间估计

一. 点估计

所谓点估计是指用某个确定的值或在某个确定的点来估计总体的未知参数，所以点估计又称为定值估计。

构造估计量$(X_1,X_2...，)$的方法很多，下面介绍常用的矩估计法和极大似然估计法。

 

1. 矩估计法

原点矩概念

• 原点矩（Raw Moments）是描述随机变量分布的一种数学量，它是随机变量的幂次期望。
• 具体来说，对于一个随机变量 X，其 r 阶原点矩定义为：${\mu }_r^{\prime }=E[X^r]$ 其中 E 表示期望运算符。
• 假设 X 是一个服从正态分布的随机变量，我们可以用原点矩计算其各阶矩：
  • 一阶原点矩 ${\mu }_1^{\prime }=E[X]$ 是正态分布的均值 μ。
  • 二阶原点矩 ${\mu }_2^{\prime }=E[X^2]$是正态分布的均值 μ 和方差 ${\sigma }^2$ 的和，即$\mu 2^{\prime }=\text{Var}(X)+(\mu {)}^2$。

 
用样本矩估计参数
样本矩在一定程度上反映了总体矩的特征，且在样本容量n增大的条件下，样本的k阶原点矩 $A_k=1/n{\sum }_{i=1}^n{X}_i^k$ 依概率收敛到总体X的k阶原点矩 ${\mu }_k=E(X^k)$，即$A_k{-}^P>{\mu }_k$(n →∞)， k=1，2，…。

因而自然想到用样本矩作为相应总体矩的估计量，而以样本矩的连续函数作为相应总体矩的连续函数的估计量，这种估计方法就称为矩估计法。

 
矩估计法的一般做法:设总体 $X\sim F(X;{\theta }_1,{\theta }_2,...)$其 中 ${\theta }_1,{\theta }_2$ … 均未知。

 

1. $A_1$ 代表一阶原点矩，就是平均值，当趋于无穷时， $A_1$ 收敛于 ${\mu }_1$
2. xf(x;θ)是求一阶原点矩的通用公式
3. 得到θ与μ的关系之后，就可得θ的矩估计值$\hat{\theta }$。

 

2. 极大似然法

极大似然估计法(Maximum Likelihood Estimation)只能在已知总体分布的前提下进行。

例如，假定一个盒子里装有许多大小相同的 黑球和白球，并且假定它们的数目之比为3∶1，但不知是白球多还是黑球多，现在有放回地从盒中抽了3个球，试根据所抽3个球中黑球的数目确定是白球多还是黑球多。

 

2.1. 似然函数

在极大似然估计法中，最关键的问题是如何求得似然函数，有了似然函数，问题就简单了，下面分两种情形来介绍似然函数。

(1)离散型总体

p为$X_n$ 变量θ的概率

 
（2）连续型总体

只要知道概率分布或密度函数就可以得到关于θ的似然函数。

 

2.2. 极大似然估计法

主要思想

转换为求似然函数的最大值。
简化为：dlnL(θ)/dθ=0

 

推广到k个未知参数也适用

 

3. 评价估计量的标准

设总体$X$服从$[0,\theta ]$上的均匀分布， 如下分别使用点估计和极大似然法来估计θ

${\hat{\theta }}_{矩}=2\bar{X}$，
θ ^ L m a x 1 < = i < = n { X i } \hat{θ}_L \underset{1<=i<=n}{max}{\{X_i\}} θ^L​1<=i<=nmax​{Xi​}

这两个估计哪一个好呢?下面我们首先讨论衡量估计量好坏的标准问题。

 

3.1. 无偏性

若估计量$(X_1，X_2，...，X_n)$的数学期望等于未知参数 ，即 $E(\hat{\theta })=\theta$ 则称 $\hat{\theta }$为θ的无偏估计量(Non-deviationEstimator)。

估计量 $\hat{\theta }$ 的值不一定就是θ的真值，因为它是一个随机变量，若 $\hat{\theta }$ 是θ的无偏估计，则尽管 $\hat{\theta }$的值随样本值的不同而变化，但平均来说它会等于θ的真值。

 

3.2. 有效性

对于未知参数θ ，如果有两个无偏估计量${\hat{\theta }}_1$ 与 ${\hat{\theta }}_2$ ，即$E({\hat{\theta }}_1)$ = $E({\hat{\theta }}_2)$ =θ，那么在${\hat{\theta }}_1$ 与 ${\hat{\theta }}_2$中谁更好呢?

此时我们自然希望θ,的平均偏差$E(\hat{\theta }-\theta {)}^2$越小越好，即一个好的估计量应该有尽可能小的方差，这就是有效性。如下分析：

举例说明

 

3.3. 一致性

随着样本的增大，n随概率收敛于θ真值

 

二. 区间估计

1. 区间估计的概念

μ概率的问题：

我们给出μ的大致范围，使得μ有较高的概率在这个范围内，这就是区间估计问题。

 

置信区间、置信概率（置信度）

定义中的随机区间$({\theta }_1,{\theta }_2)$的大小依赖于随机抽取的样本观测值，它可能包含θ ，也可能不包含，上式的意义是指θ在$({\theta }_1,{\theta }_2)$区间的概率是1-a 。

例如，若取 a=0.05，那么置信概率为1-a =0.95，这时置信区间$({\theta }_1,{\theta }_2)$的意义是指:在100次重复抽样所得到的100个置信区间中，大约有95个区间包含参数真值θ，有5个区间不包含真值。

 

2. 正态总体参数的区间估计

 
如果未知，则用方差代替

练习题ing

 
当容量很大时，由中心极限定理，下式服从标准正态分布。