矩估计与最大似然估计的通俗理解

点估计与区间估计

矩估计与最大似然估计都属于点估计，也就是估计出来的结果是一个具体的值。对比区间估计，通过样本得出的估计值是一个范围区间。例如估计馒头店每天卖出的馒头个数，点估计就是最终直接估计每天卖出10个，而区间估计是最终估计的结果是每天卖出7到12个。

矩估计

矩估计就是直接用样本替代总体，所以样本均值$\overline{x}$等于总体均值$E(x)$,样本平方的均值$\overline{x^2}$等于总体均值$E(x^2)$。
例如要估计馒头店每天卖出的馒头个数，我们可以记录30天卖出的馒头数量并除以30平均得到一天卖出的馒头数量并作为估计结果。所以矩估计非常简单易懂，但是受到取样和异常值的影响也比较大。

利用数学语言描述如下：
设$A_k$是$x$的$k$阶原点矩。
$$A_k=\frac{1}{n}\sum _{i=1}^n{x}_i^k$$

期望估计（一阶原点矩）
$$A_1=E(x)=\overline{x}$$

方差估计（二阶原点距）
$$A_2=E(x^2)=D(x)+{\left[E(x)\right]}^2$$
在实际应用中可以通过样本算出样本的一阶矩和二阶矩，从而得到方差的估计值
$$D(x)=\overline{x^2}-(\overline{x}{)}^2$$

最大似然估计

最大似然估计认为我们既然已经抽取得到了样本结果，那么就认为这个样本结果就是所有情况、所有样本结果中出现概率最大的那一个。考虑到这个样本中每次的取样都是独立同分布的，所以将每一个取值对应的概率相乘就是这一个样本结果出现的概率（也就是似然函数），那么只要让这一个结果出现的概率（似然函数）最大就可以估算出每个值对应的概率
例如要估计馒头店每天卖出的馒头个数是否大于5，最大似然估计就是抽出10天卖出的馒头数,假设现在抽出的结果中有7天是卖出超过了5个馒头，有3天是卖出了少于5馒头，那么直觉告诉我们馒头店每天卖出的馒头个数大于5的概率很大可能为0.7，这样才最可能出现我们现在得到的抽样结果。

所以最大似然估计的一般步骤为：

1. 写出似然函数（也就是样本结果出现的概率）。对于离散型变量是将对应概率相乘，连续型变量就是概率密度函数相乘。分别有：
   离散型：
   $$L(\theta )=\prod _{i=1}^n{P}_{\theta }(X_i=x_i)$$
   连续型：
   $$L(\theta )=\prod _{i=1}^{n}f(x_i)$$
2. 求似然函数最大时的$\theta$的值。一般为了简化计算，首先对等式两边取对数，将相乘改为相加减，然后对$\theta$求导，求得导数为0时$\hat{\theta }$的取值即为最大似然估计值

最大似然估计（MLE）是用来解决“模型已定，参数未知”的问题，在一元线性回归，逻辑回归等众多模型中都会涉及到

实际应用

假设总体$X$的概率分布为

其中$\theta （0<\theta <\frac{1}{2}）$是未知参数，利用总体$X$的如下样本值1,2,1,0,1,0,1,2,1,2,求$\theta$的矩估计与最大似然估计值。

矩估计：
$$E(X)=({\theta }^2)\times 0+2\theta (1-\theta )\times 1+(1-\theta {)}^2\times 2=2-2\theta$$
$$样本均值\overline{X}=\frac{11}{10}$$
根据$E(X)=\overline{X}$可解得$\hat{\theta }=\frac{9}{20}$

最大似然估计：
设似然函数为$L(\theta )$,根据样本有2个0值，5个1值，3个2，则有：
$$L(\theta )=({\theta }^2{)}^2[2\theta (1-\theta ){]}^5(1-\theta {)}^6=2^5{\theta }^9(1-\theta {)}^{11}$$
对式子两边取对数，有：
$$lnL(\theta )=5ln2+9ln\theta +11ln(1-\theta )$$
对$\theta$求导并令导数为0，有：
$$\frac{d[lnL(\theta )]}{d\theta }=\frac{9}{\theta }-\frac{11}{(1-\theta )}=0$$
$$\hat{\theta }=\frac{9}{20}$$

在本例中，矩估计和最大似然估计的值求出来时一致的，有的情况下两种办法求出来的估计值并不一致