极大似然估计例题——正态分布的极大似然估计

设总体$X\sim N(\mu ,{\sigma }^2)$，其中$\mu$ 和${\sigma }^2$ 是未知参数，取样本观测值为$x_1,x_2,\cdots ,x_n$，求参数$\mu$ 和${\sigma }^2$ 的最大似然估计。

解
总体$X$ 的概率密度函数为
$$f(x;\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}}(-\infty <x<+\infty ),$$

则似然函数为
$$L(\mu ,{\sigma }^2)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}}=(2\pi {\sigma }^2{)}^{-\frac{n}{2}}{e}^{-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n(x_i-\mu {)}^2},$$

取对数，得对数似然函数
$$\ln L(\mu ,{\sigma }^2)=-\frac{n}{2}\ln 2\pi -\frac{n}{2}\ln {\sigma }^2-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2,$$

关于$\mu$ 和${\sigma }^2$ 分别求偏导，得似然方程组
$$\{\begin{array}{l}\frac{\partial \ln L(\mu ,{\sigma }^2)}{\partial \mu }=\frac{1}{{\sigma }^2}{\sum }_{i=1}^n(x_i-\mu )=0,\\ \frac{\partial \ln L(\mu ,{\sigma }^2)}{\partial {\sigma }^2}=-\frac{n}{2{\sigma }^2}+\frac{1}{2{\sigma }^4}{\sum }_{i=1}^n(x_i-\mu {)}^2=0.\end{array}$$

由此解得$\mu$ 及${\sigma }^2$ 的最大似然估计值分别为
$$\{\begin{array}{l}\tilde{\mu }=\frac{1}{n}{\sum }_{i=1}^n{x}_i=\bar{x},\\ \widetilde{{\sigma }^2}=\frac{1}{n}{\sum }_{i=1}^n(x_i-\bar{x}{)}^2,\end{array}$$

最大似然估计量分别为
$$\{\begin{array}{l}\tilde{\mu }=\frac{1}{n}{\sum }_{i=1}^n{X}_i=\bar{X},\\ \widetilde{{\sigma }^2}=\frac{1}{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2.\end{array}$$

从例可以看到，正态总体参数的最大似然估计与矩估计是相同的。