拉普拉斯分布极大似然估计

在拉普拉斯分布中，概率密度函数 (PDF) 表示为：

$$f(x|\mu ,b)=\frac{1}{2b}\exp \left(-\frac{|x-\mu |}{b}\right),$$
其中 $\mu$ 是位置参数，$b>0$ 是尺度参数。

给定一个样本数据集 { x 1 , x 2 , … , x n } \{x_1, x_2, \dots, x_n\} {x1​,x2​,…,xn​}，我们需要对参数 $\mu$ 和 $b$ 进行极大似然估计 (MLE)。

1. 极大似然函数

似然函数为：
$$L(\mu ,b)=\prod _{i=1}^n\frac{1}{2b}\exp \left(-\frac{|x_i-\mu |}{b}\right).$$

取对数，得到对数似然函数：
$$\ell (\mu ,b)=\ln L(\mu ,b)=-n\ln (2b)-\frac{1}{b}\sum _{i=1}^n|x_i-\mu |.$$

2. 对参数求解

(1) 对 $\mu$ 求极大值

固定 $b$，对 $\mu$ 求偏导数：
$$\frac{\partial \ell (\mu ,b)}{\partial \mu }=-\frac{1}{b}\sum _{i=1}^n\text{sgn}(x_i-\mu ),$$
其中 $\text{sgn}(z)$ 是符号函数，定义为：
$$\text{sgn}(z)=\{\begin{array}{ll}1,& z>0,\\ -1,& z<0,\\ 0,& z=0.\end{array}$$

令导数为零，即：
$$\sum _{i=1}^n\text{sgn}(x_i-\mu )=0.$$

这表明 $\mu$ 是数据的中位数。因此，$\hat{\mu }$ 的极大似然估计为：
μ ^ = median ( { x 1 , x 2 , … , x n } ) . \hat{\mu} = \text{median}(\{x_1, x_2, \dots, x_n\}). μ^​=median({x1​,x2​,…,xn​}).

(2) 对 $b$ 求极大值

将 $\mu =\hat{\mu }$ 代入对数似然函数，对 $b$ 求偏导数：
$$\frac{\partial \ell (\mu ,b)}{\partial b}=-\frac{n}{b}+\frac{1}{b^2}\sum _{i=1}^n|x_i-\mu |.$$

令导数为零，得到：
$$b=\frac{1}{n}\sum _{i=1}^n|x_i-\hat{\mu }|.$$

因此，$\hat{b}$ 的极大似然估计为：
b ^ = 1 n ∑ i = 1 n ∣ x i − median ( { x 1 , x 2 , … , x n } ) ∣ . \hat{b} = \frac{1}{n} \sum_{i=1}^n |x_i - \text{median}(\{x_1, x_2, \dots, x_n\})|. b^=n1​i=1∑n​∣xi​−median({x1​,x2​,…,xn​})∣.

3. 总结

拉普拉斯分布的极大似然估计为：
μ ^ = median ( { x 1 , x 2 , … , x n } ) , \hat{\mu} = \text{median}(\{x_1, x_2, \dots, x_n\}), μ^​=median({x1​,x2​,…,xn​}),
$$\hat{b}=\frac{1}{n}\sum _{i=1}^n|x_i-\hat{\mu }|.$$