常用分布的数学期望、方差、特征函数

作者：小猪快跑

基础数学&计算数学，从事优化领域7年+，主要研究方向：MIP求解器、整数规划、随机规划、智能优化算法

常用离散分布（二项分布、泊松分布、超几何分布、几何分布与负二项分布）与连续分布（正态分布、均匀分布、指数分布、伽马分布、贝塔分布、t分布、F分布、拉普拉斯分布、卡方分布、韦伯分布）的数学期望、方差、特征函数

如有错误，欢迎指正。如有更好的算法，也欢迎交流！！！——@小猪快跑

相关教程

• 常用分布的数学期望、方差、特征函数
• 【推导过程】常用离散分布的数学期望、方差、特征函数
• 【推导过程】常用连续分布的数学期望、方差、特征函数
• 【机器学习】【通俗版】EM算法（待更新）

相关文献

• [1]茆诗松,周纪芗.概率论与数理统计 (第二版)[M].中国统计出版社,2000.

常用分布的数学期望&方差&特征函数

分布名称	概率分布或密度函数 $p(x)$	数学期望	方差	特征函数
单点分布	$\begin{array}{c}{p}_c=1\end{array}$ ($c$ 为常数)	$c$	$0$	$e^{ict}$
$0-1$分布	$\begin{array}{c}{p}_0=1-p,p_1=p\\ (0<p<1)\end{array}$	$p$	$p(1-p)$	$1-p+p{e}^{it}$
二项分布 $b(n,p)$	$$\begin{gathered} p_k=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k} \\ k=0,1,2,\cdots ,n \\ (0<p<1) \end{gathered}$$	$np$	$np(1-p)$	$(1-p+p{e}^{it}{)}^n$
泊松分布 $P(\lambda )$	$$\begin{gathered} p_k=\frac{{\lambda }^k}{k!}{e}^{-k} \\ k=0,1,2,\cdots ;(\lambda >0) \end{gathered}$$	$\lambda$	$\lambda$	$e^{\lambda (e^{it}-1)}$
超几何分布 $h(n,N,M)$	$$\begin{gathered} p_k=\frac{\left(\genfrac{}{}{0ex}{}{M}{k}\right)\left(\genfrac{}{}{0ex}{}{N-M}{n-k}\right)}{\left(\genfrac{}{}{0ex}{}{N}{n}\right)} \\ M⩽N,n⩽N,M,N,n\text{ 正整数,} \\ k=0,1,2,\cdots ,\min (M,N) \end{gathered}$$	$n\frac{M}{N}$	$\frac{nM}{N}(1-\frac{M}{N})\frac{N-n}{N-1}$	$\sum _{k=0}^n\frac{\left(\genfrac{}{}{0ex}{}{M}{k}\right)\left(\genfrac{}{}{0ex}{}{N-M}{n-k}\right)}{\left(\genfrac{}{}{0ex}{}{N}{n}\right)}{e}^{itk}$
几何分布 $Ge(p)$	$$\begin{gathered} p_k=(1-p{)}^{k-1}p \\ k=1,2,\cdots \\ (0<p<1) \end{gathered}$$	$\frac{1}{p}$	$\frac{1-p}{p^2}$	$\frac{p{e}^{it}}{1-(1-p)e^{it}}$
负二项分布 帕斯卡分布 $Nb(r,p)$	$\begin{array}{c}{p}_k=\left(\genfrac{}{}{0ex}{}{k-1}{r-1}\right)(1-p{)}^{k-r}{p}^r\\ r正整数,k=r,r+1,\cdots \\ (0<p<1)\end{array}$	$\frac{r}{p}$	$\frac{r(1-p)}{p^2}$	${\left(\frac{p{e}^{it}}{1-(1-p)e^{it}}\right)}^r$
正态分布 高斯分布 $N(\mu ,{\sigma }^2)$	$$\begin{gathered} p(x)=\frac{1}{\sqrt{2\pi \sigma }}{e}^{-\frac{(x-a{)}^2}{2{\sigma }^2}} \\ -\infty <x<+\infty \\ (\sigma >0,a\text{常数}) \end{gathered}$$	$\mu$	${\sigma }^2$	$e^{iat-\frac{1}{2}{\sigma }^2{t}^2}$
均匀分布 $U(a,b)$	$$\begin{gathered} p(x)=\{\begin{array}{l}\frac{1}{b-a},x\in (a,b)\\ 0,\text{其他}\end{array} \\ (a<b,\text{常数)} \end{gathered}$$	$\frac{a+b}{2}$	$\frac{(b-a{)}^2}{12}$	$\frac{e^{itb}-e^{ita}}{it(b-a)}$
指数分布 $Exp(\lambda )$	$$\begin{gathered} p(x)=\{\begin{array}{ll}0,& x<0\\ \lambda e^{-\lambda x}& x⩾0\end{array} \\ (\lambda >0,\text{常数}) \end{gathered}$$	$\frac{1}{\lambda }$	$\frac{1}{{\lambda }^2}$	${\left(1-\frac{it}{\lambda }\right)}^{-1}$
伽马分布 $Ga(\alpha ,\lambda )$	$$\begin{gathered} p(x)=\{\begin{array}{ll}0,& x<0\\ \frac{{\lambda }^r}{\Gamma (r)}{x}^{r-1}{e}^{-\lambda x},& x⩾0\end{array} \\ (r>0,\lambda >0,\text{常数}) \end{gathered}$$	$\frac{r}{\lambda }$	$\frac{r}{{\lambda }^2}$	${\left(1-\frac{it}{\lambda }\right)}^{-r}$
${\chi }^2(n)$分布	$$\begin{gathered} p(x)=\{\begin{array}{ll}0,& x<0\\ \frac{1}{2^{n/2}\Gamma \left(\frac{n}{2}\right)}\cdot x^{\frac{n}{2}-1}{e}^{-\frac{x}{2}},& x⩾0\end{array} \\ \text{(n正整数)} \end{gathered}$$	$n$	$2n$	$(1-2it{)}^{-\frac{n}{2}}$
贝塔分布 $Be(a,b)$	$$\begin{gathered} p(x)=\{\begin{array}{ll}0,& 其他\\ \frac{\Gamma (p+q)}{\Gamma (p)\cdot \Gamma (q)}{x}^{p-1}(1-x{)}^{q-1},& 0<x<1\end{array} \\ (p>0,q>0\text{ 常数}) \end{gathered}$$	$\frac{p}{p+q}$	$\frac{pq}{(p+q{)}^2(p+q+1)}$
对数正态分布 $LN(\mu ,{\sigma }^2)$	$$\begin{gathered} p(x)=\{\begin{array}{ll}0,& x⩽0\\ \frac{1}{\sigma x\sqrt{2\pi }}{e}^{-\frac{(\ln x-a{)}^2}{2{\sigma }^2}},& x>0\end{array} \\ (\sigma >0,a\text{常数}) \end{gathered}$$	${\mathrm{e}}^{\mu +{\sigma }^2/2}$	${\mathrm{e}}^{2\mu +{\sigma }^2}({\mathrm{e}}^{{\sigma }^2}-1)$
柯西分布 $\mathrm{Cau}(\mu ,\lambda )$	$$\begin{gathered} p(x)=\frac{1}{\pi }\cdot \frac{\lambda }{{\lambda }^2+(x-\mu {)}^2} \\ -\infty <x<+\infty \\ (\lambda >0,\mu \text{常数}) \end{gathered}$$	不存在	不存在	$e^{i\mu t-\lambda |t|}$
韦伯分布	$$\begin{gathered} p(x)=\{\begin{array}{ll}0,& x⩽0\\ & \\ a\lambda x^{a-1}{e}^{-\lambda x^a},& x>0\end{array} \\ (\lambda >0,a>0,\text{常数}) \end{gathered}$$	$\Gamma \left(\frac{1}{a}+1\right){\lambda }^{-\frac{1}{a}}$	$$\begin{gathered} {\lambda }^{-\frac{2}{\alpha }}[\Gamma \left(\frac{2}{a}+1\right) \\ -{\Gamma }^2\left(\frac{1}{a}+1\right)] \end{gathered}$$
$t$分布	$$\begin{gathered} p(x)=\frac{\Gamma \left(\frac{n+1}{2}\right)}{\sqrt{n\pi }\Gamma \left(\frac{n}{2}\right)}{\left(1+\frac{x^2}{n}\right)}^{-\frac{n+1}{2}} \\ -\infty <x<+\infty (n\text{ 正整数}) \end{gathered}$$	$$\begin{gathered} 0 \\ (n>1) \end{gathered}$$	$$\begin{gathered} \frac{n}{n-2} \\ (n>2) \end{gathered}$$
$F$分布	$$\begin{gathered} p(x)=\{\begin{array}{ll}0,& x<0\\ \frac{\Gamma \left(\frac{n_1+n_2}{2}\right)}{\Gamma \left(\frac{n_1}{2}\right)\Gamma \left(\frac{n_2}{2}\right)}\frac{n_1^{\frac{n_1}{2}}{n}_2^{\frac{n_2}{2}}{x}^{\frac{n_1}{2}-1}}{(n_{1}x+n_2{)}^{\frac{n_1+n_2}{2}}},& x⩾0\end{array} \\ (n_1,n_2\text{ 正整数)} \end{gathered}$$	$$\begin{gathered} \frac{n_2}{n_2-2} \\ (n_2>2) \end{gathered}$$	$$\begin{gathered} \frac{2n_2^2(n_1+n_2-2)}{n_1(n_2-2{)}^2(n_2-4)} \\ (n_2>4) \end{gathered}$$
拉普拉斯分布	$$\begin{gathered} p(x)=\frac{1}{2\lambda }{e}^{-\frac{|x-\mu |}{\lambda }} \\ -\infty <x<+\infty \\ (\lambda >0,\mu \text{常数}) \end{gathered}$$	$\mu$	$2{\lambda }^2$	$\frac{e^{i\mu t}}{1+{\lambda }^2{t}^2}$

定义

事件域

设 $\Omega$ 为一样本空间，$\mathcal{F}$ 为 $\Omega$ 的某些子集所组成的集合类，如果 $\mathcal{F}$ 满足：

1. $\Omega \in \mathcal{F}$
2. 若 $A\in \mathcal{F}$，则对立事件 $\overline{A}\in \mathcal{F}$
3. 若 $A_n\in \mathcal{F}$，$1,2,\dots$，则可列并 ${\bigcup }_{n=1}^{+\infty }{A}_n\in \mathcal{F}$

则称 $\mathcal{F}$ 为一个事件域，又称为 $\sigma$ 代数。

在概率论中，又称 $(\Omega ,\mathcal{F})$ 为可测空间，这里“可测”是指 $\mathcal{F}$ 中都是有概率可言的事件。

概率

设 $\Omega$ 为一个样本空间，$\mathcal{F}$ 为 $\Omega$ 的某些子集组成的一个事件域。如果对任一事件 $A\in \mathcal{F}$，定义在 $\mathcal{F}$ 上的一个实值函数 $P(A)$ 满足：

1. 非负性公理：若 $A\in \mathcal{F}$，则 $P(A)\ge 0$；

2. 正则性公理：$P(\Omega )=1$；

3. 可列可加性公理：若 $A_1$，$A_2$，$\dots$，$A_n$，$\dots$，互不相容，有
   $$\begin{array}{c}P\left(\bigcup _{i=1}^{\infty }{A}_i\right)=\sum _{i=1}^{\infty }P(A_i)\end{array}$$

则称 $P(A)$ 为事件 $A$ 的概率，称三元素 $(\Omega ,\mathcal{F},P)$ 为概率空间。

条件概率

在某事件 $B$ 发生的条件下，求另一事件 $A$ 的概率，记为 $P(A|B)$。

随机变量

定义在样本空间 $\Omega$ 上的实值函数 $X=X(\omega )$ 称为随机变量，常用大写字母 $X,Y,Z$ 等表示随机变量，其取值用小写字母 $x,y,z$ 等表示。

假如一个随机变量仅可能取有限个或可列个值，则称其为离散随机变量。假如一个随机变量的可能取值充满数轴上的一个区间 $(a,b)$， 则称其为连续随机变量， 其中 $a$ 可以是 $-\infty ,b$ 可以是 $+\infty$。

分布函数

设 $X$ 是一个随机变量，对任意实数 $x$，称
$$F(x)=P(X⩽x)$$
为随机变量 $X$ 的分布函数。且称 $X$ 服从 $F(x)$，记为 $X\sim F(x)$。有时也可用 $F_X(x)$ 以表明是 $X$ 的分布函数（把 $X$ 作为 $F$ 的下标）。

连续随机变量的概率密度函数

设随机变量 $X$ 的分布函数为 $F(x)$，如果存在实数轴上的一个非负可积函数 $p(x)$，使得对任意实数 $x$ 有
$$F(x)={\int }_{-\infty }^{x}p(t)\mathrm{d}t$$
从上式可以看出，在$ F(x) $导数存在的点上有
$$F^{\prime }(x)=p(x)$$
$F(x)$ 是（累积）概率函数，其导数 $F^{\prime }(x)$ 是概率密度函数，由此可看出 $p(x)$ 被称为概率密度函数的理由。

数学期望

离散随机变量

设离散随机变量$ X $的分布列为
$$p\left(x_i\right)=P\left(X=x_i\right),i=1,2,\cdots ,n,\cdots$$
如果
$$\sum _{i=1}^{+\infty }\left|x_i\right|p\left(x_i\right)<+\infty$$
则称
$$E(X)=\sum _{i=1}^{+\infty }{x}_{i}p\left(x_i\right)$$
为随机变量 $X$ 的数学期望，或称为该分布的数学期望，简称期望或均值。若级数 ${\sum }_{k=1}^{+\infty }\left|x_k\right|p\left(x_k\right)$ 不收敛，则称 $X$ 的数学期望不存在。

连续随机变量

设连续随机变量$ X $的密度函数为$ p(x) $.如果
$${\int }_{-\infty }^{+\infty }|x|p(x)\mathrm{d}x<+\infty$$
则称
$$E(X)={\int }_{-\infty }^{+\infty }xp(x)\mathrm{d}x$$
为 $X$ 的数学期望，或称为该分布 $p(x)$ 的数学期望，简称期望或均值。若 ${\int }_{-\infty }^{+\infty }|x|p(x)\mathrm{d}x$ 不收敛，则称 $X$ 的数学期望不存在。

方差与标准差

若随机变量 $X^2$ 的数学期望 $E(X^2)$ 存在，则称偏差平方 $(X-EX{)}^2$ 的数学期望 $E(X-EX{)}^2$ 为随机变量 $X$ （或相应分布）的方差，记为
$$\mathrm{Var}(X)=E(X-E(X){)}^2=\{\begin{array}{ll}{\sum }_i[x_i-E(X){]}^{2}p(x_i),& \text{在离散场合;}\\ {\int }_{-\infty }^{+\infty }[x-E(X){]}^{2}p(x)\mathrm{d}x,& \text{在连续场合。}\end{array}$$
称方差的正平方根 $\sqrt{\mathrm{Var}(X)}$ 为随机变量 $X$ （或相应分布）的标准差，记为 $\sigma (X)$， 或 ${\sigma }_X$。

以下均假定随机变量的方差是存在的

• $\mathrm{Var}(X)=E(X^2)-[E(X){]}^2$

• 常数的方差为 0，即 $\mathrm{Var}(c)=0$，其中 $ c $ 是常数

• 若 $a,b$ 是常数，则 $\mathrm{Var}(aX+b)=a^2\mathrm{Var}(X)$

最大似然估计

设总体的概率函数为 $p(x;\theta )$，$\theta \in \Theta$，其中 $\theta$ 是一个未知参数或几个未知参数组成的参数向量，$\Theta$ 是参数空间，$x_1,\cdots ,x_n$ 是来自该总体的样本，将样本的联合概率函数看成 $\theta$ 的函数，用 $L(\theta ;x_1,\cdots ,x_n)$ 表示，简记为 $L(\theta )$
$$L(\theta )=L(\theta ;x_1,\cdots ,x_n)=p(x_1;\theta )\cdot p(x_2;\theta )\cdot \cdots \cdot p(x_n;\theta )$$
$L(\theta )$ 称为样本的似然函数。如果某统计量 $\hat{\theta }=\hat{\theta }(x_1,\cdots ,x_n)$ 满足
$$L(\hat{\theta })=\underset{\theta \in \Theta }{\max }L(\theta )$$
则称 $\hat{\theta }$ 是 $\theta$​ 的最大似然估计，简记为 MLE（Maximum Likelihood Estimate）。

由于 $\ln x$ 是 $x$ 的单调增函数，因此，使对数似然函数 $\ln L(\theta )$ 达到最大与使 $L(\theta )$ 达到最大是等价的。人们通常更习惯于由 $\ln L(\theta )$ 出发寻找 $\theta$ 的最大似然估计。当 $L(\theta )$ 是可微函数时，求导是求最大似然估计最常用的方法，此时对对数似然函数求导更加简单些。

特征函数

设 $p(x)$ 是随机变量 $X$ 的密度函数，则 $p(x)$ 的傅里叶变换是
$$\phi (t)={\int }_{-\infty }^{+\infty }{\mathrm{e}}^{itx}p(x)\mathrm{d}x$$
其中 $i=\sqrt{-1}$ 是虚数单位。
由数学期望的概念知，$\phi (t)$ 恰好是 $E\left({\mathrm{e}}^{itx}\right)$。
它是处理许多概率论问题的有力工具，它能把寻求独立随机变量和的分布的卷积运算 (积分运算) 转换成乘法运算，还能把求分布的各阶原点矩 (积分运算) 转换成微分运算。特别它能把寻求随机变量序列的极限分布转换成一般的函数极限问题。

设 $X$ 是一个随机变量，称
$$\phi (t)=E\left({\mathrm{e}}^{itx}\right),-\infty \le t\le +\infty$$
为 $X$ 的特征函数。

因为 $|{\mathrm{e}}^{itx}|\le 1$，所以 $E\left({\mathrm{e}}^{itX}\right)$ 总是存在的，即任一随机变量的特征函数总是存在的。

若 $E(x^l)$ 存在，则 $X$ 的特征函数 $\phi (t)$ 可 $l$ 次求导，且对 $1\le k\le l$, 有
$${\phi }^{(k)}(0)=i^{k}E(X^k)$$
上式提供了一条求随机变量的各阶矩的途径，特别可用下式去求数学期望和方差。
$$E(X)=\frac{{\phi }^{\prime }(0)}{i},\mathrm{Var}(X)=-{\phi }^{\prime \prime }(0)+({\phi }^{\prime }(0){)}^2$$

不等式

Chebyshev（切比雪夫）不等式

设随机变量 $X$ 的数学期望和方差都存在，则对任意常数 $e>0$，有
KaTeX parse error: Undefined control sequence: \label at position 83: …arepsilon^{2}} \̲l̲a̲b̲e̲l̲{eq:2.3.2}
或
KaTeX parse error: Undefined control sequence: \label at position 78: …arepsilon^{2}} \̲l̲a̲b̲e̲l̲{eq:2.3.3}

证明：

设 $X$ 是一个连续随机变量,其密度函数为 $p(x)$。记 $E(X)=a$，我们有

P ( ∣ X − a ∣ ⩾ ε ) = ∫ { x : ∣ x − a ∣ ⩾ ε } p ( x ) d x ⩽ ∫ { x : ∣ x − a ∣ ⩾ ε } ( x − a ) 2 ε 2 p ( x ) d x ⩽ 1 ε 2 ∫ − ∞ + ∞ ( x − a ) 2 p ( x ) d x = V a r ( X ) ε 2 \begin{align*} {P(|X-a| \geqslant \varepsilon)} & {=\int_{\{x: |x-a| \geqslant \varepsilon\}} p(x) \mathrm{d} x \leqslant \int_{\{x: |x-a| \geqslant \varepsilon\}} \frac{(x-a)^{2}}{\varepsilon^{2}} p(x) \mathrm{d} x} \\ {} & {\leqslant \frac{1}{\varepsilon^{2}} \int_{-\infty}^{+\infty}(x-a)^{2} p(x) \mathrm{d} x=\frac{\mathrm{Var} (X)}{\varepsilon^{2}}} \end{align*} P(∣X−a∣⩾ε)​=∫{x:∣x−a∣⩾ε}​p(x)dx⩽∫{x:∣x−a∣⩾ε}​ε2(x−a)2​p(x)dx⩽ε21​∫−∞+∞​(x−a)2p(x)dx=ε2Var(X)​​
由此知对连续随机变量成立，对于离散随机变量亦可类似进行证明。

在概率论中,事件 $|X-E(X)|⩾\epsilon$ 称为大偏差，其概率 $P(1X-E(X)1⩾e)$ 称为大偏差发生概率。切比雪夫不等式给出大偏差发生概率的上界，这个上界与方差成正比，方差愈大上界也愈大。