看见统计——第三章 概率分布

看见统计——第三章 概率分布

参考

1. https://github.com/seeingtheory/Seeing-Theory
2. 中心极限定理

概率分布描述了随机变量取值的规律。

随机变量Random Variables

🔥 定义：将样本空间中的结果映射到实数的函数 $X$ 称为随机变量(random variable)，记为$X:\Omega \to$

例如，在抛硬币问题中，样本空间就是 $\Omega =正面，背面$，随机变量有$X(正面)=1，X(背面)=0$。

随机变量是一个函数，它用数字来表示一个可能出现的事件。你可以定义你自己的随机变量，然后生成一些样本来观察它的经验分布。

随机变量的独立性

🔥 定义：假设$X$和$Y$是定义在某个样本空间$\Omega$上的两个随机变量。对于任意的两个子集$A$ 和 $B$ ，当满足：
$$P(X\in A,Y\in B)=P(X\in A)P(Y\in B)$$
时，我们说 $X$ 和 $Y$ 是独立的随机变量

再来证明：如果 $X$ 和 $Y$ 是独立的随机变量，那么 $E[XY]=E[X]E[Y]$。定义随机变量 $Z(\omega )=X(\omega )Y(\omega )$，根据期望的定义，左式可以写成：

离散型和连续型随机变量Discrete and Continuous

常见的随机变量类型有两种：离散型随机变量和连续型随机变量。

离散型随机变量

一个离散型随机变量可能的取值范围只有有限个或可列个值。离散型随机变量的定义是：如果 $X$ 是一个随机变量，存在非负函数 $f(x)$ 和 $F(x)$，使得：
$$\begin{gathered} P(X=x)=f(x) \\ P(X<x)=F(x) \end{gathered}$$
则称 $X$ 是一个离散型随机变量。

分布函数$F(x)$：Cumulative Distribution Function, 简称CDF。

概率质量函数$f(x)$：probability mass function，简写为PMF。是离散随机变量在各特定取值上的概率。

图示中黄色曲线为PMF，橙色曲线为CDF。

例如，我们的掷硬币产生了一个随机变量 $X$ ，它只能接受集合{0，1}\{0，1\}{0，1}中的值。因此， $X$ 是一个离散的随机变量。然而，离散随机变量仍然可以具有无穷多个值，如下所示。

泊松分布Poisson

泊松分布表示了一个事件在固定时间或者空间中发生的次数。泊松分布的参数 $\lambda$ 是单位时间(或单位面积)内随机事件的平均发生次数。比方说，我们可以用泊松分布来刻画流星雨或者足球比赛中的进球数。

在实际事例中，当一个随机事件，例如某电话交换台收到的呼叫、来到某公共汽车站的乘客、某放射性物质发射出的粒子、显微镜下某区域中的白血球等等，以固定的平均瞬时速率 $\lambda$（或称密度）随机且独立地出现时，那么这个事件在单位时间（面积或体积）内出现的次数或个数就近似地服从泊松分布 $P(\lambda) $。因此,泊松分布在管理科学、运筹学以及自然科学的某些问题中都占有重要的地位。（在早期学界认为人类行为是服从泊松分布，2005年在nature上发表的文章揭示了人类行为具有高度非均匀性。）

设随机变量 $X$ 服从参数为 $\lambda$（$k\in \mathbb{N}$） 的泊松分布，即
$$P(X=k)=\frac{{\lambda }^x{e}^{-\lambda }}{k!}$$
描述这种分布的简写是 $X\sim Poi(\lambda )$。因为 $k$ 可以是 $\mathbb{N}$ 中的任何数字，所以我们的随机变量 $X$ 在无穷多个数字上具有正的概率。然而，由于 $N$ 是可数的，$X$ 仍然被认为是离散型随机变量。

PMF	期望	方差
$$f(x;\lambda )=\frac{{\lambda }^x{e}^{-\lambda }}{x!}$$	$\lambda$	$\lambda$

当二项分布的n很大而p很小时，泊松分布可作为二项分布的近似，其中λ为np。通常当 $n\ge 20,p\le 0.05$ 时，就可以用泊松公式近似得计算。

伯努利分布Bernoulli

如果一个随机变量 $X$ 只取值 0 或 1，概率分布是
$$P(X=1)=p,P(X=0)=1-p$$
则称 $X$ 符合伯努利分布(Bernoulli)。我们常用伯努利分布来模拟只有两种结果的试验，如抛硬币。

PMF	期望	方差
$$f(x;p)=\{\begin{array}{ll}p& \text{if }x=1\\ 1-p& \text{if }x=0\end{array}$$	$p$	$p(1-p)$

二项分布Binomial

如果随机变量 $X$ 是 $n$ 个参数为 $p$ 的独立伯努利随机变量之和，则称 $X$ 是二项分布(binomial)。我们常用二项分布来模拟若干独立同分布的伯努利试验中的成功次数。比如说，抛五次硬币，其中正面的次数可以用二项分布来表示：$Bin(5,1/2)$。

PMF	期望	方差
$$f(x;n,p)=\left(\genfrac{}{}{0ex}{}{n}{x}\right)p^x(1-p{)}^{n-x}$$	$np$	$np(1-p)$

例如。$P(X=2)=C_5^2(\frac{1}{2}{)}^5=\frac{10}{32}=0.3125$

几何分布Geometric

定义：指在伯努利试验中，试验r次才得到第一次成功的机率。即前r-1次都失败，在第r次成功的概率。

示例：射箭第几次能够正中靶心、有放回的情况下第几次能取到期望颜色的小球等等，求这种多次进行的试验下第几次能够达到想要的目的。

PMF	期望	方差
$$f(x;p)=(1-p{)}^{x}p$$	$\frac{1}{p}$	$\frac{1-p}{p^2}$

连续型随机变量

连续型随机变量可能取值的范围是一个无限不可数集合（如全体实数)。连续型随机变量的定义是：设 $X$ 为随机变量，存在非负函数 $f(x)$ 使得：
$$\begin{gathered} P(a\le X\le b)={\int }_a^{b}f(x)dx \\ P(X<x)=F(x) \end{gathered}$$
概率密度函数 $f(x)$: probability density function，PDF，是一个描述这个连续型随机变量的输出值，在某个确定的取值点附近的可能性的函数。概率密度函数如果满足以下两个性质则有效：

1. $\forall x\in \Omega ,f(x)\ge 0$
2. ${\int }_{-\infty }^{\infty }f(x)dx=1$

均匀分布Uniform

如果随机变量 $X$ 在其支撑集上所有相同长度的区间上有相同的概率。即如果 $b_1-a_1=b_2-a_2$ 则有
$$P(X\in [a_1,b_1])=P(X\in [a_2,b_2])$$
那么我们称 $X$ 服从均匀分布(Uniform)。比方说，我们一般可以假设人在一年中出生的概率是相等的，因此可以用均匀分布来模拟人的出生时间。

PDF	期望	方差
$$f(x;a,b)=\{\begin{array}{l}\frac{1}{b-a}\text{ for }x\in [a,b]\\ 0\text{ otherwise }\end{array}$$	$\frac{a+b}{2}$	$\frac{(b-a{)}^2}{12}$

​

Gamma分布

Gamma分布是一组连续型概率密度。指数分布和卡方分布是Gamma分布的两个特殊情形。

PDF	期望	方差
$$f(x;k,\theta )=\frac{1}{\Gamma (k){\theta }^k}{x}^{k-1}{e}^{-\frac{x}{\theta }}$$	$k\theta$	$k{\theta }^2$

伽玛函数（Gamma函数）：$\Gamma (x)={\int }_0^{+\infty }{t}^{x-1}{e}^{-t}dt(x>0)$，是阶乘在实数集上的延拓。

正态分布Normal

正态分布（也称高斯分布）的密度函数是一个钟形曲线。科学中常用正态分布来模拟许多小效应的叠加。比方说，我们知道人的身高是许多微小的基因和环境效应的叠加。因此可以用正态分布来表示人的身高。

PDF	期望	方差
$$f(x;\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$	$\mu$	${\sigma }^2$

下面给出正态分布随机变量的一些有用的性质:

如果$X\sim N({\mu }_x,{\sigma }_x^2),Y\sim N({\mu }_y,{\sigma }_y^2)$ 是独立的随机变量。则有：

(a) $X+Y\sim N({\mu }_x+{\mu }_y,{\sigma }_x^2+{\sigma }_y^2)$

(b) $aX\sim N(a{\mu }_x,a^2{\sigma }_x^2)$

© $X+a\sim N({\mu }_x+a,{\sigma }_x^2)$

卡方分布Chi Squared

如果随机变量 $X$ 是 $k$ 个独立的标准正态随机变量的平方和，则称 $X$ 为自由度是 $k$ 的卡方随机变量：$X\sim {\chi }_k^2$。卡方分布常见于假设检验和构造置信区间。

PDF	期望	方差
$$\sum _{i=1}^k{Z}_i^2{Z}_i\stackrel{i.i.d.}{\sim }N(0,1)$$	$k$	$2k$

Student-t 分布

Student-t分布（也称t分布）往往在估计正态总体期望时出现。当我们只有较少的样本和未知的方差时，许多大样本性质并不适用，此时我们则需要用到t分布。

PDF	期望	方差
$$\frac{Z}{\sqrt{U/k}}\begin{array}{l}Z\sim N(0,1)\\ U\sim {\chi }_k\end{array}$$	$0$	$\frac{k}{k-2}$

指数分布Exponential

指数分布可以看作是几何分布的连续版本，其常用于描述等待时间。具有无记忆性$P(X>a+b|X>a)=P(X>b)$。

PDF	期望	方差
$$(f(x;\lambda )=\{\begin{array}{ll}\lambda e^{-\lambda x}& \text{if }x\ge 0\\ 0& \text{otherwise}\end{array}$$	$\frac{1}{\lambda }$	$\frac{1}{{\lambda }^2}$

F分布Fisher–Snedecor

它是两个服从卡方分布的独立随机变量各除以其自由度后的比值的抽样分布，是一种非对称分布，且位置不可互换。F分布有着广泛的应用，如在方差分析、回归方程的显著性检验中都有着重要的地位。

PDF	期望	方差
$$\frac{U_1/d_1}{U_2/d_2}\begin{array}{l}{U}_1\sim {\chi }_{d_1}\\ U_2\sim {\chi }_{d_2}\end{array}$$	$\frac{d_2}{d_2-2}$	$\frac{2d_2^2(d_1+d_2-2)}{d_1(d_2-2{)}^2(d_2-4)}$

beta分布

Beta分布是一族在$[0,1]$上的连续型概率分布，常用于贝叶斯统计中的共轭先验分布。

PDF	期望	方差
$$f(x;\alpha ,\beta )=\frac{\Gamma (\alpha +\beta )x^{\alpha -1}(1-x{)}^{\beta -1}}{\Gamma (\alpha )\Gamma (\beta )}$$	$\frac{\alpha }{\alpha +\beta }$	$\frac{\alpha \beta }{(\alpha +\beta {)}^2(\alpha +\beta +1)}$

中心极限定理Central Limit Theorem

回到掷骰子的问题。假设你掷了50次骰子，并将平均掷出量记录${\overline{X}}_1=\frac{1}{50}{\sum }_{k=1}^{50}{X}_k$。现在你重复这个实验，将平均掷出量记录为 ${\overline{X}}_2$。继续这样做，得到一连串的样本平均值 ${\overline{X}}_1,{\overline{X}}_2,{\overline{X}}_3\cdots$。 如果你画出结果的直方图，你会开始注意到平均值 ${\overline{X}}_i$ 的分布开始呈现正态。这个近似正态分布的平均值和方差是多少？它们应该与我们下面计算的 ${\overline{X}}_i$ 的平均值和方差一致。请注意，这些计算并不取决于下标 $i$，因为每个${\overline{X}}_i$都是由50个独立的公平骰子掷出的样本平均值。因此，我们省略下标 $i$，只是将样本平均值表示$\overline{X}=\frac{1}{50}{\sum }_{k=1}^{50}{X}_k$。

其中掷骰子的期望值为3.5，方差约为2.92。方差计算如下：

所以我们会开始观察到，样本平均数的序列开始类似于期望 $\mu =3.5$ ，方差 ${\sigma }^2=0.0582$的正态分布。这个结果是由中心极限定理得出的，该定理陈述如下。

📏 定理：中心极限定理（Central Limit Theorem）：让$X_1,X_2,X_3,\cdots$是独立同分布的，平均值为$\mu$ ，方差为${\sigma }^2$。则有：
$$\overline{X}\to N(\mu ,\frac{{\sigma }^2}{n})$$
$n\to \infty$。

这个定理的意思是，随着样本数量 $n$ 的增加，样本均值 $\overline{X}$ 的独立观测值看起来就像是从具有均值 $\mu$ 和方差 ${\sigma }^2$ 的正态分布中提取出来的然而，这一结果对于$X_i$ 的任何潜在分布都是正确的

📐 推论：中心极限定理的另一种写法为：
$$\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\to N(0,1)$$
也说明，当n很大时，随机变量
$$Y_n=\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }$$
近似地服从标准正态分布$N(0，1)$。因此，当n很大时，
$$\sum _{i=1}^n{X}_i=\sqrt{n}\sigma Y_n+n\mu$$
近似地服从正态分布$N(n\mu ，n{\sigma }^2)$。该定理是中心极限定理最简单又最常用的一种形式，在实际工作中，只要n足够大，便可以把独立同分布的随机变量之和当作正态变量。这种方法在数理统计中用得很普遍，当处理大样本时，它是重要工具。

图示

中心极限定理告诉我们，对于一个（性质比较好的）分布，如果我们有足够大的独立同分布的样本，其样本均值会（近似地）呈正态分布。样本数量越大，其分布与正态越接近。