切比雪夫不等式：方差约束下的概率估计

切比雪夫不等式：方差约束下的概率估计

背景

在概率分析中，切比雪夫不等式是一个常用的工具，它通过引入随机变量的 方差信息，给出了偏离均值的概率界限。这一不等式是对 马尔科夫不等式 的自然扩展，结合了更丰富的分布信息。通过它，我们可以更精确地描述随机变量的偏差行为。

---

核心思想

切比雪夫不等式旨在刻画以下概率：
$$\mathbb{P}(|X-\mu |\ge t)$$
其中，$\mu =\mathbb{E}[X]$ 是随机变量 $X$ 的期望，$t>0$ 是阈值。为了进行更紧密的估计，引入 $X$ 的方差 ${\sigma }^2=\mathbb{E}[(X-\mu {)}^2]$。

切比雪夫不等式表明：
$$\mathbb{P}(|X-\mu |\ge t)\le \frac{{\sigma }^2}{t^2}.$$

这一结果的直观意义是：随机变量偏离均值的概率与方差成正比，与偏差阈值的平方成反比。当 $t$ 增大时，偏离概率迅速下降。

---

从马尔科夫不等式的扩展到切比雪夫不等式

马尔科夫不等式扩展回顾

回顾马尔科夫不等式扩展：给定一个非负随机变量 $X$ 和一个单调递增的非负函数 $g$，我们有：
$$\mathbb{P}(X\ge t)=\mathbb{P}(g(X)\ge g(t))\le \frac{\mathbb{E}[g(X)]}{g(t)},g(t)>0.$$
这一形式可以推广到许多场景，具体证明可以参考我的博客 马尔科夫不等式扩展：非线性函数下的概率上界。

切比雪夫不等式的推导

在切比雪夫不等式中，我们让随机变量的偏差 $Z=|X-\mu |$，并选择 $g(x)=x^2$。此时：
$$\mathbb{P}(|X-\mu |\ge t)=\mathbb{P}(Z\ge t)=\mathbb{P}(g(Z)\ge g(t))\le \frac{\mathbb{E}[g(Z)]}{g(t)}.$$

对于 $g(x)=x^2$，我们有：
$$g(Z)=Z^2=(X-\mu {)}^2,g(t)=t^2.$$

因此：
$$\mathbb{P}(|X-\mu |\ge t)\le \frac{\mathbb{E}[(X-\mu {)}^2]}{t^2}.$$

注意到 $\mathbb{E}[(X-\mu {)}^2]$ 就是 $X$ 的方差 ${\sigma }^2$，最终得到：
$$\mathbb{P}(|X-\mu |\ge t)\le \frac{{\sigma }^2}{t^2}.$$

---

例子：投资收益的概率估算

假设你投资一个项目 $X$，它的年平均收益是 $5\%$（即 $\mathbb{E}[X]=0.05$），年收益的方差为 $\text{Var}(X)={\sigma }^2=0.01$。你想知道收益超过期望值 $50\%$（即 $|X-\mathbb{E}[X]|\ge 0.5$）的概率有多大。

使用马尔科夫不等式估算

首先，根据前面马尔科夫不等式，我们可以得到结果
$$\mathbb{P}(X\ge 0.5)\le \frac{0.05}{0.5}=\mathrm{0.1.}$$
即，收益超过 $50\%$ 的概率不会超过 $10\%$。

马尔科夫不等式：一个快速的概率上界工具-CSDN博客

使用切比雪夫不等式估算

切比雪夫不等式考虑了收益的偏离范围，即：
$$\mathbb{P}(|X-\mathbb{E}[X]|\ge t)\le \frac{{\sigma }^2}{t^2}.$$
这里的 $t$ 是收益偏离期望值的阈值，因此 $t=0.5-0.05=0.45$，代入 ${\sigma }^2=0.01$：
$$\mathbb{P}(|X-\mathbb{E}[X]|\ge 0.45)\le \frac{0.01}{0.45^2}\approx \mathrm{0.049.}$$
即，收益偏离 $50\%$ 的概率不会超过 $4.9\%$。

---

对比与分析

1. 概率上界的精度

   • 使用马尔科夫不等式得到的概率上界是 $10\%$，而使用切比雪夫不等式后，概率上界下降到了 $4.9\%$。
   • 切比雪夫不等式利用了方差信息，给出了更紧的概率界限。

2. 适用范围

   • 马尔科夫不等式只需要知道随机变量的均值，适用于所有非负随机变量，因此更通用。
   • 切比雪夫不等式需要额外的方差信息，因此对分布的要求更高，但界限更精确。

3. 解释意义

   • 马尔科夫不等式的结果相对宽松，因为它只利用了均值信息，假设更大的分布范围。
   • 切比雪夫不等式通过引入方差，更好地描述了随机变量的波动特性。

---

特点与不足

优点

1. 利用方差信息：相比马尔科夫不等式，切比雪夫不等式通过引入方差，得到了更紧的概率上界。
2. 适用性广：只需知道均值和方差，无需任何额外的分布假设。
3. 直观性：通过与方差和偏差的关系，定量描述了概率的变化。

缺点

1. 上界仍然宽松：实际概率往往远小于不等式给出的界限。
2. 不考虑分布形状：切比雪夫不等式无法充分利用随机变量的分布信息。

---

进一步延伸

• 更紧的界限：如果随机变量具有更详细的信息（如分布的对称性或独立性），可以使用更高级的不等式，如赫夫丁不等式或切尔诺夫界。
• 特殊分布的分析：对于某些特定分布，如正态分布，可以通过分布函数直接计算偏差概率，从而获得更精确的估计。

---

小结

切比雪夫不等式是从马尔科夫不等式出发，通过引入方差，提供了一个更紧密的概率界限。它在随机变量分析中具有广泛的应用，是概率界限工具箱中的一件基础工具。然而，在实际场景中，如果能够获取更多的分布特征，使用更高级的不等式往往能带来更好的结果。

在后续内容中，我们将进一步探讨如 Chernoff Bound（切尔诺夫界） 这样的工具，如何实现对偏差概率的更精确控制。