【返璞归真】-切比雪夫不等式（Chebyshev‘s Inequality）

切比雪夫不等式（Chebyshev’s Inequality）

切比雪夫不等式是概率论中的一个基本不等式，用于估计随机变量偏离其期望值一定范围的概率。它对于任何具有有限期望和有限方差的随机变量都成立。

---

公式表达

切比雪夫不等式的基本形式如下：

$$P(|X-\mu |\ge k\sigma )\le \frac{1}{k^2},\text{其中 }k>0.$$

其中：

• $X$：随机变量
• $\mu =\mathbb{E}[X]$：随机变量的期望
• ${\sigma }^2=\text{Var}(X)=\mathbb{E}[(X-\mu {)}^2]$：随机变量的方差
• $\sigma =\sqrt{\text{Var}(X)}$：标准差
• $k$：任意正实数，表示偏离标准差的倍数

---

解释

1. 不等式意义：切比雪夫不等式表示随机变量$X$偏离其期望值$\mu$至少$k\sigma$的概率不会超过$\frac{1}{k^2}$。也就是说，随着$k$增大，随机变量偏离期望值的概率迅速减少。

2. 适用条件：切比雪夫不等式适用于任何随机变量$X$，只要其期望值和方差有限。它对分布形状没有要求，因此适用于非对称分布或长尾分布等。

---

推导过程

切比雪夫不等式基于马尔可夫不等式：
$$P(Y\ge a)\le \frac{\mathbb{E}[Y]}{a},\text{其中 }a>0,Y\ge 0.$$

通过定义$Y=(X-\mu {)}^2$并代入马尔可夫不等式：

1. 定义：随机变量的偏差平方为$Y=(X-\mu {)}^2$，因此$Y\ge 0$，且$\mathbb{E}[Y]=\text{Var}(X)={\sigma }^2$。
2. 应用马尔可夫不等式：
   $$P((X-\mu {)}^2\ge k^2{\sigma }^2)\le \frac{\mathbb{E}[(X-\mu {)}^2]}{k^2{\sigma }^2}.$$
3. 简化右边的分母：
   $$P((X-\mu {)}^2\ge k^2{\sigma }^2)\le \frac{{\sigma }^2}{k^2{\sigma }^2}=\frac{1}{k^2}.$$
4. 注意到$(X-\mu {)}^2\ge k^2{\sigma }^2⟺|X-\mu |\ge k\sigma$，因此：
   $$P(|X-\mu |\ge k\sigma )\le \frac{1}{k^2}.$$

---

应用举例

1. 质量控制：在工业生产中，用切比雪夫不等式估计产品参数偏离标准值一定范围的概率。
2. 数据分析：对于缺乏分布信息的随机变量，切比雪夫不等式提供了一个分布无关的概率界限。
3. 金融领域：用于估算金融资产回报率偏离期望值的概率。

---

直观理解

切比雪夫不等式的保守性体现在其仅利用方差和期望的信息，而不依赖分布的形状。例如：

• $k=2$：表示偏离期望值至少2个标准差的概率不会超过$\frac{1}{4}=25\%$。
• $k=3$：表示偏离期望值至少3个标准差的概率不会超过$\frac{1}{9}\approx 11.1\%$。

切比雪夫不等式保证了对极端值概率的一个上界，但这个界限通常较为宽松。

切比雪夫不等式有多种通用形式，适用于不同的随机变量表达方式。以下是几种常见形式：

---

1. 标准形式（经典形式）

$$P(|X-\mu |\ge k\sigma )\le \frac{1}{k^2},k>0.$$

其中：

• $\mu =\mathbb{E}[X]$：随机变量的期望
• ${\sigma }^2=\text{Var}(X)$：随机变量的方差
• $k$：偏离标准差的倍数

这是最常用的切比雪夫不等式形式，表明随机变量偏离其期望值的概率不会超过某一上界。

---

2. 分布无关形式

对于任意随机变量$X$，具有有限的期望$\mu$和方差${\sigma }^2$：

$$P(|X-a|\ge b)\le \frac{{\sigma }^2}{b^2},b>0.$$

• $a$：可以是任意常数（通常取为$\mu =\mathbb{E}[X]$）。
• $b$：表示偏离的范围。

这是一种更广义的形式，适用于任何常数中心点$a$。

---

3. 非对称形式

对于随机变量$X$和任意正数$ϵ>0$，我们可以对正负偏差进行不同的估计：

• 正偏差（右尾概率）：
  $$P(X-\mu \ge ϵ)\le \frac{\text{Var}(X)}{{ϵ}^2}.$$
• 负偏差（左尾概率）：
  $$P(X-\mu \le -ϵ)\le \frac{\text{Var}(X)}{{ϵ}^2}.$$

这两个不等式将切比雪夫不等式拆分成单侧偏差的概率估计。

---

4. 概率离散化形式

设随机变量$X$的概率分布是离散的，且具有有限的数学期望和方差，则切比雪夫不等式可以写成：

$$\sum _{|X-\mu |\ge k\sigma }P(X)\le \frac{1}{k^2}.$$

• 这里的${\sum }_{|X-\mu |\ge k\sigma }$表示所有使得随机变量$X$偏离其期望值$\mu$至少$k\sigma$的离散值的概率总和。

---

5. 归一化形式（标准正态化）

将随机变量$X$标准化为零均值单位方差的形式$\frac{X-\mu }{\sigma }$，切比雪夫不等式可以写为：

$$P\left(\left|\frac{X-\mu }{\sigma }\right|\ge k\right)\le \frac{1}{k^2},k>0.$$

这一形式特别适合对归一化随机变量进行概率界限的估计。

---

6. 期望导出形式

对于非中心点的偏差概率（例如偏离一个常数$a$）：

$$P(|X-a|\ge ϵ)\le \frac{\mathbb{E}[(X-a{)}^2]}{{ϵ}^2},ϵ>0.$$

此形式直接利用二阶矩$\mathbb{E}[(X-a{)}^2]$，可以灵活应用于非对称分布或不同的中心点。

---

总结

这些形式的核心思想是一致的：用有限的期望和方差信息估计随机变量偏离的概率。根据具体问题的背景（对称性、中心点选择、分布特性等），可以选择合适的形式。