随机变量的变量替换——归一化流和直方图规定化的数学基础

变量替换是一种在统计学和数学中广泛应用的技术，它通过定义新的变量来简化问题，使得原本复杂的随机变量变得更加容易分析。

变量替换的公式，用于将一个随机变量 $X$ 的概率密度函数 $f_X$ 转换为其经过函数 $g$ 变换后的随机变量 $Y=g(X)$ 的概率密度函数 $f_Y$。

定理（变量替换公式）

设 $X$ 是一个概率密度函数为 $f_X$ 的连续型随机变量，并设存在一个区间 $I\subset \mathbb{R}$ 使得当 $x\notin I$ 时，$f_X(x)=0$ （换句话说，$X$ 只有在 $I$ 中取值时，其概率密度函数才可能不为零，其中 $I$ 可以是整个实直线）。设 $g:I\to \mathbb{R}$ 是一个可微函数，其反函数是 $h$。除了在有限个点处的导数值可能为零外，$g$ 的导数在 $I$ 中始终为正或者始终为负。如果令 $Y=g(X)$，那么通过函数 $g$ 我们由随机变量 $X$ 的概率密度函数得到随机变量 $Y$ 的概率密度函数：

$$f_Y(y)=f_X(h(y))\cdot |h^{\prime }(y)|$$

这意味着，如果我们有一个连续型随机变量 $X$，并且我们知道它的概率密度函数 $f_X(x)$，然后我们将 $X$ 经过一个可微函数 $g$ 变换得到新的随机变量 $Y=g(X)$，那么 $Y$ 的概率密度函数 $f_Y(y)$ 可以通过以下方式计算：

1. 找到 $g$ 的反函数 $h$，即 $h(y)$ 满足 $g(h(y))=y$；
2. 计算 $h(y)$ 的导数 $h^{\prime }(y)$；
3. 将 $f_X(x)$ 替换为 $f_X(h(y))$ 并乘以 $|h^{\prime }(y)|$ 得到 $f_Y(y)$。

这个定理告诉我们如何通过一个“合适”的函数 $g$ 将一个连续型随机变量 $X$ 的概率密度函数 $f_X$ 转换成另一个随机变量 $Y=g(X)$ 的概率密度函数 $f_Y$。

这个定理表明，当我们有一个连续型随机变量 $X$，并知道其概率密度函数 $f_X$，如果 $g$ 是一个“合适的”函数，那么我们肯定能够求出 $Y=g(X)$ 的概率密度函数 $f_Y$。这里的“合适”指的是 $g$ 必须满足以下条件：

1. $g$ 是可微的。
2. $g$ 的反函数 $h$ 存在。
3. $g$ 的导数在 $I$ 内部除有限个点外始终为正或始终为负。

这样，我们就可以使用变量替换公式将 $X$ 的概率密度函数 $f_X$ 转换为 $Y$ 的概率密度函数 $f_Y$，结果包含了 $f_X$ 和 $g$ 的组合式。这个公式告诉了我们这种转换的关系，并指出了哪些 $g$ 是“合适的”。

注意，这里提到的 $g$ 函数必须是可微的，并且其导数在给定区间内要么始终为正，要么始终为负，这是保证 $h$ 存在且唯一的一个必要条件。此外，$g$ 的导数在有限个点处可以为零，但在其他地方不能为零，否则 $h$ 不会是一个单射函数，也就无法定义反函数。

简而言之，变量替换公式提供了一种方法，让我们能够通过一个可微的映射函数 $g$ 把一个随机变量 $X$ 的概率密度函数转换为另一个随机变量 $Y=g(X)$ 的概率密度函数。

这个公式在概率论和统计学中非常重要，因为它允许我们通过简单的函数关系将复杂随机变量的概率密度函数转换成易于分析的形式。例如，在实际问题中，我们可能会遇到难以直接分析的概率密度函数，但是通过变量替换，我们可以将其转换为已知的概率密度函数，从而简化问题。

应用场景

1. 概率分布的变换：

   • 例如，如果有一个随机变量 $X$ 服从某种分布（如正态分布），我们可以通过定义一个新的变量 $Y=g(X)$ 来得到 $Y$ 的分布。这在计算某些复杂分布的概率密度函数（PDF）或累积分布函数（CDF）时非常有用。直方图规定化的数学基础。

2. 参数估计：

   • 在进行参数估计时，有时直接对原始变量进行估计比较困难。通过变量替换，可以将问题转化为更简单的形式，从而更容易地找到合适的估计方法。归一化流的数学基础。

3. 最优化问题：

   • 在最优化问题中，变量替换可以帮助将非线性问题转化为线性问题，或者将约束条件简化，从而更容易求解。

图中展示的是直方图规定化关于变量替换公式的说明。

禹晶、肖创柏、廖庆敏《数字图像处理（面向新工科的电工电子信息基础课程系列教材）》

具体步骤

1. 定义新变量：

   • 假设原始变量为 $X$，定义一个新的变量 $Y=g(X)$，其中 $g$ 是一个适当的函数。

2. 确定新变量的分布：

   • 如果 $X$ 的分布已知，可以通过变换公式推导出 $Y$ 的分布。例如，如果 $X$ 的概率密度函数为 $f_X(x)$，则 $Y$ 的概率密度函数 $f_Y(y)$ 可以通过以下公式计算：
     $$f_Y(y)=f_X(g^{-1}(y))\left|\frac{d}{dy}{g}^{-1}(y)\right|$$
   • 这里 $g^{-1}$ 是 $g$ 的逆函数， $\left|\frac{d}{dy}{g}^{-1}(y)\right|$ 是雅可比行列式的绝对值。

3. 分析新变量：

   • 使用新变量 $Y$ 进行进一步的分析，如计算期望值、方差、概率等。

示例

假设 $X$ 服从标准正态分布 $N(0,1)$，我们定义一个新的变量 $Y=X^2$。那么 $Y$ 的分布可以通过以下步骤推导：

1. 定义新变量：

   • $Y=X^2$

2. 确定新变量的分布：

   • $X$ 的概率密度函数为 $f_X(x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}$
   • 由于 $Y=X^2$，所以 $X=\pm \sqrt{Y}$
   • 雅可比行列式 $\left|\frac{d}{dy}\sqrt{y}\right|=\frac{1}{2\sqrt{y}}$
   • 因此， $Y$ 的概率密度函数为：
     $$f_Y(y)=f_X(\sqrt{y})\left|\frac{1}{2\sqrt{y}}\right|+f_X(-\sqrt{y})\left|\frac{1}{2\sqrt{y}}\right|$$
     $$f_Y(y)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{y}{2}}\cdot \frac{1}{2\sqrt{y}}+\frac{1}{\sqrt{2\pi }}{e}^{-\frac{y}{2}}\cdot \frac{1}{2\sqrt{y}}$$
     $$f_Y(y)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{y}{2}}\cdot \frac{1}{\sqrt{y}}$$
     $$f_Y(y)=\frac{1}{\sqrt{2\pi y}}{e}^{-\frac{y}{2}}$$

3. 分析新变量：

   • 通过上述推导，我们可以看到 $Y$ 服从卡方分布 ${\chi }^2(1)$。