【机器学习分支】重要性采样（Importance sampling）学习笔记

重要性采样（importance sampling）是一种用于估计概率密度函数期望值的常用蒙特卡罗积分方法。其基本思想是利用一个已知的概率密度函数来生成样本，从而近似计算另一个概率密度函数的期望值。

想从复杂概率分布中采样的一个主要原因是能够使用式（11.1）计算期望。重要采样（importance sampling）的方法提供了直接近似期望的框架，但是它本身并没有提供从概率分布$p(z)$中采样的方法，也就是我们无法从式（11.1）直接过渡到(11.2)
$$\mathbb{E}[f]=\int f(z)p(z)dz\text{\hspace{1em}(11.1)}$$$$\hat{f}=\frac{1}{L}\sum _{l=1}^{L}f(z^{(l)})\text{\hspace{1em}(11.2)}$$公式（11.2）给出的期望的有限和近似依赖于能够从概率分布$p(z)$中采样。然而，假设直接从$p(z)$中采样无法完成，但是对于任意给定的$z$值，我们可以很容易地计算$p(z)$。一种简单的计算期望的方法是将$z$空间离散化为均匀的格点，将被积函数使用求和的方式计算，形式为
$$\mathbb{E}[f]\simeq \sum _{l=1}^{L}p(z^{(l)})f(z^{(l)})$$这种方法的一个明显的问题是求和式中的项的数量随着$z$的维度指数增长。此外，正如我们已经注意到的那样，我们感兴趣的概率分布通常将它们的大部分质量限制在$z$空间的一个很小的区域，因此均匀地采样非常低效，因为在高维的问题中，只有非常小的一部分样本会对求和式产生巨大的贡献。我们希望从$p(z)$的值较大的区域中采样，或理想情况下，从$p(z)f(z)$的值较大的区域中采样。

与拒绝采样的情形相同，重要采样基于的是对提议分布$q(z)$的使用，我们很容易从提议分布中采样，如下图所示：

重要采样解决的是计算函数$f(z)$关于分布$p(z)$的期望的问题，其中，从$p(z)$中直接采样比较困难。相反，样本$z^{(l)}$从一个简单的概率分布$q(z)$中抽取，求和式中的对应项的权值为$p(z^{(l)})/q(z^{(l)})$，这样就可以还原到从$p(z)$中取样。

上述过程中的式子，我们可以通过$q(z)$中的样本 { z ( l ) } \{z^{(l)}\} {z(l)}的有限和的形式来表示期望
$$\mathbb{E}=\int f(z)p(z)dz=\int f(z)\frac{p(z)}{q(z)}q(z)dz\simeq \frac{1}{L}\sum _{l=1}^L\frac{p(z^{(l)})}{q(z^{(l)})}f(z^{(l)})$$其中$r_l=p(z^{(l)})/q(z^{(l)})$被称为重要性权重（importance weights），修正了由于从错误的概率分布$q(z)$中采样引入的偏差。

对于上述过程，举个栗子：

我们的待计算函数为$h(x)=e^{-2|x-5|}$，待采样分布为$p(x)=\frac{1}{10},x\sim u(0,10)$,从$h(x)$的图像中明显可以看出，在中间部分的$h(x)p(x)$对期望贡献较大，而两边几乎可以忽略不计，所以此时使用均匀分布采样并不合理。

基于此，我们引入了新的采样分布函数$$q(x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{(x-5{)}^2}{2}}$$

这使得在$h(x)$较大的位置取值更多，需要的采样点更少。

而更常见的情形是，概率分布$p$的计算结果没有标准化，也就是$p(z)=\tilde{p}(z)/Z_p$中我们只知道$\tilde{p}(z)$，其中$\tilde{p}(z)$可以很容易地由$z$计算出来（可能没有函数表达式），而$Z_p$未知（$\tilde{p}(z)$无法积分算）。类似的，我们可能希望使用重要采样分布$q(z)=\tilde{q}(z)/Z_q$中的$\tilde{q}(z)$，它具有相同的性质。于是我们得到:
$$\mathbb{E}[f]=\int f(z)p(z)dz=\frac{Z_q}{Z_p}\int f(z)\frac{\tilde{p}(z)}{\tilde{q}(z)}q(z)dz\simeq \frac{Z_q}{Z_p}\frac{1}{L}\sum _{l=1}^L{\tilde{r}}_{l}f(z^{(l)})$$
其中${\tilde{r}}_l=\tilde{p}(z^{(l)})/\tilde{q}(z^{(l)})$。

我们还可以使用同样的样本集合来计算比值$Z_p/Z_q$，结果为：
$$\frac{Z_p}{Z_q}=\frac{1}{Z_q}\int \tilde{p}(z)dz=\int \frac{\tilde{p}(z)}{\tilde{q}(z)}q(z)dz\simeq \frac{1}{L}\sum _{l=1}^L{\tilde{r}}_l$$

第一个等式中$Z_p$用$\int \tilde{p}(z)dz$等价计算了出来，第二个等式中$Z_q$用$q(z)=\tilde{q}(z)/Z_q$替代

因此：
$$\mathbb{E}[f]\simeq \sum _{l=1}^L{w}_{l}f(z^{(l)})$$其中:$$w_l=\frac{{\tilde{r}}_l}{{\sum }_m{\tilde{r}}_m}=\frac{\tilde{p}(z^{(l)})/q(z^{(l)})}{{\sum }_m\tilde{p}(z^{(l)})/q(z^{(l)})}$$
这也就是我们最终要找样本点计算的式子
最终，我们达到了“利用一个已知的概率密度函数$q(z)$来生成样本，从而近似计算另一个概率密度函数的期望值$\mathbb{E}[f]=\int f(z)p(z)dz$”这一目的。

参考：

1. 【PRML】【模式识别和机器学习】【从零开始的公式推导】11.1.4重要性采样 11.1.5采样-重要性-重采样 11.1.6采样与EM算法
2. Importance Sampling - VISUALLY EXPLAINED with EXAMPLES!