正向KL散度、反向KL散度、对称KL散度

KL散度是变分推断和信息论中的核心概念。KL散度基础KL散度Kullback-Leibler Divergence衡量两个概率分布PPP和QQQ之间的差异定义为DKL(P∥Q)∫p(x)log⁡p(x)q(x)dxEx∼P[log⁡p(x)q(x)]D_{KL}(P \parallel Q) \int p(x) \log \frac{p(x)}{q(x)} dx \mathbb{E}_{x \sim P}\left[\log \frac{p(x)}{q(x)}\right]DKL​(P∥Q)∫p(x)logq(x)p(x)​dxEx∼P​[logq(x)p(x)​]KL散度不是对称的DKL(P∥Q)≠DKL(Q∥P)D_{KL}(P \parallel Q) \neq D_{KL}(Q \parallel P)DKL​(P∥Q)DKL​(Q∥P)这引出了两种不同方向的变体。1. 正向KL散度Forward KL定义DKL(P∥Q)Ex∼P[log⁡p(x)q(x)]D_{KL}(P \parallel Q) \mathbb{E}_{x \sim P}\left[\log \frac{p(x)}{q(x)}\right]DKL​(P∥Q)Ex∼P​[logq(x)p(x)​]别名Inclusive KL包容性KLMoment-matching矩匹配I-projection信息投影核心特性特性说明期望采样从真实分布PPP采样优化目标在PPP有质量的地方QQQ必须有质量零避免P(x)0P(x) 0P(x)0时要求Q(x)0Q(x) 0Q(x)0行为模式覆盖模式Covering Mode这意味着 Q 必须覆盖所有 P 有概率的区域【mass-covering】不能漏掉任何模式【zero-avoiding】否则 KL散度就会无限大。反过来对于P(x)0但Q(x)0的区域正向KL惩罚很小。所以 Q 可以在 P 支撑集外随意取值只要不牺牲对 P 内部的拟合。直观理解正向KL要求QQQ覆盖PPP的所有支持区域。如果PPP在某处有概率质量QQQ也必须在那里有质量否则会产生无穷大的惩罚log⁡p0∞\log \frac{p}{0} \inftylog0p​∞。变分推断中的应用在变分自编码器VAE的标准形式中使用LELBOEq(z∣x)[log⁡p(x∣z)]−DKL(q(z∣x)∥p(z))\mathcal{L}_{ELBO} \mathbb{E}_{q(z|x)}[\log p(x|z)] - D_{KL}(q(z|x) \parallel p(z))LELBO​Eq(z∣x)​[logp(x∣z)]−DKL​(q(z∣x)∥p(z))这里用正向KL约束后验q(z∣x)q(z|x)q(z∣x)接近先验p(z)p(z)p(z)导致q(z∣x)q(z|x)q(z∣x)倾向于覆盖先验的全部区域。正向 KL 散度具有“zero forcing”的特性这种逼近方式对于模型外推性要求高的任务非常重要。2. 反向KL散度Reverse KL定义DKL(Q∥P)Ex∼Q[log⁡q(x)p(x)]D_{KL}(Q \parallel P) \mathbb{E}_{x \sim Q}\left[\log \frac{q(x)}{p(x)}\right]DKL​(Q∥P)Ex∼Q​[logp(x)q(x)​]别名Exclusive KL排他性KLMode-seeking模态寻找M-projection矩投影核心特性特性说明期望采样从近似分布QQQ采样优化目标在QQQ有质量的地方PPP必须有质量零允许QQQ可以在PPP为零的地方为零行为模式模态寻找模式Mode-Seeking Modezero-forcing特性它会强迫 Q 在 P 概率密度低的地方取零值从而 Q 的支撑集是 P 支撑集的子集。这对于外推性要求高的任务非常重要因为模型不会在未见过的输入区域随意给出高概率避免过度自信的外推。外推性要求高的任务例如在训练数据分布之外进行预测如物理模拟、风险建模、序列预测等需要模型保持保守当输入远离训练数据时模型应该输出低置信度或接近先验而不是给出高概率的猜测。如果使用 mass-covering正向 KL覆盖所有模式近似分布 Q 会在 P 的支撑集外也分配一些概率这可能导致在外推区域给出非零甚至较大的概率值造成“过度外推”。如果使用 zero-forcing反向 KLQ 在 P 概率极低的区域会被强迫置零因此对于训练分布以外的输入模型会输出非常低的概率或高不确定性。这符合安全外推的需求不知道就是不知道不要瞎猜。直观理解反向KL允许QQQ忽略PPP的某些模态。只要QQQ放置质量的地方PPP也有质量即可QQQ可以只拟合PPP的某一个或几个主要模态。典型应用生成对抗网络GAN隐式最小化DKL(pdata∥pmodel)D_{KL}(p_{data} \parallel p_{model})DKL​(pdata​∥pmodel​)的变体变分推断中的IWAE重要性加权自编码器强化学习策略优化中的TRPO/PPO算法3. 对称KL散度Symmetric KL / Jeffreys Divergence定义为了克服KL散度的不对称性定义对称版本J(P,Q)DKL(P∥Q)DKL(Q∥P)\mathcal{J}(P, Q) D_{KL}(P \parallel Q) D_{KL}(Q \parallel P)J(P,Q)DKL​(P∥Q)DKL​(Q∥P)∫(p(x)−q(x))log⁡p(x)q(x)dx \int (p(x) - q(x)) \log \frac{p(x)}{q(x)} dx∫(p(x)−q(x))logq(x)p(x)​dx别名Jeffreys散度Jeffreys DivergenceJ散度双向KL核心特性特性说明对称性J(P,Q)J(Q,P)\mathcal{J}(P, Q) \mathcal{J}(Q, P)J(P,Q)J(Q,P)✓惩罚强度对差异的双向惩罚数学形式结合了覆盖和模态寻找的特性计算成本需要计算两个方向的KL应用场景统计检验作为距离度量更公平分布对齐需要双向约束的任务最优传输与Wasserstein距离的替代方案三种KL散度的对比图示左反向KL右正向KLVAE用正向KL → 潜在空间要覆盖所有可能的编码GAN用反向KL → 生成器只关注生成最逼真的样本一个模态关键差异总结维度正向KLDKL(P∥Q)D_{KL}(P\parallel Q)DKL​(P∥Q)反向KLDKL(Q∥P)D_{KL}(Q\parallel P)DKL​(Q∥P)对称KLJ(P,Q)\mathcal{J}(P,Q)J(P,Q)采样来源真实分布PPP近似分布QQQ两者都需要零惩罚QQQ不能为零P0P0P0处PPP不能为零Q0Q0Q0处双向约束典型行为覆盖所有模态锁定单一模态折中方案方差特性高估方差低估方差适中估计优化难度通常更易优化可能更稳定计算成本高主要应用VAE, 变分推断GAN, 模式寻找统计距离度量实际选择指南需要完整分布表示→ 使用正向KL如VAE的潜在空间学习需要高质量样本→ 使用反向KL如GAN生成清晰图像需要公平距离度量→ 使用对称KL或考虑Wasserstein距离多模态分布→ 正向KL避免模态坍塌反向KL可能丢失模态这三种KL散度的选择直接决定了概率模型是追求全面覆盖还是精确拟合是生成模型和推断算法设计的核心考量。附录补充信息变分推断变分推断是一种用于近似复杂概率模型中无法直接计算的后验分布的机器学习方法。当我们根据观测数据去推断未知变量比如模型参数的概率分布时根据贝叶斯公式这个后验分布的计算往往涉及高维积分在数学上难以处理或计算量极大。变分推断的做法是从一组已知的、简单的分布族中挑选一个最接近真实后验分布的分布来作为近似。它的核心思想可以概括为三步1.设定一个候选分布族比如高斯分布族。这个分布族形式上简单、易于计算。2.定义一个衡量两个分布接近程度的指标。通常使用KL散度Kullback-Leibler divergence它衡量了候选分布与真实后验分布之间的差异。3.通过优化找到最优候选分布。调整候选分布的参数使其与真实后验分布的KL散度最小化。这个优化过程通常利用证据下界来间接进行。