【论文+源码】Diffusion-LM 改进了可控文本生成

这篇论文探讨了如何在不重新训练的情况下控制语言模型（LM）的行为，这是自然语言生成中的一个重大开放问题。尽管近期一些研究在控制简单句子属性（如情感）方面取得了成功，但在复杂的细粒度控制（如句法结构）方面进展有限。为了解决这个挑战，研究者们开发了一种新的基于连续扩散的非自回归语言模型，称为Diffusion-LM。

Diffusion-LM借鉴了扩散模型在连续领域的成功，逐步将一系列高斯向量去噪，最终生成词向量，从中获得一系列中间潜变量。这些中间变量的连续和层次化特性，使得可以使用简单的基于梯度的算法执行复杂的可控生成任务。研究结果表明，Diffusion-LM在六个具有挑战性的细粒度控制任务上表现出成功，显著优于之前的工作。

这篇论文的主要创新点包括：

引入Diffusion-LM：开发了一种新的非自回归语言模型，Diffusion-LM，基于连续扩散的原理。这种模型利用扩散模型在处理连续数据方面的成功，将其应用于语言生成任务中。

层次化的中间潜变量：Diffusion-LM通过迭代地将高斯向量去噪，并生成一系列中间潜变量。这种连续和层次化的表征允许模型在生成过程中保持丰富的控制能力，使得实现复杂的生成任务变得可行。

简单的梯度控制方法：与以往的方法相比，Diffusion-LM能够使用简单的梯度基础算法执行复杂的可控生成，提供了一种新颖且有效的方式来控制语言生成的细节。

优越的性能：论文中展示了Diffusion-LM在六个具有挑战性的细粒度控制任务上表现出色，显著优于之前的工作，展示了其在复杂控制任务中的潜力。

论文：https://arxiv.org/pdf/2205.14217.pdf
项目代码：https://github.com/XiangLi1999/Diffusion-LM/tree/main