A Survey of Knowledge-Enhanced Pre-trained Language Models

本文是LLM系列的文章，针对《A Survey of Knowledge-Enhanced Pre-trained Language Models》的翻译。

摘要

预训练语言模型（PLM）通过自监督学习方法在大文本语料库上进行训练，在自然语言处理（NLP）的各种任务中都取得了良好的性能。然而，尽管具有巨大参数的PLM可以有效地拥有从大量训练文本中学习到的丰富知识，并在微调阶段有利于下游任务，但由于缺乏外部知识，它们仍然存在一些局限性，如推理能力差。研究一直致力于将知识纳入PLM，以解决这些问题。在本文中，我们对知识增强预训练语言模型（KE-PLM）进行了全面的综述，以对这一蓬勃发展的领域提供清晰的见解。我们分别为自然语言理解（NLU）和自然语言生成（NLG）引入了适当的分类法，以突出NLP的这两个主要任务。对于NLU，我们将知识类型分为四类：语言知识、文本知识、知识图谱和规则知识。NLG的KE PLM分为基于KG的方法和基于检索的方法。最后，我们指出了KE PLM的一些有前景的未来方向。

1 引言

2 背景

3 KE-PLMs用于NLU

4 KE-PLMs用于NLG

5 未来的方向

在本节中，我们提出了未来KE PLM的一些可能的研究方向，这些方向可能会解决现有的问题和挑战。

5.1 整合来自同质和异质来源的知识

由于现有的工作大多只利用单一来源的知识，如知识图谱或网络资源，探索如何整合异构来源的知识仍然是未来研究的一个有价值的方向。
正如我们在上一节中所介绍的，一些先前的工作试图结合不同类型的知识来提高问答的性能。例如，UniKQA在知识库中集成了外部知识，包括文本、表和关系三元组。通过将知识库三元组和半结构化表等异构知识源线性化为文本的启发式方法，将知识库中涉及的结构化知识和文本中涉及的非结构化知识统一起来，扩展了外部知识的来源。UDT-QA将知识图谱和表格等结构化知识引入到开放域问答中，并将其转换为线性序列，作为文本生成任务的输入。
在开放域问答领域，提高PLM集成多个知识源的能力可以有效地增加知识覆盖率，使模型能够生成更可靠的答案。

5.2 探索多模态知识

目前的研究大多只关注多模态来源较少的文本知识。事实上，除了文本和列表信息之外，图像、视频和音频也可以成为PLM的知识来源，这可以进一步提高KE PLM的性能。
一些研究探索了整合多模态知识。代表作包括KB-VLP和ERNIE-VIL。KB-VLP基于输入的文本和图像从外部知识库中提取知识信息，并将知识作为额外的输入，以增强模型的语义对齐和知识感知能力。ERNIE-VIL将图像的输入描述文本解析为结构化场景图，并设计跨模态预训练任务，以关注视觉和语言模态之间的详细语义对齐。
由于图像和相关文本包含丰富的语义，注入这些不同的知识模式和对细节语义的关注可以使它们相互补充和增强，这将提高PLM在NLU和NLG任务中的性能。

5.3 提供可解释性证据

尽管许多现有的KE PLM在一系列文本生成任务上取得了巨大成功，但不应忽视的是，如果生成过程需要常识性知识推理，模型的性能将受到影响。
一些工作试图解决这个问题。例如，GRF利用外部知识图谱进行显式常识推理，并结合丰富的结构信息，以便在多个关系路径上执行动态多跳推理。在此过程中获得的推理路径为结果的生成提供了理论基础。这项工作表明，给出一条明确的推理路径将有助于提高模型的可解释性，使预测更加合理。

5.4 持续学习知识

现有工作通常在预训练阶段根据大量静态或未更新的数据进行训练。但模型在面对新任务时可能会忘记以前学到的原始知识，这使它们容易受到一种称为灾难性遗忘问题的现象的影响。随着异质性知识的不断增长，探索使模型在掌握新知识的同时不忘记过去学到的知识的方法，需要不断学习（也称为终身学习）来不断整合各种知识。
ELLE提出了一个维护网络功能的扩展模块，以扩展模型的宽度和深度，使模型能够有效地获取新知识，同时在更大程度上保留旧知识。K-adapter和KB-adapter将适配器添加到PLM中，以存储事实和语言知识，从而不断地将更多的知识融入PLM中。
不断地整合知识是未来研究的一个很有前途的方向。持续和不断增加的预训练的应用将有效地提高PLM的普遍性，并在融入更多知识的同时解决灾难性遗忘问题。

5.5 优化将知识整合到大型模型中的效率

近年来，预训练模型和知识注入的规模越来越大，从而给计算效率和计算资源带来了不可忽视的严峻挑战。尽管现有的大多数工作在各种预训练任务中都取得了良好的效果，但很少有研究提到在此过程中知识融合的成本。
鉴于这一挑战，我们提出以下两个可能的方向，可能值得进一步探索：一是提高知识获取和过滤的效率，二是优化计算负担。
现有的工作，如ZeRO，已经在第二个领域进行了探索。基于传统的数据并行训练模式，ZeRO通过将模型的参数、梯度和优化器状态划分为不同的过程，深度优化冗余空间，消除冗余占用的内存。

5.6 增加生成的结果的多样性

生成替代输出或预测真实情况下的所有可能结果是NLG的一个重要研究方向，这也是生成常识推理任务中输出多样性的目的。现有的工作，如MoKGE，使用常识知识图谱的多样化知识推理来完成NLG的多样化生成。基于对人类注释的观察，将与原始输入相关的概念关联到生成过程中，并使用专家方法的混合生成多样化的合理输出，从而增加生成结果的多样性。

6 结论

在这项调查中，我们从NLU和NLG的角度对KEPLM进行了全面的综述，并分别为NLU和NLG提出了适当的分类法，以突出它们的不同重点。我们还讨论了分类法中的代表作。最后，针对存在的问题和挑战，我们讨论了KE PLMs未来潜在的研究方向，希望能促进这一领域的相关研究。