Generate-on-Graph

摘要

为了解决大型语言模型（LLMs）在知识不足和幻觉问题上的困扰，众多研究探索了将LLMs与知识图谱（KGs）结合的方法。然而，这些方法通常在完整的知识图谱问答（KGQA）上进行评估，其中每个问题所需的所有事实三元组都被给定的知识图谱完全覆盖。在这种情况下，LLMs主要作为代理在知识图谱中找到答案实体，而不是有效地整合LLMs的内部知识和外部知识源，例如知识图谱。实际上，知识图谱常常是不完整的，无法涵盖回答问题所需的所有知识。为了模拟这些现实世界的场景并评估LLMs整合内部和外部知识的能力，我们提出利用LLMs进行不完整知识图谱（IKGQA）下的问答，其中提供的知识图谱缺少每个问题所需的一些事实三元组，并构建相应的数据集。为了处理IKGQA，我们提出了一种无需训练的方法，称为生成于图（GoG），它可以在探索知识图谱的同时生成新的事实三元组。具体来说，GoG通过一个思考-搜索-生成框架进行推理，该框架将LLM视为IKGQA中的代理和知识图谱。实验结果在两个数据集上表明，我们的GoG优于所有先前的方法。

1 引言

大型语言模型（LLMs）在各种自然语言处理（NLP）任务中取得了巨大成功。得益于广泛的模型参数和大量的预训练语料库，LLMs可以通过提示学习工程师和上下文学习（Dong et al., 2023）来解决复杂的推理任务，而无需针对特定任务的微调。然而，LLMs仍然存在知识不足和幻觉问题（Huang et al., 2023; Li et al., 2023a），如图1（a）所示。
为了减轻这些问题，许多将LLM与知识图谱（KGs）结合起来的方法被提出（Ji et al., 2021）（Pan et al., 2023），其中知识图谱以三元组格式提供准确的事实知识，而LLMs提供强大的语言处理和知识整合能力。这些工作大致可分为两类，如图2所示：（1）语义解析（SP）方法（Li et al., 2023c; Luo et al., 2024），它们使用LLMs将自然语言问题转换为逻辑查询，然后通过在知识图谱上执行这些逻辑查询来获得答案。（2）检索增强（RA）方法（Li et al., 2023d），从知识图谱中检索与问题相关的信息作为外部知识，以指导LLMs生成答案。
语义解析方法将LLMs专门视为解析器，这严重依赖于知识图谱的质量和完整性（Sun et al., 2023）。尽管检索增强方法声称解决了语义解析方法的缺点，并在传统的知识图谱问答（KGQA）上取得了良好的性能（Yih et al., 2016a），但仍然很难验证它们是否真的整合了来自知识图谱和LLMs的知识。一个关键原因是，在传统的KGQA任务中，每个问题所需的事实三元组都被知识图谱完全覆盖。例如，在图1（b）中的问题是“苹果总部所在地区是什么时区？”LLMs只需要从“苹果总部”开始，依次选择关系谓词“位于”和“时区”来找到答案。这意味着，在这种情况下，LLMs只需要将问题中提到的关系锚定到知识图谱中的具体关系谓词上，就可以找到答案实体“太平洋标准时间”，而不需要真正整合内部和外部知识。然而，一方面，知识图谱常常是不完整的，无法涵盖现实世界场景中回答问题所需的所有知识。例如，在图1（c）中的同样问题，关键的三元组（库比蒂诺，时区，太平洋标准时间）在知识图谱中不存在。另一方面，LLMs包含丰富的知识内容，并具有强大的推理能力。例如，LLMs通常知道一个城市的时区。这引发了研究问题：LLMs能否与不完整的知识图谱结合以回答复杂问题？为了回答这个问题，本文首先提出了一个新的基准，利用LLMs在不完整的知识图谱下进行问答（IKGQA），以模拟现实场景。我们基于现有的公共KGQA数据集构建IKGQA数据集，并通过不同概率随机删除三元组来模拟不同程度不完整的知识图谱。与常规的KGQA不同，IKGQA中相应的知识图谱没有包含每个问题所需的所有事实三元组。这意味着语义解析方法可能无法检索到最终答案，即使生成了正确的SPARQL查询1。此外，以前的检索增强方法在不完整的知识图谱下也无法很好地执行，因为它们仍然严重依赖于检索到的路径，更多细节在附录B中。与KGQA相比，IKGQA具有更大的研究意义，原因如下：（1）它更接近于给定知识图谱不完整，无法回答用户问题的现实世界场景。（2）它可以更好地评估LLMs整合内部和外部知识的能力。我们还提出了一种名为生成于图（GoG）的新方法来处理IKGQA，如图2（c）所示，它不仅将LLM视为探索给定知识图谱以检索相关三元组的代理，而且还作为知识图谱生成额外的事实三元组以回答这个问题。

具体来说，GoG采用了一个思考-搜索-生成框架，包括三个主要步骤：（1）思考：LLMs分解问题，并根据当前状态决定是否进行进一步搜索或生成相关三元组。（2）搜索：LLMs使用预定义的工具，例如执行SPARQL查询的知识图谱工程师，来探索知识图谱并过滤掉不相关的三元组。（3）生成：LLMs利用其内部知识和推理能力，根据探索的子图和验证它们来生成所需的新事实三元组。GoG将重复这些步骤，直到获得足够的信息来回答这个问题。代码和数据可在https://github.com/YaooXu/GoG找到。本文的主要贡献可以总结如下：

我们提出利用LLMs在不完整的知识图谱（IKGQA）下进行问答以更好地评估LLMs的能力，并基于现有的KGQA数据集构建相应的IKGQA数据集。

我们提出了生成于图（GoG），它使用思考-搜索-生成框架来解决IKGQA。

实验结果在两个数据集上显示了GoG的优越性，并证明了LLMs可以与不完整的知识图谱结合以回答复杂问题。

2 相关工作

在不完整知识图谱下的问题回答。一些先前的工作[20][21][22][23]尝试训练知识图谱嵌入，以预测在不完整知识图谱下通过相似性分数得到的答案。与这些基于知识图谱嵌入（KGE）的先前工作相比，我们提出利用LLMs在不完整的知识图谱下进行问答，以研究LLMs是否能够很好地整合内部和外部知识。

统一知识图谱和LLMs进行知识图谱问答。已经提出了各种方法将知识图谱和LLMs统一起来解决知识图谱问答，这些方法可以分为两类：语义解析（SP）方法和检索增强（RA）方法。SP方法使用LLMs将问题转换为结构化查询。然后，这些查询可以由知识图谱引擎执行，以基于知识图谱得出答案。这些方法首先生成初步的逻辑形式作为草稿，然后使用实体和关系绑定器，例如KB-BINDER[24]和ChatKBQA[25]，将草稿绑定到可执行的查询上。然而，这些方法的有效性在很大程度上依赖于生成的查询的质量和知识图谱的完整性。RA方法从知识图谱中检索相关信息以提高推理性能[26]。ToG[27]将LLM视为一个代理，逐步交互式地探索知识图谱上的关系路径，并基于检索到的路径进行推理。RoG[28]首先生成关系路径作为忠实的计划，然后使用它们来从知识图谱中检索有效的推理路径，供LLMs进行推理。Readi[29]生成一个推理路径，并且仅在必要时编辑该路径。Salnikov等人提出了一种“生成然后选择”的方法，首先使用LLMs直接生成答案，然后构建子图，并选择最有可能包含正确答案的子图[30]。我们的GoG属于检索增强方法，我们也利用了LLMs的知识建模能力，这与GAG[31]也相似。

通过提示激发LLMs的推理。许多工作已经提出，通过提示激发LLMs的推理能力，以解决复杂任务[32][33]。Complex CoT[34]创建并提炼具有更多推理步骤的推理示例，以激发LLMs更好的推理能力。Self-Consistency[35]充分探索各种推理方式，以提高它们在推理任务上的性能。DecompP[36]通过将复杂任务分解为更简单的子任务，并将这些子任务委托给特定子任务的LLMs来解决复杂任务。ReAct[37]将LLM视为代理，与环境互动并做出决策，以从外部源检索信息。GoG可以被视为ReAct和DecompP的融合，从而实现更全面地利用LLMs内部的多样化能力来解决复杂问题。

4 不完整知识图谱问答（IKGQA）

4.1 任务介绍

4.2 数据集构建

目前，尚无现成的IKGQA数据集。在本文中，为了促进相关研究，我们基于两个广泛使用的知识图谱问答数据集：WebQuestionSP（WebQSP）（Yih et al., 2016b）和Complex WebQuestion（CWQ）（Talmor and Berant, 2018），构建了两个IKGQA数据集。这两个数据集都使用Freebase作为它们的背景知识图谱。为了模拟不完整的知识图谱，我们从原始知识图谱中随机删除了一些关键三元组，这些三元组出现在每个问题的黄金关系路径中。通过这样做，简单的语义解析方法几乎无法获得正确的答案。为了节省计算成本，我们从这两个数据集中随机选取了1,000个样本来构建IKGQA问题。生成问题的关键三元组的过程如图1所示。

5 Generate-on-Graph (GoG)

在本节中，我们介绍我们的方法Generate-on-Graph（GoG），它可以整合知识图谱和LLMs的知识，并利用LLMs的推理能力。GoG的工作流程如图3©所示。GoG采用了思考-搜索-生成框架，由三个主要步骤组成：思考、搜索和生成。