Knowledge Graph Prompting for Multi-Document Question Answering

本文是LLM系列文章，针对《Knowledge Graph Prompting for Multi-Document Question Answering》的翻译。

摘要

大型语言模型的“预训练、提示、预测”范式在开放领域问答（OD-QA）中取得了显著的成功。然而，很少有工作在多文档问答（MD-QA）的场景中探索这种范式，这项任务需要彻底理解不同文档的内容和结构之间的逻辑关联。为了填补这一关键空白，我们提出了一种知识图谱提示（KGP）方法，用于在MDQA的LLM提示中制定正确的上下文，该方法由图构建模块和图遍历模块组成。对于图的构建，我们在多个文档上创建一个知识图谱（KG），其中节点象征段落或文档结构（例如，页面/表格），边表示段落或文档内结构关系之间的语义/词汇相似性。对于图遍历，我们设计了一个LM引导的图遍历器，它在节点之间进行导航，并收集辅助MD-QA中LLM的支持段落。构建的图作为全局标尺，调节段落之间的过渡空间，减少检索延迟。同时，LMguided遍历器充当本地导航器，收集相关上下文以逐步处理问题并保证检索质量。大量实验强调了KGP对MD-QA的有效性，表明了利用图增强LLM提示设计的潜力。我们的代码位于https://github.com/YuWVandy/KG-LLM-MDQA.

1 引言

2 符号

3 知识图谱构建

4 LM引导的图形遍历器

5 实验

6 相关工作

7 结论

回答多文档问题需要跨各种模式从不同文档中进行知识推理和检索，这给LLM应用“预训练、提示和预测”范式带来了挑战。认识到段落之间的逻辑关联和文档中的结构关系可以统一为图形表示，我们提出了一种知识图谱提示方法（KGP）来帮助MDQA中的LLM。KGP从具有描述句子或文档结构的节点和表示其词汇/语义相似性或结构关系的边的文档中构建KGs。由于构建的KGs可能包含不相关的邻居信息，我们进一步设计了一个LM引导的图遍历器，该遍历器在处理该问题时选择性地访问最有希望的节点。未来，我们计划研究LLM理解图拓扑的能力，并探索微调/提示LLM编码隐藏在图中的复杂拓扑信号的潜力。