可信和可解释的大语言模型推理-RoG

大型语言模型（LLM）在复杂任务中表现出令人印象深刻的推理能力。然而，LLM在推理过程中缺乏最新的知识和经验，这可能导致不正确的推理过程，降低他们的表现和可信度。知识图谱(Knowledge graphs, KGs)以结构化的形式存储了大量的事实，为推理提供了可靠的知识来源。然而，现有的基于KG的LLM推理方法只将KG作为事实知识库，忽略了其结构信息对推理的重要性。本文提出了一种称为图谱推理(RoG)的新方法，该方法将LLM与KGs协同使用，以实现可信和可解释的推理。

1 三个步骤

推理图（Reasoning on Graphs, RoG）提出了一个计划-检索-推理框架，该框架的核心流程包括以下几个步骤：

规划生成（Planning Generation）：给定一个问题，首先使用大型语言模型（LLM）生成若干个基于知识图谱（KG）的关系路径作为推理规划。这些关系路径捕捉了实体间的语义关系，并被用作推理答案的规划。

路径检索（Path Retrieval）：利用生成的推理规划，从知识图谱中检索有效的推理路径。这一步确保LLM能够获取最新的知识，并基于这些路径进行推理。

推理（Reasoning）：基于检索到的推理路径，LLM进行推理并生成答案，同时解释推理过程。

RoG不仅可以从KGs中提取知识，通过训练提高llm的推理能力，这个过程不仅提高了答案的可信度，还增强了解释性。还可以在推理过程中与任意llm无缝集成。

2 两个模块

RoG包含两个组成部分:1)一个规划模块，该模块生成以KGs为基础的关系路径作为可信规划;2)检索推理模块，首先根据计划从KGs中检索有效的推理路径，然后根据检索到的推理路径进行忠实推理，生成具有可解释解释的答案。

尽管LLM具有将关系路径生成为规划的优势，但LLM对KGs中包含的关系一无所知，因此LLM不能直接生成以KGs为基础的关系路径作为可信规划。此外，LLM可能无法正确理解推理路径，并基于它们进行推理。为了解决这些问题，RoG设计了两个指令调优任务:

规划模块优化，将KGs中的知识提取到LLM中以生成忠实关系路径作为规划;

检索-推理模块优化，使LLM能够基于检索到的推理路径进行推理。

3 结语

RoG通过将LLMs与KGs相结合，提出了一种新颖的规划-检索-推理框架，显著提高了LLMs的推理能力和可解释性，并在实验中展示了其在处理高风险场景（如法律判决和医疗诊断）中的潜力，通过提供最新的知识和避免推理过程中的幻觉，RoG提高了LLMs在这些场景中的性能和可信度。

论文题目：Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasonin
论文链接：https://arxiv.org/pdf/2310.01061（发表于ICLR2024）

PS: 欢迎大家扫码关注公众号^_，我们一起在AI的世界中探索前行，期待共同进步！