KG-CoT：基于知识图谱的大语言模型问答的思维链提示

一些符号定义

知识图谱实体数量：$n$
知识图谱中关系类型数量：$m$
三元组矩阵： M ∈ { 0 , 1 } n × n × m \textbf{M} \in \{0, 1\}^{n \times n \times m} M∈{0,1}n×n×m，$M_{ij}^k=1$则说明实体$i$和实体$j$之间具有关系$k$。
输入问题$q$：输入的问题
初始实体表示向量 e 0 ∈ { 0 , 1 } n \textbf{e}^0 \in \{0,1\}^n e0∈{0,1}n，如果输入问题q中存在实体i，则$e_i^0=1$

分步 图推理模型：Step-by-Step Graph Reasoning Model

第一步：关系评分计算（Relation Score Calculation）：计算每一步推理的关系得分

$Encoder$：文本编码器，例如bert，利用它得到整段文本的表示$\text{q}$和所有字符的表示 $h_1,...,h_{|q|}$
$f^t$：推理第$t$步的编码器（MLP+tanh映射）
${\text{q}}^t$：推理第$t$步的文本表示
${\text{R}}^t$：推理第$t$步的关系评分

第二步：分步推理（Step-by-Step Reasoning）：计算每个实体的评分

根据关系评分为实体之间的权重赋值
$$W_{ij}^t=\{\begin{array}{ll}{R}_k^t& M_{ij}^k=1\\ 0& \text{Otherwise,}\end{array}$$

根据每一步的实体间权重，从初始实体${\text{e}}^0$开始，得到每一步推理的实体权重，最后通过注意力机制汇总所有的推理步，得到所有实体的评分$\bar{\mathbf{e}}$。

$$\begin{gathered} {\mathbf{e}}^t={\mathbf{e}}^{t-1}{\mathbf{W}}^t \\ \beta =\text{Softmax}(\text{MLP}(\mathbf{q})), \\ \bar{\mathbf{e}}=\sum _{t=1}^T{\beta }_t{\mathbf{e}}^t, \end{gathered}$$

第三步：训练
$$\mathcal{L}=\Vert \bar{\text{e}}-\text{a}{\Vert }^2.$$
其中$\text{a}$为候选答案实体。

推理路径生成算法：Reasoning Path Generation Method

步骤1：从知识图谱实体集合中抽取评分($\bar{\mathbf{e}}$)前TopK大（之后有不同K取值的对比实验）的实体集合${\text{E}}^k$。
步骤2：从问题q中的实体开始，向外拓展抽取一跳/两跳路径，需要满足$W_{ij}^1,W_{ij}^1$均大于0，并且推理结束实体在${\text{E}}^k$集合中。
$$\begin{gathered} p_{ij}^1=⟨E_i,Re{l}_{ij},E_j,[W_{ij}^1]⟩ \\ {p}_{ik}^2=⟨E_i,Re{l}_{ij},E_j,Re{l}_{jk},E_k,[W_{ij}^1,W_{ij}^2]⟩ \end{gathered}$$
步骤3：计算路径的平均W分数作为路径分数，对每个结束实体，挑选路径分数前N大（之后有不同N取值的对比实验）的路径作为大模型的提示模版。

联合推理：Joint Reasoning

将推理路径生成算法得到的推理路径转为文本模版，加入大模型提示中，回答问题。

实验

数据集

WebQSP：WebQSP是一个知识密集型的多跳问题回答基准测试。它包含4037个问题，都是基于FreeBase的1跳或2跳问题。基于之前的工作，在问题实体的2跳邻域内检索知识三联体，并生成一个包含1886684个实体、1144个关系和5780246个知识三联体的知识子图。

CompWebQ：CompWebQ是一个多跳的问题回答基准。它包含34,672个问题，有许多跳跃和约束，这使得llm的处理具有挑战性。他们利用[Shi et al.，2021]中检索到的知识子图，并利用原始数据分割进行评估。

Simple Questions：Simple Questions是一个单跳的问题回答基准。问题是基于来自FreeBase的信息而产生的，最终，在本研究中产生了108,442个严重依赖于事实知识的问题。他们随机选择1000个问题，检索问题实体的1跳邻域进行评估。

WebQuestions：WebQuestions是一个具有挑战性的自主领域的问题回答基准。它包含5,810个问题，以自由库作为知识库。对于每个问题，我们检索问题实体的2跳邻域，并利用原始数据分割进行评估。

实验结果

研究不同基座模型对实验效果的影响

对比不同检索器

研究超参数K和超参数N对实验结果的影响

示例

优势：计算更快，节省大模型资源

创新点

提出了一套可训练子图抽取算法，能够结合根据问题得到需要查询关系类型，进而生成许多推理路径。

可能的改进点

1. 得到问题 第t步 表示的时候，我认为也需要考虑前t-1步推理路径加入到运算中。

2. 该方法适用场景受限，由于第一阶段只是对关系类型进行打分，然后将关系分数分配给实体。如果图谱中关系类型很少，三元组数目很多，那么在第二阶段挑选TopK实体的时候，可能会面临很多实体同分的状况，无法挑选合适的实体。除此以外，从问题中可能抽取多个不同的实体，如果分配相同的下一跳关系权重的话，也是不合适的。