论文阅读笔记 --- 图模互补：知识图谱与大模型融合综述 --- 按参考文献整理

• Large Language Models’ Understanding of Math: Source Criticism and Extrapolation
  • Submitted on 12 Nov 2023
  • 大模型在处理结构化推理方面（如解决数学问题[99]）表现不佳
• Tree of Thoughts: Deliberate Problem Solving with Large Language Models
  • Submitted on 17 May 2023 (v1), last revised 3 Dec 2023 (this version, v2)
  • https://github.com/princeton-nlp/tree-of-thought-llm
  • 思维树（ToT）
• Graph of Thoughts: Solving Elaborate Problems with Large Language Models
  • Submitted on 18 Aug 2023 (v1), last revised 6 Feb 2024 (this version, v4)
  • https://github.com/spcl/graph-of-thoughts
  • 思维图（GoT）
• CohortGPT: An Enhanced GPT for Participant Recruitment in Clinical Study
  • Submitted on 21 Jul 2023
  • 思维链是一种通过少样本示例提示来增强大型模型推理任务的方法，它能够通过生成中间推理步骤执行复杂的推理，例如CohortGPT[102]采用链式思维采样策略辅佐领域知识图增强大模型在医学领域推理能力。
• Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting
  • Submitted on 7 May 2023 (v1), last revised 9 Dec 2023 (this version, v2)
  • https://github.com/milesaturpin/cot-unfaithfulness
  • 然而，思维链模型在使用偏见特征时可能会导致推理结果受到影响[103]，改变其原本的方向。
• JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering
  • Submitted on 6 Dec 2021 (this version), latest version 2 May 2022 (v2)
  • https://github.com/yueqing-sun/jointlk
  • JointLK模型则是在QA-GNN模型上的优化，由于QA-GNN仅将QA上下文作为一个额外节点附加到知识图，无法完成双向交互。而JointLK通过密集的双向注意力模块实现语言模型和知识图谱的多步联合推理。具体来说，JointLK模型将任务文本信息与外部知识图谱数据这两种不同模态的信息结合起来，设计了一个联合推理模块，在每个问题标记和每个知识图谱节点之间生成细粒度的双向注意映射，实现不同模态信息的融合。同时，JointLK模型设计了一个动态图裁剪模块，通过移除无关的图节点进行去噪，以确保模型正确地使用完整和适当的证据进行推理。实验结果表明，JointLK在解决带有否定词的复杂推理问题方面表现出色。
• QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering
  • Submitted on 13 Apr 2021 (v1), last revised 13 Dec 2022 (this version, v5)
  • JointLK[104]和QA-GNN[105]则采用图神经网络（GNN）和知识图谱来提高模型推理能力。相较于以往文本与知识独立的模式，QA-GNN将问题上下文与检索到的知识连接起来，构成一个联合图。
• RoBERTa: A Robustly Optimized BERT Pretraining Approach
  • Submitted on 26 Jul 2019
  • https://github.com/facebookresearch/fairseq
  • 实验表明，相较于比RoBERTa[106]，QA-GNN表现出更好的效果。
• Deep Bidirectional Language-Knowledge Graph Pretraining
  • Submitted on 17 Oct 2022 (v1), last revised 19 Oct 2022 (this version, v2)
  • https://github.com/michiyasunaga/dragon
  • DRAGON[107]模型在文本和知识图的深度双向联合（QA-GNN）的基础上，采用自监督学习策略。通过统一两个自我监督的推理任务，包括掩码语言建模（MLM）和链接预测，DRAGON模型实现了对文本和知识图的全面预训练。这种自监督学习策略使得模型能够更好地理解文本和知识图之间的关系，从而更准确地进行推理。