纠错检索增广生成论文

一、摘要

动机：RAG严重依赖于检索文档的相关性，如果检索出错，那么LLM的输出结果也会出现问题

解决方案：提出纠正性检索增强生成（CRAG）即设计一个轻量级的检索评估器，用来评估针对某个查询检索到的文档的整体质量，并返回一个置信度，基于此可以触发不同的知识检索操作。

由于从静态且有限的语料库中检索只能返回次优文档，因此我们利用大规模网络搜索作为扩展手段，以增强检索结果

还设计了一种分解-重组算法，用于对检索到的文档进行选择性聚焦，提取关键信息并过滤掉无关信息。

二、相关工作

1.LLM

因为内部信息过时、有可能错误等会导致输出幻觉

2.RAG

如果检索出错会怎样？ 因为引入检索的目的是确保生成式语言模型能够获取相关且准确的知识。如果检索到的文档不相关，检索系统甚至可能加剧语言模型产生的事实性错误。

3.高级RAG

Self-RAG（Asai等，2024）被提出，它能够选择性检索知识，并引入一个评判模型来决定是否进行检索。

Yoran等（2024）设计了一个自然语言推理（NLI）模型，用于识别无关上下文并提高鲁棒性。

SAIL（Luo等，2023）通过指令调优，在指令前插入检索到的文档。Toolformer（Schick等，2023）则通过预训练来调用诸如维基百科等API

Jiang等（2023）在生成长文本时主动预测未来内容，并决定何时检索以及检索什么内容。

总结：与近期与我们工作最相关的研究（Schick等，2023；Luo等，2023；Asai等，2024）相比这些方法的目标是将检索作为一种有用的工具来增强生成，或者判断检索是否必要，而本研究则特别关注检索器返回不准确结果的场景。

三、任务表述

RAG的表述：

X：输入

C={d1.....dN}：包含大量知识文档的语料库

Y：生成的结果

R：检索器

G：生成器

D={dr1....drk}：检索器根据输入检索到前k个相关文档

RAG的两个阶段：

1.检索阶段：P(D∣X)：

• 检索器 R 根据输入 X 计算每个文档 di​ 的相关性得分。
• 选择前 k 个最相关的文档组成集合 D。
• P(D∣X) 表示在给定输入 X 的条件下，检索到文档集合 D 的概率

2.生成阶段：P(Y,D∣X)：

• 生成器 G 基于输入 X 和检索到的文档 D 生成结果 Y。
• P(Y,D∣X) 表示在给定输入 X 的条件下，生成结果 Y 且检索到文档 D 的联合概率。

联合概率（Joint Probability）是概率论中的一个重要概念，用于描述多个事件同时发生的概率。具体来说，联合概率表示两个或多个随机变量在特定条件下同时取某些值的概率。

P(X=x,Y=y)

3. 整体生成概率：P(Y∣X)：

• 整体生成概率 P(Y∣X) 可以表示为检索阶段和生成阶段的联合概率：
• P(Y∣X)=D∑​P(D∣X)P(Y∣X,D)其中，P(Y∣X,D) 是在给定输入 X 和检索到的文档 D 的条件下生成结果 Y 的概率。

RAG可以表述为：P(Y|X) = P(D|X)P(Y, D|X).

这表明检索器和生成器是紧密耦合的，表现出较低的风险容忍度。任何检索失败都可能导致不理想的响应，即使生成器具备出色的能力。这也正是本文的重点，即提高生成的鲁棒性。

四、CRAG：校正性检索增强生成

1.模型推理概述

给定输入查询和从任意检索器检索到的文档，构建一个轻量级检索评估器来估计检索文档与输入查询的相关性得分（第 4.2 节）。

相关性得分被量化为三种置信度，并触发相应的操作：{正确、错误、模糊}（第 4.3 节）。如果触发“正确”操作，检索到的文档将被细化为更精确的知识片段。这一细化操作包括知识分解、过滤和重组（第 4.4 节）。如果触发“错误”操作，检索到的文档将被丢弃，转而依赖网络搜索作为补充知识源进行校正（第 4.5 节）。最终，当无法自信地做出正确或错误的判断时，会触发一种软性且平衡的“模糊”操作，该操作结合了前两者。

在优化检索结果后，可以采用任意生成模型。如图：

伪代码如下：

2.检索评估器

检索评估器的目标：目标是在检索到的文档不相关时对其进行校正。

具体说：

1.采用 T5-large（Raffel 等，2020）来初始化并微调检索评估器，参数量远小于很多大语言模型。

2.为了确保所有实验结果与 Self-RAG（Asai 等，2024）具有可比性，我们在实验中也采用了 Self-RAG 提供的通过 Contriever（Izacard 等，2022）检索到的相同结果。

3.用于微调评估器的相关性信号可以从现有数据集中收集。例如，PopQA（Mallen 等，2023）

4.微调的负样本均从检索结果中随机采样，这些样本与输入查询非常相似但不相关。

5.对于每个问题，通常会检索到 10 个文档。问题与每个文档连接作为输入，评估器分别预测每个问题-文档对的相关性得分。

6.基于这些计算出的相关性得分，最终判断检索是否正确，并与操作触发相关联。

在我们提出的框架中，检索质量的评估成本相对较低，无需访问大型且昂贵的大型语言模型。与 Self-RAG（Asai 等，2024）中指令调优的 LLaMA-2（7B）的批评模型相比，CRAG 中设计的评估器展现了其轻量化的优势（0.77B）。

3.操作触发

设计了三种类型的操作并相应地触发，其中设置了上下阈值。如果置信度得分高于上阈值，则检索文档被识别为“正确”；如果低于下阈值，则被识别为“错误”。否则，执行一种更软性且中间的操作，即“模糊”。每个检索文档单独处理，最终进行整合。

正确：当至少一个检索文档的置信度得分高于上阈值时，检索被假定为“正确”。说明检索的结果存在相关文档，则检索结果被认为更可靠，但是不能避免存在一些噪声知识片段。为了提纯，则对片段进行细化操作。

错误：置信度得分均低于下阈值时，检索被假定为“错误”。就是检索的所有文档都不相关，则抛弃检索的结果，从其他地方进行搜索。

模糊：检索的准确性难以区分且评估器给出中间得分时。由于检索评估器对其判断缺乏信心，因此将“正确”和“错误”两种处理过的知识结合起来，以相互补充。

仅使用“正确”和“错误”操作的初步实验表明，CRAG 的效果很容易受到检索评估器准确性的影响。原因可能是无论判断的置信度如何，所有输入案例都进行了明显的知识切换。“模糊”操作的设计显著帮助减轻了对检索评估器准确性的依赖。 

4.知识细化

一种“分解-重组”的知识细化方法，以进一步提取其中最关键的知识片段。

该方法的核心思想是将检索到的文档分解为更小的知识片段，然后过滤掉不相关的片段，最后将相关片段重组为内部知识。具体步骤如下：

1. 分解：将检索到的文档分割为细粒度的知识片段。
2. 过滤：使用检索评估器计算每个片段的相关性得分，并过滤掉不相关的片段。
3. 重组：将相关片段按顺序连接，形成最终的内部知识。

5.网络搜素

和我的方向不相关，暂时不研究

五、实验（不全）

1.任务、数据集和指标

数据集：PopQA（Mallen 等，2023）（短文本生成）、Biography（Min 等，2023）（长文本生成）、PubHealth（Zhang 等，2023a）（是非题）、Arc-Challenge（Bhakthavatsalam 等，2021）（选择题）共四个数据集

指标：PopQA、PubHealth 和 Arc-Challenge 采用准确率作为评估指标。Biography 采用 FactScore（Min 等，2023）作为评估指标

2.基准

主要将 CRAG 与有检索和无检索的方法进行了比较，后者可以进一步分为标准 RAG 和最新的高级 RAG

六、未来挑战

但微调外部检索评估器是不可避免的。如何消除此外部评估器并赋予 LLM 更好的检索评估能力将是我们未来的工作。