了解 RAG 第二部分：经典 RAG 的工作原理

在本系列的第一篇文章中，我们介绍了检索增强生成 (RAG) ，解释了扩展传统大型语言模型 (LLM)功能的必要性。我们还简要概述了 RAG 的核心思想：从外部知识库检索上下文相关的信息，以确保 LLM 生成准确且最新的信息，而不会产生幻觉，也不需要不断地重新训练模型。

本系列的第二篇文章揭秘了传统 RAG 系统运行的机制。尽管如今随着人工智能的迅猛发展，许多增强版和更复杂的 RAG 版本几乎每天都在不断涌现，但要了解最新的先进 RAG 方法，第一步是先理解经典的 RAG 工作流程。

经典 RAG 工作流程

典型的 RAG 系统（如下图所示）处理三个关键的数据相关组件：

1. LLM从训练数据中获取知识，通常是数百万到数十亿的文本文档 。

2. 向量数据库，也称为知识库，用于存储文本文档。但为什么叫向量数据库呢？在 RAG 和整个自然语言处理 (NLP) 系统中，文本信息被转换为称为向量的数字表示，以捕获文本的语义。向量表示单词、句子或整个文档，保留原始文本的关键属性，以便两个相似的向量与具有相似语义的单词、句子或文本片段相关联。将文本存储为数字向量可提高系统的效率，从而快速找到和检索相关文档。

3. 用户以自然语言提出的查询或提示。

简而言之，当用户用自然语言向配备 RAG 引擎的 LLM 助手提出问题时，在发送问题和接收答案之间会发生三个阶段：

1. 检索：称为检索器的组件访问向量数据库来查找和检索与用户查询相关的文档。

2. 增强：通过整合从检索到的文档中的上下文知识来增强原始用户查询。

3. 生成：LLM（从 RAG 角度也通常称为生成器）接收添加了相关上下文信息的用户查询，并生成更精确、更真实的文本响应。

检索器Retriever内部

检索器是 RAG 系统中的组件，用于查找相关信息以增强 LLM 稍后生成的最终输出。您可以将其想象成一个增强型搜索引擎，它不仅将用户查询中的关键字与存储的文档进行匹配，而且还能理解查询背后的含义。

检索器会扫描与查询相关的大量领域知识（以矢量格式（文本的数字表示）存储），并提取最相关的文本片段，以围绕它们构建与原始用户查询相关的上下文。识别相关知识的一种常用技术是相似性搜索，其中将用户查询编码为矢量表示，然后将该矢量与存储的矢量数据进行比较。这样，检测与用户查询最相关的知识片段，归结为迭代执行一些数学计算，以识别与该查询的矢量表示最接近（最相似）的矢量。因此，检索器不仅能够高效而且准确地提取准确的、上下文感知的信息。

生成器Generator内部

RAG 中的生成器通常是一种复杂的语言模型，通常是基于转换器transformer架构的 LLM ，它从检索器获取增强的输入并产生准确、上下文感知且通常真实的响应。通过结合相关的外部信息，此结果通常超越独立 LLM 的质量。

在模型内部，生成过程涉及理解和生成文本，由对增强输入进行编码并逐字生成输出文本的组件管理。每个单词都是根据前面的单词进行预测的：这项任务是 LLM 内部的最后一个阶段，称为下一个单词预测问题：预测最有可能的下一个单词，以保持所生成消息的连贯性和相关性。

展望未来

在本系列关于理解 RAG 的下一篇文章中，我们将揭示RAG 的融合方法，其特点是使用专门的方法组合来自多个检索到的文档的信息，从而增强生成响应的上下文。

RAG 中融合方法的一个常见示例是重新排序，它涉及根据用户相关性对多个检索到的文档进行评分和优先排序，然后将最相关的文档传递给生成器。这有助于进一步提高增强上下文的质量以及语言模型最终生成的响应。