RAG理论基础总结

目录

概念

流程

文档收集和切割

读取文档

转换文档

写入文档

向量转换和存储

搜索请求构建

向量存储工作原理

向量数据库

文档过滤和检索

检索前

检索

检索后

查询增强和关联

QuestionAnswerAdvisor查询增强

高级RAG架构

自纠错 RAG（C-RAG）

自省式 RAG（Self-RAG）

检索树 RAG（RAPTOR）

多智能体 RAG

---

概念

检索增强生成，给AI配个知识库，回答前先查一查特定的知识库然后结合获取的知识回答

流程

文档收集切片、向量转换和存储、将用户问题也转化为向量表示并过滤后进行相似度搜索（文档过滤和检索）、将检索到的相关文档与用户问题组合成增强提示然后喂给大模型得到结果（查询增强和关联）

文档收集和切割

ETL（抽取、转换、加载)

读取文档

使用DocumentReader组件从数据源（如本地文件、网络资源、数据库等）加载文档。

转换文档

根据需求将文档转换为适合后续处理的格式，比如去除冗余信息、分词、词性标注等，可以使用DocumentTransformer组件实现。

TextSplitter分割器

MetadataEnricher元数据增强器（补充更多的元信息）

• KeywordMetadataEnricher:使用Al提取关键词并添加到元数据
• SummaryMetadataEnricher:使用Al生成文档摘要并添加到元数据。

ContentFormatter内容格式化工具（用于统一文档内容格式）

写入文档

使用DocumentWriter将文档以特定格式保存到存储中，比如将文档以嵌入向量的形式写入到向量数据库，或者以键值对字符串的形式保存到Redis等KV存储中

FileDocumentWriter:将文档写入到文件系统

VectorStoreWriter：将文档写入到向量数据库

向量转换和存储

VectorStore接口：SpringAI中与向量数据库交互的核心接口，提供增删改查

搜索请求构建

SearchRequest构建相似度搜索请求

SearchRequest request = SearchRequest.builder()
.query("问题？")
.topK(5)                  // 返回最相似的5个结果
.similarityThreshold(0.7) // 相似度阈值，0.0-1.0之间
.filterExpression("category == 'web' AND date > '2025-05-03'")  // 过滤表达式
.build();List<Document> results = vectorStore.similaritySearch(request);

向量存储工作原理

向量数据库

直接使用阿里云百炼的VectorStore API

基于PGVector，是PostgreSQL的扩展

文档过滤和检索

Spring AI 把整个文档过滤检索阶段拆分为：检索前、检索时、检索后，并在每个阶段提供了一系列组件

检索前

优化用户查询，如查询重写、查询翻译、查询压缩

检索

文档搜索（DocumentRetriever）、文档合并

检索后

查询增强和关联

将检索到的文档和用户查询结合起来，为ai提供必要的上下文

QuestionAnswerAdvisor查询增强

把用户提示词和检索到的文档等上下文信息拼成一个新Prompt，再调用ai

高级RAG架构

自纠错 RAG（C-RAG）

生成后验证

自省式 RAG（Self-RAG）

看看是否需要RAG

检索树 RAG（RAPTOR）

拆解复杂问题

多智能体 RAG

多智能体协作