RAG技术解析：让大模型从“闭卷考试“到“开卷考试“的进化

RAG(检索增强生成)是一种结合检索与生成的AI架构通过外挂知识库解决大模型的幻觉、缺乏专业知识和可解释性问题。工作流程分为索引、检索、增强、生成四阶段。企业应用广泛包括知识助手、智能客服等。未来发展趋势包括GraphRAG、Agent增强RAG和多模态RAG。RAG作为数据源与应用间的桥梁将更简单统一并成为Agent的关键支撑层。1、RAG到底是什么2020年首次出现了RAG这个概念但其真正火起来也是自ChatGPT发布以后2022年12月才开始的。前面应用ChatGPT给出了官方一些的说明本质上其给大模型带来的价值可以粗略提炼为没有应用RAG技术的大模型在回答问题时是闭卷考试而应用了RAG技术的大模型则是——通过外挂了一个知识库来实现开卷考试。目前大模型在生成回答时有3大问题容易出现幻觉、缺乏专业知识、回答缺乏可解释性而RAG技术通过外挂专业的知识库、在生成答案时结合知识库回答问题、同时在最终生成结果中展示知识库信息来源一定程度上有效的解决了这3大问题。那么RAG是怎样解决上面这3大问题的呢首先我们来看一下RAG的架构整体分为索引、检索、增强、生成4个大的阶段1.1 索引Indexing这一步指通过内容分块、向量化等方式生成索引并存入向量数据库。为什么这里这么麻烦既要分块又要做向量化处理来建索引而不是像一些关系型数据库直接去建立索引呢这是核心因为2个点1大模型需要通过向量化去建立语义理解。通过将包含高维信息的知识降维拍到向量空间里这些知识就变成了一堆数字串此时当用户去提问时先将提问的知识向量化变成一串数字后再从知识库中通过余弦计算等方式找出和用户提问数字串最相似的信息出来这就完成了所谓的语义理解当然这块还有复杂的对称和不对称计算等不做展开了。2分块能够有效提升检索效率和缓解上下文长度限制。理想状态下在检索时将每个信息都遍历一遍肯定就不会漏信息了但是当信息量大且不能让用户等待过久的时候还是需要更高效和更具性价比的方式同时大模型一次能输入的上下文有长度限制虽然已经有大模型将上下文长度延伸至了更高量级但似乎实验证明更大的上下文窗口不一定对检索结果更有效。而分块技术则可以理解为将一篇50w字的书籍文档按照段落或者语义等方式划分成n个块。这样既能够有效解决上下文长度限制问题同时也对于检索有一定的效率提升但同时也存在可能会丢失文档的全局结构、不同块之间的前后逻辑等问题不过这些问题都在陆续通过建立重叠上下块内容、建立块的类似索引结构等方式逐渐解决中。1.2 检索Retrieval当用户提问后通过检索技术则可以从知识库中召回相关内容块。根据2024年一篇很火的RAG论文其将RAG划分为3大范式原生RAG、先进RAG、模块化RAG。目前2024年基本大部分厂商已经在第二步先进RAG这一层面了例如Dify就有全文检索和向量检索2种模式。因此在检索这一步我特地画了2种混合检索来做示意个人判断混合检索会是未来的一大趋势因为每种检索都有其优势和弊端只有结合才能取长补短。而检索方式将不局限于关键词检索和向量检索最终的形态一定是多种检索方式的结合和互补。当混合检索结束后再通过一个Rerank的机制重新对不同渠道的检索结果做一个最终的整合和排序。1.3 增强Augment当重排序结束后将生成最终前n个匹配度最高的内容块将这些内容块与用户的查询、系统配置的prompt等做整合一并让大模型根据这些信息生成最终的回答。在整个完整的RAG过程中索引和检索将极大的影响最终生成的质量。2、RAG能帮助企业做什么从下述生成式AI技术应用跟踪来看目前最常见的几大使用场景知识助手、智能客服、数据分析等无一例外都应用到了知识库及RAG技术。当企业某一业务存在大量重复性、知识密集型且标准化较高的特征时则可以考虑使用RAG来搭建一个问答机器人。如果是搭建基础知识问答助手FastGPT、Dify社区版、Coze都可以很快捷地进行知识库的搭建也有完整的FAQ支持。以我们公司为例产品本身专业性强所以使用门槛较高因此搭建了围绕产品使用的问答助手某医疗公司每年都会推出新的医疗器械、医药等医药代表不一定能及时记忆最新的产品和细节则可以通过新产品问答助手随时查询围绕产品的细节而某高端社区打造了社区内部的社群服务每天都要频繁被咨询如何创建社群、如何参加活动、停车、wifi等问题此时他们则选择通过AI客服助手来解决重复回答效率低的问题。如今的AI问答其优势在于能够很好的理解自然语言、并很好的生成自然语言这让对话不再显得是那么的「人工智障」和生硬虽然又会容易存在幻觉问题但问题总在解决的过程中嘛。当然如果是搭建复杂的知识问答助手其难点还是在于1、面向问答机器人使用场景下额外所需的文档整理例如某企业做了一个财务助手对于某项报销条款不同角色能看到的内容是不同的而这就倒逼企业对该条款进行一些元数据的二次处理2、面向特定使用场景的索引与检索策略不同使用场景的前述2种策略往往有差异。例如某产品推荐场景下针对结构化的产品数据则不需要做内容分块直接针对字段进行向量化和关键词检索即可针对某医疗问诊助手场景下的大量非结构化和疾病相关的pdf文档则需要分块向量化而针对某社区提供的社群问答助手场景其直接提供了数十个QA结构的文档那自然按照原始的QA结构去做问题的分块才能更好的保证最终的检索结果。3、RAG未来将怎样发展2024年这一年RAG领域出现了非常多的论文夸张的时候一周可能有十多篇。同时根据下图这篇报告2024年RAG占据设计的主导地位而提示词和微调已逐渐有些弱化掉了。这说明RAG正处在一个大家对其充满期望和肯定的蓬勃探索期。这一年RAG领域涌现了诸多新思路和新技术以下列举比较热门的3个1、通过提炼内容结构和宏观理解等来缩减语义鸿沟如GraphRAG、SiReRAG、RAPTOR以GraphRAG为例这是一种微软在24年中开源的图RAG技术其本质上是将知识图谱和RAG做了融合。通过利用大模型自动抽取文档内的命名实体然后利用这些实体自动构建知识图谱。在图谱中同样利用聚类产生实体聚集的“社区”并利用 LLM 生成这些社区的摘要。在召回的时候知识图谱的实体、边、以及社区摘要它们连同原始文档一起来做混合召回。由于这些数据同样形成了文档中跨 Chunk 的关联信息因此对于宏观性提问多跳提问有着更好的效果。GraphRAG 可以看作是解决语义鸿沟的当下行之有效的策略和架构。2、通过Agent来加强RAG即Agentic RAGRAG 本身是 Agent 的重要算子它可以解锁 Agent 访问内部数据的能力Agent 直接用于 RAG可以提供高级 RAG 能力这就是所谓 Agentic RAG。在RAG的过程中诸如该如何进行分块、该如何选择检索方式、如何选择最终召回结果、召回效果怎么样评估、基于多跳问题该如何补足等都可以利用大模型的能力打造一个独立的Agent来实现。3、多模态RAG未来的 RAG 系统不仅限于文本检索还将能够处理图像、音频等多种媒体类型。大模型将能够理解并生成包含文本、图像和声音的信息为用户提供更丰富的互动体验。对于RAG未来将怎样发展这个命题我同意RAGFlow负责人的观点RAG 就相当于过去的数据库对外暴露的接口无比简单内部却无比复杂它不仅仅包含了数据库本身还包含了各种小模型以及把它们串接起来的工具从本质上来说它就是过去的企业搜索引擎在大模型时代的进化但它又大大超出了搜索引擎本身的范畴。最后呢我对未来的RAG的设想有如下3个1、未来的RAG应该是在数据源和上层AI应用中间去搭建桥梁的关键角色。基于上层AI应用的诉求对数据源制定不同的RAG策略从而让RAG能够更好的服务于应用的效果。2、未来的RAG会因为微调和大模型本身的技术/性能突破而变得更加简单和统一化。现在的很多RAG策略其实都是为了补足微调和大模型的短板而设计的就像2023年最火的技术是门槛最低的Prompt、2024年最火的技术是RAG、2025年最火的技术将是Agent一样未来门槛越高的技术如微调将逐渐变低这对原来更为简单的技术会造成极大的影响。而关于RAG的各类思路、技术也将逐渐收敛其范式也将逐渐趋于稳定和主流。3、未来的RAG将作为关键支撑层服务于Agent。讲到这里一定会有很多伙伴提出问题就是未来的演进究竟是RAG把自己变成一个Agent平台还是各种Agent平台把自己的RAG能力增强这个趋势很难预测正如我们在数字化时代究竟是做数仓的把做中台这种包含业务的事情也做下来还是做业务的最终下沉自身技术能力提供更好的数仓两者都有先例。针对RAGFlow负责人对于RAG和Agent关系的如上观点我有不一样的看法:我认为RAG最终还是要服务于Agent的。客户不可能用A平台去做独立的知识库、B平台去做独立的Agent客户也不可能停留在做一个以RAG技术为主的问答助手除了基础问答外肯定会伴随着希望更多的流程和SOP自动化智能化。此时就会优先选择Agent平台去做集成既能做流程、又能做知识。因此如果选择继续做RAG类产品1、至少要比agent平台的知识库做的灵活和更好例如RAG三大范式里的Modular RAG2、设计好开放能力、准备和更多的上层Agent应用做对接和被集成这里给大家精心整理了一份全面的AI大模型学习资源包括AI大模型全套学习路线图从入门到实战、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等资料免费分享扫码免费领取全部内容1. 成长路线图学习规划要学习一门新的技术作为新手一定要先学习成长路线图方向不对努力白费。这里我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。2. 大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。书籍含电子版PDF3. 大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。4. 2026行业报告行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5. 大模型项目实战学以致用当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。6. 大模型面试题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。7. 资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容