RAG项目开发全流程解析

本篇文章主要讲述在搭建一个RAG项目时所需要处理的逻辑流程以及对每一个所用到的知识的大致讲述适合大模型应用开发的新手思路搭建与流程规划一基础名词讲解LLMLLMLarge Language Model大预言模型LLM 的核心能力就 4 样理解人类语言你说 “帮我解释一下 RAG”它能听懂你要什么。生成人类语言写文案、写邮件、写代码、写故事、聊天。逻辑推理简单数学、总结内容、提取重点、分析问题。按照指令做事你让它 “简洁回答”“专业一点”“用表格整理”它都能照做。它是怎么学会的不需要人教它具体知识只做两步喂给它海量文本网页、书籍、文章、代码、百科……训练它预测下一个字比如“今天天气很__”LLM 学会填“好”“热”“冷” 等。通过万亿次这种预测它慢慢就懂了语法、逻辑、常识、世界知识。、训练方式有ZeroShot不用给任何案例靠模型本身能力简单任务能用复杂任务容易错FewShot给35 个例子模型立刻学会格式、规则效果远强于 ZeroShot大模型的训练涉及机器学习、深度学习等方面的知识也需要一定的数学基础但是在大模型应用开发初期对于模型的训练我们并不过多关注我们只需要知道它是干什么的就行RAGRAGRetrieval-Augmented Generation检索增强生成让大模型LLM先去查外部资料再根据资料回答而不是只靠自己瞎编上边我们说到大模型是基于数据训练出来的但是大模型训练出来之后一些比较新的信息和数据是它所不知道的比如说如果一个大模型是2025.5训练出来的你问它2025.5之后的信息它肯定是不知道的就会瞎编LLM具有两个致命缺点知识过时比如不知道你公司最新规则、最新文档幻觉喜欢胡说八道、乱编答案RAG 就是专门解决这两个问题的有了RAG如果你的问题大模型不知道就可以从外部的文档等知识去获取Embedding把文字变成一串数字向量让计算机能读懂语义、计算相似度。计算机看不懂文字但计算机能算两个数字数组的距离距离越近 →语义越相似比如“苹果” 和 “水果” 距离近“苹果” 和 “汽车” 距离远这就是语义检索的基础有了这三个基础概念我们就可以来总结一下RAG项目开发的流程1用户准备一些资料把这些资料通过Embedding转成向量组然后存入向量数据库构建RAG2用户输入问题并痛过Embeddng转成向量3计算问题向量与向量数据库中哪些向量离的更近计算余弦相似度离的更近的就是有关问题的资料4把找到的资料与问题一块丢给大模型得到最后的结果二真实开发现在常用的开发技术有很多最基础的就是通过HTTP或HTTPS请求在代码中直接通过请求来响应大模型同样也有一些开发框架Python的LangChainJava的LangChain4j两者的开发RAG流程都相同我们在这里主要讲解思路因此我们使用LangChain里的一些方法但是学会了这个流程之后使用LangChain4j也是手到擒来注意对于下边的一些类名和方法名我会进行简单的叙述不了解的不需要过多去关注只需要知道它的功能即可除此之外我们配置的是一个聊天型的配置RAG的LLM如果要配置其他类型的流程相同但方法有些不同我们按照真实开发流程进行讲解1上传资料并存储这里就是IO操作拿到上传的文件之后我们首先将文件中的内容转换为md5格式向量数据库中存储的都是md5格式的数据因为md5转换后都是32位十六进制的字符串方便我们后续判断然后检查上传的文件是否在向量库中已经存在建立一个文件每上传一个新的向量记录一下这个向量的内容的md5的值就是比较转换后的md5字符串是否在向量库中存在如果存在那就不用重新上传了如果不存在则进行下一步现在文件已经上传并且已经判断出向量库中没有存储md5仅仅判断文件中的内容是否已经在向量库中现在我们要对文件进行拆分因为LLM 一次看不完特别长的文章向量库检索也需要短文本太长的内容会丢失精度我们此时可以使用RecursiveCharacterTextSplitter进行文本划分然后我们就得到了划分之后的文本内容内容处理完毕之后我们还需要定义metadata元数据记录数据的操作者操作时间或一些其他信息然后我们就可以把划分后的文本内容和元数据都交给Chroma进行存储啦Chroma专门给 RAG 用的轻量级向量数据库我们上边所提到的文本向量库在Python中就可以使用Chroma来创建因为在创建Chroma时提供选项去选择Embedding模型对的你没看错把文本转化为Embedding也需要一个专门的大模型去做因此我们在创建Chroma时指定了Embedding模型我们直接把数据交给Chroma时就完成了文本数据的向量化以及存储2配置查询我们在上边已经建立好的向量数据库在这里我们将要配置对向量库的查询我们会新建立一个ChromaChroma语法规定如果在创建时所规定的文件夹不存在则就是创建如果文件夹已经存在就是建立查询因此我们在这里创建查询在后续我们就可以通过这个新创建的Chroma去查询旧的Chroma中的内容查询创立之后我们再通过Chroma中的一个方法获得retrieverretriever就是用户检索Chroma的入口想要查询什么内容就把这些内容传给retriever就能够得到查询的结果3搭建链在上边两步中我们创建了文本向量库并配置了对向量库的查询我们下边将要配置大模型与提示词对于大模型和提示词的配置因为根据用途的不同以及提示词方式的不同有很多种大模型的配置方法和提示词的书写因此我就不再说明具体的类大家可以去学习一下也不难然后就是链的搭建了我们叫做chain比如现在chain A | B | C那么我通过chain可以传递一个参数进去这个参数经过A处理后的结果作为B的输入进入B再经过B处理之后作为C的输入进入C被C处理因此我们在一般这样调用chain prompt | model我们把我们的问题先传给prompt提示词根据提示词封装信息模板然后把这些信息给大模型处理如果使用了RAG那么链一般这样搭建chain { RunnablePassthrough() | retriever } | prompt | modelRunnablePassthrough就是个 “传送带”数据进来什么样出去就什么样原封不动传给下一环retriever就是我们上边封装的对于rag的查询然后我们将用户输入的问题rag检索后的资料 - prompt然后再传给model这样就完成了整条链的搭建4保存历史记录在上边我们搭建好了一个完整的链用户能够问问题rag也能通过用户的问题在搭建好的文本向量库中搜索资料并把用户的问题和资料结合起来发给model去得到最终的结果但是还有一个很重要的问题用户与model的聊天记录没有存储下来他们的对话是一次性的因此我们在这里解决历史记录的问题历史记录可以保存在内存中也可以保存在文件中我们一般更推荐保存在文件中因为内存有大小限制而且关机就没了如果需要用内存保存就可以使用InMemoryChatMessageHistory类进行不断存储就行如果需要使用文件保存那就需要自己定义一个类def get_message(session_id): return FileChatMessageHistory(session_id,./chat_history) class FileChatMessageHistory(BaseChatMessageHistory): def __init__(self, session_id, storage_path): self.session_id session_id self.storage_path storage_path self.file_path os.path.join(self.storage_path, self.session_id) os.makedirs(os.path.dirname(self.file_path), exist_okTrue) def add_messages(self, messages: Sequence[BaseMessage]) - None: all_messages list(self.messages) all_messages.extend(messages) new_messages [message_to_dict(message) for message in all_messages] with open(self.file_path, w,encodingutf-8) as f: json.dump(new_messages, f) property def messages(self) - list[BaseMessage]: try: with open(self.file_path, r,encodingutf-8) as f: messages_data json.load(f) return messages_from_dict(messages_data) except FileNotFoundError: return [] def clear(self) - None: with open(self.file_path, w,encodingutf-8) as f: json.dump([], f)在这里我需要说明所有的聊天对话以及记录都是BaseMessage类型的因此在代码中做了很多类型的转换5带有历史记录的链在完成了3、4这两步之后我们将它们两个进行结合conversation_chain RunnableWithMessageHistory( chain, get_message, input_messages_keyinput, history_messages_keyhistory, ) return conversation_chain这样我们就得到了带有历史记录的chain后续只需要通过chain去传输问题即可三总结本篇文章主要讲了一个基础RAG项目的搭建流程在其中还存在很多的问题比如在链中传递参数时参数每经过一次处理得到的数据的格式可能与链的下一个处理的输入格式不同在构建链时经常需要去处理这些数据格式除此之外还有多用户的使用等等一些问题不过这些问题都是围绕着这一套整体的流程去做的你学会了整体的流程其他的问题都是一块小的绊脚石很轻易就能跨过去希望这篇文章对你有所帮助——迷糊小报告