当前位置：首页 > article >正文

Python开发AI智能体(九)———构建RAG对话应用

article 2025/5/31 20:48:22

前言

上篇文章我们介绍了如何在Langchain中构建代理

这篇文章我们将带领大家构建一个RAG对话应用

一、什么是RAG对话应用？

RAG（Retrieval-Augmented Generation，检索增强生成）技术通过从外部知识库检索相关信息，并将其与用户输入合并后传入大语言模型（LLM），从而增强模型在私有领域知识问答方面的能力。EAS提供场景化部署方式，支持灵活选择大语言模型和向量检索库，实现RAG对话系统的快速构建与部署。

我们这里通过爬虫的方式获取外部数据然后存到向量数据库当中。

二、编写代码

1.API调用

由于我们要使用爬虫，所以这里要引入第三方库bs4,然后设置爬虫浏览器伪装

#安装第三方库 bs4
pip install bs4

# 调用AI检测平台（langSmith）
import os
import sysos.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = 'xxxxxxxxx'
os.environ["LANGCHAIN_PROJECT"] = "智谱AI"
#调用智谱AI API
os.environ["ZHIPUAI_API_KEY"] = "xxxxxxxxx"
#引入爬虫解析工具BS4
import bs4
#设置爬虫浏览器伪装(这一步是如果不写，只是报错，并不影响程序运行)
os.environ["USER_AGENT"]='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.0.0.0 Safari/537.36 Edg/134.0.0.0'

2.调用第三方库

from langchain_community.chat_models import ChatZhipuAI
from langchain_community.document_loaders import WebBaseLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.embeddings import ZhipuAIEmbeddings
from langchain_chroma import Chroma
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
from langchain.chains.retrieval import create_retrieval_chain
from langchain_community.chat_message_histories import ChatMessageHistory
from langchain.chains.history_aware_retriever import create_history_aware_retriever
from langchain_core.runnables import RunnableWithMessageHistory

3.调用大预言模型

model = ChatZhipuAI(model_name='glm-4-flash')

4.加载数据

加载数据（本地数据库，或者或互联网数据）这里用一篇博客内容为例（爬虫）

文章连接：https://kib.cas.cn/kxcb/kpwz/202112/t20211230_6330472.html

这篇文章是介绍豆类植物的

loader = WebBaseLoader(web_paths=['https://kib.cas.cn/kxcb/kpwz/202112/t20211230_6330472.html']bs_kwargs=dict(parse_only =bs4.SoupStrainer(class_='TRS_Editor') ))

WebBaseLoader: 是LangChain 提供的一个强大工具，用于从网页中提取文本并将其转换为结构化文档格式。它支持多页面加载、并发处理、自定义解析器以及代理配置，非常适合需要从网页提取大量数据的场景。
web_paths:可以存放一个或多个网址，多个网址要放在列表或者元组当中
parse_only:解析我们需要的内容。通过检查网页发现，文章的内容是放在一个类名叫'TRS_Editor'的盒子当中，所以我们这里的class类名里面要写'TRS_Editor'

5.转换文档

docs = loader.load()

6.大文本切割（新建一个切割器）

1.为什么要使用文本切割器

大语言模型通常受到可以传递给它们的文本数量的限制，因此将文本分割为较小的块是必要的。

文本分割器是一种将大段文本拆分成较小块或片段的算法或方法。其目标是创建可单独处理的可管理的片段，这在处理大型文档或数据集时通常是必要的。

2.编写代码

splitter = RecursiveCharacterTextSplitter(chunk_size=1000,chunk_overlap=200)
splits = splitter.split_documents(docs)

RecursiveCharacterTextSplitter：递归字符文本分割器，用于将长文本递归地分割成更小的片段。

该类里面一共有三个参数

第一个切割符号一般情况不用
chunk_size：每次分割的字数
chunk_overlap：重复次数

7.存储向量空间

#实例化一个向量空间
vectorstore =Chroma.from_documents(documents=splits,embedding=ZhipuAIEmbeddings())
#4、检索器
retriever = vectorstore.as_retriever()

8.创建模板

system_prompt = '''
你是一个专业回答问题的助手。
你要用下面检索器检索出来的内容回答问题。
如果不知道就回答，数据中没有提供信息。\n
{context}
'''
prompt = ChatPromptTemplate.from_messages([ #提问和问答的历史记录("system", system_prompt),MessagesPlaceholder('chat_history'),("human", "{input}"),
])

这部分代码不理解的可以移步

Python开发AI智能体(五)———构建聊天机器人智能体

9.创建提问的链

chain1 =create_stuff_documents_chain(model, prompt)

10.创建子链

注意：一般情况下，我们构建的链（chain）直接使用输入问答记录来关联上下文。但是在此案例当中，查询检索器也需要对话上下文才能破译
解决办法：添加一个子链（chain），它采用最新用户的问题和聊天历史，并在它引用历史信息中的任何信息时重新表述问题

retriever_history_temp =ChatPromptTemplate.from_messages(
[('system',son_system_promot),MessagesPlaceholder('chat_history'),("human", "{input}"),
]
)
son_history_chain = create_history_aware_retriever(model,retriever,retriever_history_temp
)

create_history_aware_retriever：创建一个获取对话历史记录并返回文档的链（检索器对话历史）。

11.保存问答历史记录

store={}def get_session_history(session_id:str):if session_id not in store:store[session_id] = ChatMessageHistory()return store[session_id]