【RAG】基于 RAG 的知识库问答系统设计与实现

基于 RAG 的知识库问答系统设计与实现1. 系统介绍2. 技术与方法3. 核心功能代码片段3.1 知识库创建3.2 知识对话问答3.3 知识库清空4. 系统运行效果截图4.1 文件上传与知识库创建4.2 知识库问答4.3 文件删除与知识库清空总结项目代码地址https://github.com/AI-Meet/Knowledge_QA_RAG项目演示示例 点击观看项目演示视频1. 系统介绍基于 Retrieval-Augmented Generation (RAG) 的知识库问答系统通过结合信息检索与生成式模型为知识库问答提供了一种高效且智能的解决方案。传统问答系统在面对动态知识更新和复杂问题时往往存在响应不准确、更新不及时等问题而 RAG 系统通过将知识检索与自然语言生成相结合显著提升了回答的精准性和上下文相关性。为此本文设计了一种基于 RAG 的知识库问答系统简单示例采用前后端分离的架构设计具体如下前端基于HTML/CSS/JavaScript构建用户交互界面支持问题输入、知识库创建和清空功能。后端基于FastAPI构建结合LangChain框架提供问答服务和知识管理接口。2. 技术与方法文档加载与分块利用langchain_community.document_loaders加载文件内容并通过langchain.text_splitter对文本进行分块处理生成更小的知识单元便于向量化存储和检索。嵌入生成通过langchain_core.embeddings将分块后的文本进行向量化本系统采用的是jina-embeddings-v3嵌入模型。检索与问答链LangChain提供了RetrievalQA模块整合检索和问答流程支持快速集成向量数据库检索与语言模型生成的功能。向量化检索与存储采用Milvus向量数据库管理嵌入模型生成的语义向量通过配置索引参数和搜索参数实现高效的 k-NN 检索确保检索准确性和性能。3. 核心功能代码片段3.1 知识库创建app.post(/rag/create/)asyncdefcreate_knowledge(file:UploadFileFile(...)): 上传文件到指定目录后处理文件内容并添加到向量库。 folder./upload_files# 文件存储目录os.makedirs(folder,exist_okTrue)# 确保目录存在file_pathos.path.join(folder,file.filename)try:# 保存文件withopen(file_path,wb)asf:contentawaitfile.read()f.write(content)folder:str./upload_filesfile_pathos.path.join(folder,file.filename)# 初始化文件处理器file_processorRagFileProcessor(chunk_size64)# 处理文件内容并插入到向量库text_datasfile_processor.get_data(file_pathfile_path)# 连接到 Milvusvector_store.add_texts(**text_datas)return{status:success,message:f文件 {file.filename} 上传成功并添加至向量数据库.,}exceptExceptionase:return{status:error,message:f文件 {file.filename}处理失败. 原因:{str(e)},}3.2 知识对话问答app.post(/rag/chat/)asyncdefchat(request:ChatRequest): 根据用户问题从向量库检索并返回回答。 print(fQ:{request.question})try:# 初始化 OpenAI Chat 模型llmChatOpenAI(modelconfig.llm_model_name,api_keyconfig.api_key,base_urlconfig.base_url)# 定义 Prompt 模板qa_promptPromptTemplate(templateprompt_template,input_variables[context,question])# 定义搜索参数search_kwargs{score_threshold:0.3,k:5}retrievervector_store.as_retriever(search_typesimilarity_score_threshold,search_kwargssearch_kwargs)qa_chainRetrievalQA.from_chain_type(llmllm,chain_typestuff,retrieverretriever,chain_type_kwargs{prompt:qa_prompt},return_source_documentsTrue)resultqa_chain.invoke({query:request.question})answer_resultresult.get(result,)print(fA:{answer_result})source{source_documents:[{content:doc.page_content,metadata:doc.metadata}fordocinresult.get(source_documents,[])]}print(fsource:{source})return{answer:answer_result}exceptExceptionase:return{status:error,message:str(e)}3.3 知识库清空app.post(/rag/clear/)asyncdefclear_knowledge(collection_name:strconfig.milvus_collection_name,host:strconfig.milvus_host,port:intconfig.milvus_port): 清空 Milvus 知识库集合并删除指定目录中的文件 folder./upload_filestry:connections.connect(default,hosthost,portport)ifutility.has_collection(collection_name):collectionCollection(namecollection_name)collection.drop()print(fCollection {collection_name} 成功删除.)else:print(fCollection {collection_name} 不存在.)connections.disconnect(default)forfilenameinos.listdir(folder):file_pathos.path.join(folder,filename)ifos.path.isfile(file_path)oros.path.islink(file_path):os.unlink(file_path)elifos.path.isdir(file_path):shutil.rmtree(file_path)return{message:f知识库清空: Collection {collection_name} 删除, 文件夹 {folder} 清空.}exceptExceptionase:return{error:f知识库清空失败. 原因:{str(e)}}4. 系统运行效果截图4.1 文件上传与知识库创建点击创建知识库选择上传的文件上传成功后提示文件 xxx 上传成功并添加至向量数据库.向量数据库中成功创建 knowledge_collection并将向量索引加载到内存中。4.2 知识库问答在输入框中输入问题点击发送即可得到回答。4.3 文件删除与知识库清空点击清空知识库清除成功后提示知识库清空Collection ‘knowledge_collection’ 删除文件夹 ./upload_files’清空.此时向量数据库中成功删除 knowledge_collection已经没有Collection。总结本系统以理解 RAG 技术为目标提供了一种面向知识库问答的简单实现示例。通过结合文档加载、文本分块、向量检索与生成式问答系统展示了 RAG 技术在小规模知识库中的应用潜力。此外由于示例场景相对简单系统尚未涉及多轮对话、检索召回重排序、提示词优化、分布式向量存储等更为复杂的问题。所以可以进一步优化系统性能例如引入多轮对话的上下文管理、使用先进的重排序模型提升检索精度或探索更高效的提示词设计等以支持更复杂的知识问答场景为实践 RAG 技术提供更全面的支持。项目代码地址https://github.com/AI-Meet/Knowledge_QA_RAG项目演示示例 点击观看项目演示视频