Phi-3-Mini-128K代码实例：集成LangChain工具调用实现文件上传问答

Phi-3-Mini-128K代码实例集成LangChain工具调用实现文件上传问答1. 引言想象一下你手头有一份几十页的PDF技术文档或者一个满是数据的CSV文件你想快速了解里面的核心内容或者针对某个细节提问。传统做法是打开文件手动翻阅、搜索费时费力。如果有一个AI助手能让你直接把文件“喂”给它然后像聊天一样问它问题是不是方便多了今天我们就来实现这个功能。我们将基于之前介绍的Phi-3-Mini-128K对话工具给它装上“眼睛”和“大脑”让它不仅能聊天还能“读懂”你上传的各种文件如TXT、PDF、Word、Excel并基于文件内容进行智能问答。这个功能的核心是为我们轻量、高效的本地Phi-3模型集成强大的LangChain工具链。LangChain就像一套标准的“瑞士军刀”提供了处理文档、连接向量数据库、调用大模型的标准接口。我们将利用它来完成文档加载、文本分割、向量化存储和语义检索这一整套流程。通过本篇教程你将学会如何扩展现有的Streamlit聊天应用增加文件上传组件。如何利用LangChain将上传的文档转换成模型可以理解的“知识库”。如何教会Phi-3模型在回答问题时优先从“知识库”中寻找相关依据。最终效果实现一个纯本地运行的、支持多格式文件上传与智能问答的AI助手。整个过程无需网络保护你的数据隐私并且得益于Phi-3-mini的小巧身材和LangChain的模块化设计即使在消费级GPU上也能流畅运行。2. 核心思路与架构在动手写代码之前我们先理清思路明白我们要建造的“机器”是如何工作的。我们的目标是用户上传文件 - 系统处理文件并创建知识库 - 用户提问 - 系统从知识库找到相关片段 - Phi-3模型结合片段生成答案。整个流程可以分解为以下几个关键步骤如下图所示flowchart TD A[用户上传文件] -- B[LangChain文档加载器] B -- C[文本分割器] C -- D[文本向量化brEmbedding Model] D -- E[向量存储库brVector Store] F[用户提问] -- G[问题向量化] G -- H[向量库相似度检索] H -- I[获取相关文本片段] I -- J[构建增强提示词] J -- K[Phi-3模型生成答案] K -- L[返回答案给用户] E -- H下面我们来拆解图中的每个核心环节2.1 文档处理流水线图中A-E这是知识库的构建阶段发生在文件上传之后。文档加载用户上传的可能是PDF、Word、TXT等不同格式。LangChain提供了各种DocumentLoader比如PyPDFLoader、Docx2txtLoader、TextLoader它们能将这些格式统一转换成包含页面内容的Document对象。文本分割一个文档可能很长比如一本书直接塞给模型会超出其上下文长度尽管Phi-3有128K但处理超长文本效率会下降。我们需要用RecursiveCharacterTextSplitter将长文档按语义切分成大小适中的“片段”chunks。这就像把一本厚书拆分成若干章节摘要。向量化计算机无法直接理解文字的含义。我们需要一个Embedding Model嵌入模型将每个文本片段转换成一串数字向量。语义相近的文本其向量在空间中的距离也更近。注意这里我们使用一个轻量的开源嵌入模型如BAAI/bge-small-zh-v1.5它和Phi-3模型一样在本地运行。向量存储将上一步生成的所有文本片段及其对应的向量存储到一个本地的Vector Store向量数据库中比如Chroma或FAISS。这个数据库支持一项关键操作相似度检索。2.2 问答检索流程图中F-L这是用户提问时的响应阶段。问题向量化当用户提出一个问题时我们使用同一个嵌入模型将这个问题也转换成向量。语义检索在向量数据库中寻找与“问题向量”最相似的几个“文本片段向量”。这就是相似度检索它能找到知识库中与问题最相关的内容。提示词构建检索到的相关文本片段将作为“参考依据”或“上下文”与用户的原始问题一起拼接成一个新的、更详细的提示词Prompt发送给Phi-3模型。例如“请基于以下信息回答问题[相关文本片段...] 问题[用户的问题]”。答案生成Phi-3模型接收到这个增强了上下文的提示词后会基于我们提供的“参考依据”来生成答案从而确保答案更准确、更相关减少“胡言乱语”。这样我们就搭建了一个检索增强生成RAG系统。它让模型的能力不再局限于其内部知识而是可以动态地从我们提供的文档中获取信息来作答。3. 环境准备与代码集成现在我们开始动手将上述思路集成到现有的Phi-3对话工具中。3.1 安装额外依赖首先我们需要在原有环境的基础上安装LangChain及其文档处理相关的库。在你的项目终端中执行pip install langchain langchain-community chromadb pypdf docx2txtlangchain: LangChain核心框架。langchain-community: 包含社区维护的各种文档加载器、工具等。chromadb: 一个轻量级、易用的开源向量数据库我们将用它来存储和检索向量。pypdf: 用于读取PDF文件。docx2txt: 用于读取Word文档。3.2 核心代码实现我们将创建一个新的Python脚本比如叫app_with_rag.py。以下是核心代码的详解和整合。第一部分导入库与初始化import streamlit as st from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline, TextStreamer import torch from langchain_community.document_loaders import PyPDFLoader, TextLoader, Docx2txtLoader from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import Chroma from langchain.chains import RetrievalQA import os import tempfile # 页面标题和配置 st.set_page_config(page_titlePhi-3 智能文档助手, layoutwide) st.title( Phi-3 Mini LangChain 本地文档问答) # 初始化Session State用于存储对话历史、向量库等 if messages not in st.session_state: st.session_state.messages [] if vector_store not in st.session_state: st.session_state.vector_store None if retriever not in st.session_state: st.session_state.retriever None if qa_chain not in st.session_state: st.session_state.qa_chain None第二部分加载Phi-3模型与嵌入模型我们复用原有工具加载Phi-3模型的方式并新增一个嵌入模型的加载。st.cache_resource def load_phi3_model(): 加载Phi-3对话模型 model_id microsoft/Phi-3-mini-128k-instruct tokenizer AutoTokenizer.from_pretrained(model_id, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_id, torch_dtypetorch.bfloat16, device_mapauto, trust_remote_codeTrue ) text_pipeline pipeline( text-generation, modelmodel, tokenizertokenizer, max_new_tokens1024 ) return text_pipeline st.cache_resource def load_embedding_model(): 加载用于向量化的嵌入模型 # 使用一个轻量的中文嵌入模型也可替换为其他如moka-ai/m3e-base model_name BAAI/bge-small-zh-v1.5 embeddings HuggingFaceEmbeddings( model_namemodel_name, model_kwargs{device: cuda if torch.cuda.is_available() else cpu}, encode_kwargs{normalize_embeddings: True} # 标准化向量提升检索效果 ) return embeddings # 在侧边栏或主区域添加加载状态 with st.spinner(正在加载Phi-3模型和嵌入模型请稍候...): phi3_pipeline load_phi3_model() embedding_model load_embedding_model() st.success(模型加载成功)第三部分文件处理与知识库构建函数这是最核心的函数负责处理上传的文件。def process_uploaded_file(uploaded_file): 处理上传的文件构建向量知识库 # 创建临时文件保存上传的内容 with tempfile.NamedTemporaryFile(deleteFalse, suffixos.path.splitext(uploaded_file.name)[1]) as tmp_file: tmp_file.write(uploaded_file.getvalue()) tmp_file_path tmp_file.name try: # 1. 根据文件类型选择加载器 file_ext os.path.splitext(uploaded_file.name)[1].lower() if file_ext .pdf: loader PyPDFLoader(tmp_file_path) elif file_ext in [.docx, .doc]: loader Docx2txtLoader(tmp_file_path) elif file_ext .txt: loader TextLoader(tmp_file_path, encodingutf-8) else: st.error(f暂不支持 {file_ext} 格式的文件。) return False # 2. 加载文档 documents loader.load() if not documents: st.warning(文件内容为空或无法读取。) return False # 3. 分割文本 text_splitter RecursiveCharacterTextSplitter( chunk_size500, # 每个片段大约500字符 chunk_overlap50, # 片段间重叠50字符保持上下文连贯 separators[\n\n, \n, 。, , , , , , ] ) splits text_splitter.split_documents(documents) st.info(f文档已分割为 {len(splits)} 个文本片段。) # 4. 创建向量存储 # 使用Chroma并指定持久化目录可选 persist_directory ./chroma_db vector_store Chroma.from_documents( documentssplits, embeddingembedding_model, persist_directorypersist_directory ) # vector_store.persist() # 如果需要持久化到磁盘 # 5. 创建检索器 retriever vector_store.as_retriever(search_kwargs{k: 3}) # 检索最相关的3个片段 # 6. 创建问答链暂时不直接使用我们自定义提示词 # 将向量库和检索器存入session_state供后续使用 st.session_state.vector_store vector_store st.session_state.retriever retriever st.success(f文件 {uploaded_file.name} 处理完成知识库已就绪。) return True except Exception as e: st.error(f处理文件时出错: {e}) return False finally: # 清理临时文件 os.unlink(tmp_file_path)第四部分自定义提示词与答案生成函数我们不直接使用LangChain的RetrievalQA链而是自定义流程以便更好地控制提示词格式适配Phi-3的对话模板。def generate_answer_with_context(question): 结合知识库检索结果生成答案 if st.session_state.retriever is None: return 请先上传并处理一个文档构建知识库。 # 1. 从知识库检索相关文档片段 relevant_docs st.session_state.retriever.get_relevant_documents(question) if not relevant_docs: context 知识库中未找到与问题直接相关的信息。 else: # 将检索到的片段合并为上下文 context \n\n.join([doc.page_content for doc in relevant_docs]) # 2. 构建符合Phi-3指令格式的提示词 # Phi-3-mini-instruct 期望的格式|user|\n问题|end|\n|assistant| # 我们将上下文和问题一起放在user部分 formatted_prompt f|user| 请严格根据以下提供的上下文信息来回答问题。如果上下文信息不足以回答问题请直接说明“根据提供的资料无法回答此问题”不要编造信息。 上下文信息 {context} 问题{question} |end| |assistant| # 3. 调用Phi-3模型生成答案 try: response phi3_pipeline( formatted_prompt, max_new_tokens1024, do_sampleTrue, temperature0.7, top_p0.9, ) answer response[0][generated_text] # 只提取assistant部分的回复 answer answer.split(|assistant|)[-1].strip() return answer except Exception as e: return f生成答案时出错: {e}第五部分Streamlit界面布局与交互将文件上传和聊天界面整合在一起。# 侧边栏 - 文件上传与知识库管理 with st.sidebar: st.header( 文档知识库) uploaded_file st.file_uploader( 上传文档支持PDF、Word、TXT, type[pdf, docx, txt] ) if uploaded_file is not None: if st.button(处理文档并构建知识库): with st.spinner(f正在处理 {uploaded_file.name}...): success process_uploaded_file(uploaded_file) if st.session_state.vector_store: st.success(✅ 知识库已加载) if st.button(清空知识库): st.session_state.vector_store None st.session_state.retriever None st.rerun() else: st.info(等待上传文档...) # 主界面 - 聊天区域 st.header( 基于文档的智能问答) # 显示历史对话 for message in st.session_state.messages: with st.chat_message(message[role]): st.markdown(message[content]) # 聊天输入框 if prompt : st.chat_input(请输入您的问题或上传文档后基于文档提问): # 添加用户消息到历史 st.session_state.messages.append({role: user, content: prompt}) with st.chat_message(user): st.markdown(prompt) # 生成并显示助手回复 with st.chat_message(assistant): message_placeholder st.empty() message_placeholder.markdown(Phi-3 正在飞速思考...) full_response generate_answer_with_context(prompt) message_placeholder.markdown(full_response) # 添加助手回复到历史 st.session_state.messages.append({role: assistant, content: full_response})4. 完整示例与操作演示现在让我们把代码跑起来看看实际效果。启动应用在终端运行streamlit run app_with_rag.py。上传文档在左侧边栏上传一个PDF或TXT文件点击“处理文档并构建知识库”。你会看到处理进度和分割的文本片段数。开始问答在主界面的聊天框输入问题。例如如果你上传了一份Python教程PDF可以问“这份教程里介绍了哪几种循环语句” 或者 “请总结一下函数定义的基本语法。”观察结果模型会先检索知识库中相关的片段然后生成答案。答案会明确基于你提供的文档内容。效果对比未上传文档时模型会使用其内部知识预训练数据回答可能过时或不具体。上传文档后模型会优先引用文档中的内容回答更精准、更具时效性。例如问一个关于你公司内部规范文档的问题它能给出符合规范的答案。5. 总结与进阶思考通过以上步骤我们成功地将一个轻量级的本地对话工具升级为了一个具备文件理解能力的智能文档助手。核心在于利用LangChain搭建了标准的RAG流水线并使其与Phi-3-mini模型协同工作。回顾关键点模块化设计文档加载、分割、向量化、检索、生成每个环节都由独立的、可替换的组件完成。本地化运行从大语言模型Phi-3到嵌入模型BGE再到向量数据库Chroma全部在本地运行保障了数据安全。提示词工程精心设计的提示词是引导模型正确利用上下文信息的关键。我们明确要求模型“根据以下信息回答”减少了幻觉。你可以尝试的进阶方向支持更多格式集成LangChain的UnstructuredFileLoader支持PPT、HTML、Markdown等。优化检索策略调整chunk_size、chunk_overlap或尝试不同的search_type如mmr最大边际相关性检索兼顾相关性与多样性。添加引用来源让模型在回答中标注引用了哪个文本片段增强可信度。接入网络搜索在知识库检索无果时自动调用搜索引擎API获取最新信息实现“本地知识实时信息”的结合。这个项目展示了如何用相对较小的模型和简洁的代码构建出实用的AI应用。希望它能成为你探索大模型应用的一个有力起点。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。