DeepSeek-R1-Distill-Qwen-1.5B入门必看：如何用streamlit.session_state管理多轮对话

DeepSeek-R1-Distill-Qwen-1.5B入门必看如何用streamlit.session_state管理多轮对话1. 项目简介DeepSeek-R1-Distill-Qwen-1.5B是一个超轻量级的智能对话模型专门为本地化部署设计。这个模型结合了DeepSeek优秀的逻辑推理能力和Qwen成熟的模型架构经过蒸馏优化后在保持核心能力的同时大幅降低了计算资源需求。1.5B的超轻量参数让这个模型完美适配低显存GPU环境甚至可以在普通的CPU环境下运行。项目使用Streamlit构建了简洁直观的聊天界面支持多轮对话、思维链推理并且能够自动格式化模型输出的思考过程。这个项目的最大特点是完全本地化运行所有数据处理都在本地完成不需要连接云端服务器既保证了数据隐私安全又提供了开箱即用的便捷体验。2. 为什么需要管理多轮对话在实际的对话场景中单轮问答往往无法满足需求。比如当你问什么是机器学习得到回答后接着问它有哪些应用模型需要记住之前的对话上下文才能给出准确的回答。这就是多轮对话管理的核心价值。如果没有良好的对话状态管理每次提问都会被视为独立的对话模型无法理解问题的上下文关联回答就会显得机械和不连贯。Streamlit的session_state提供了一个轻量级的解决方案让我们能够在Web应用中持久化存储对话历史确保模型始终基于完整的上下文生成回答。3. streamlit.session_state基础用法3.1 初始化对话历史在Streamlit应用中我们需要在session_state中初始化一个列表来存储对话历史import streamlit as st # 初始化对话历史 if messages not in st.session_state: st.session_state.messages []这段代码检查session_state中是否已经存在messages列表如果不存在就创建一个空列表。这样可以确保每次页面刷新时不会丢失之前的对话记录。3.2 添加新的消息当用户发送消息或者模型生成回复时我们需要将这些消息添加到对话历史中# 添加用户消息 user_input st.chat_input(请输入你的问题...) if user_input: st.session_state.messages.append({role: user, content: user_input}) # 添加模型回复 with st.spinner(思考中...): response generate_response(user_input) st.session_state.messages.append({role: assistant, content: response})每个消息都是一个字典包含role角色和content内容两个字段。role可以是user或assistant分别表示用户消息和模型回复。3.3 显示对话历史为了在界面上显示完整的对话历史我们需要遍历messages列表并渲染每条消息# 显示所有消息 for message in st.session_state.messages: with st.chat_message(message[role]): st.markdown(message[content])这样就能在界面上以聊天气泡的形式显示所有的对话历史新的消息会自动添加到对话末尾。4. 实现多轮对话的完整示例下面是一个完整的DeepSeek-R1-Distill-Qwen-1.5B多轮对话实现示例import streamlit as st from transformers import AutoTokenizer, AutoModelForCausalLM import torch # 初始化session_state if messages not in st.session_state: st.session_state.messages [] if model_loaded not in st.session_state: st.session_state.model_loaded False # 侧边栏清空按钮 with st.sidebar: if st.button( 清空对话): st.session_state.messages [] torch.cuda.empty_cache() if torch.cuda.is_available() else None st.rerun() # 加载模型使用缓存 st.cache_resource def load_model(): model_path /root/ds_1.5b tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained( model_path, device_mapauto, torch_dtypeauto ) return tokenizer, model # 生成回复的函数 def generate_response(user_input): tokenizer, model load_model() # 构建完整的对话上下文 conversation [] for msg in st.session_state.messages: conversation.append({role: msg[role], content: msg[content]}) # 添加当前用户输入 conversation.append({role: user, content: user_input}) # 应用聊天模板 inputs tokenizer.apply_chat_template( conversation, add_generation_promptTrue, return_tensorspt ).to(model.device) # 生成回复 with torch.no_grad(): outputs model.generate( inputs, max_new_tokens2048, temperature0.6, top_p0.95, do_sampleTrue ) # 解码并处理回复 response tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokensTrue) return format_response(response) # 格式化回复内容 def format_response(text): # 处理思考过程标签 if |think| in text and |end| in text: think_start text.find(|think|) len(|think|) think_end text.find(|end|) think_content text[think_start:think_end].strip() answer_content text[think_end len(|end|):].strip() return f**思考过程**\n{think_content}\n\n**回答**\n{answer_content} return text # 主界面 st.title( DeepSeek-R1 智能对话助手) # 显示对话历史 for message in st.session_state.messages: with st.chat_message(message[role]): st.markdown(message[content]) # 用户输入 if prompt : st.chat_input(考考 DeepSeek R1...): # 添加用户消息 st.session_state.messages.append({role: user, content: prompt}) # 显示用户消息 with st.chat_message(user): st.markdown(prompt) # 生成并显示模型回复 with st.chat_message(assistant): with st.spinner(思考中...): response generate_response(prompt) st.markdown(response) # 添加模型回复到历史 st.session_state.messages.append({role: assistant, content: response})5. 关键技术点解析5.1 对话上下文构建多轮对话的核心在于正确构建对话上下文。我们使用apply_chat_template方法来自动处理对话格式conversation [] for msg in st.session_state.messages: conversation.append({role: msg[role], content: msg[content]}) inputs tokenizer.apply_chat_template( conversation, add_generation_promptTrue, return_tensorspt )这种方法确保了模型能够理解完整的对话历史包括之前的用户提问和模型回复。5.2 内存和显存管理为了避免内存泄漏和显存占用过多我们采用了以下策略# 清空对话时释放显存 if st.button( 清空对话): st.session_state.messages [] torch.cuda.empty_cache() if torch.cuda.is_available() else None # 推理时禁用梯度计算 with torch.no_grad(): outputs model.generate(...)5.3 响应格式化处理模型输出的思考过程标签需要被转换为更易读的格式def format_response(text): if |think| in text and |end| in text: think_content text.split(|think|)[1].split(|end|)[0] answer_content text.split(|end|)[1] return f**思考过程**\n{think_content}\n\n**回答**\n{answer_content} return text6. 常见问题与解决方案6.1 对话历史过长问题当对话轮次过多时可能会遇到模型上下文长度限制。解决方案是只保留最近几轮对话# 只保留最近10轮对话 if len(st.session_state.messages) 20: # 10轮对话用户和模型各10条 st.session_state.messages st.session_state.messages[-20:]6.2 模型加载优化使用Streamlit的缓存机制避免重复加载模型st.cache_resource def load_model(): # 模型加载代码 return tokenizer, model6.3 处理生成错误添加错误处理机制确保应用稳定性try: response generate_response(prompt) except Exception as e: response f抱歉生成回复时出现错误{str(e)}7. 总结通过streamlit.session_state管理多轮对话我们为DeepSeek-R1-Distill-Qwen-1.5B模型构建了一个完整的本地化对话系统。关键要点包括使用session_state持久化存储对话历史正确构建对话上下文确保模型理解完整对话优化内存和显存使用避免资源浪费格式化模型输出提升可读性添加错误处理和资源管理增强稳定性这种实现方式不仅适用于DeepSeek-R1模型也可以作为其他对话型AI项目的参考模板。通过合理的状态管理和优化策略即使是在资源受限的本地环境中也能提供流畅的多轮对话体验。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。