零基础玩转ERNIE-4.5：用vllm和chainlit轻松搭建AI对话助手

零基础玩转ERNIE-4.5用vllm和chainlit轻松搭建AI对话助手1. 准备工作认识ERNIE-4.5与部署工具1.1 ERNIE-4.5模型简介ERNIE-4.5是百度推出的新一代大语言模型系列其中ERNIE-4.5-0.3B-PT是一个轻量级版本特别适合快速部署和实际应用。这个模型具有以下特点轻量高效参数规模约3亿在普通显卡上即可流畅运行中文优化针对中文理解和生成任务进行了专门训练多模态能力支持文本与视觉信息的联合处理部署友好提供多种部署方式包括我们今天使用的vllm方案1.2 技术栈介绍我们将使用两个核心工具来搭建这个AI对话助手vllm一个高性能的模型推理服务框架能显著提升大语言模型的推理速度chainlit一个专门为AI应用设计的Web界面框架可以快速构建聊天界面这套组合的优势在于部署简单无需复杂配置性能优秀响应速度快界面美观用户体验好2. 环境准备与模型部署2.1 检查模型服务状态如果你使用的是预置的镜像环境模型服务可能已经在后台运行。我们可以通过以下命令检查服务状态cat /root/workspace/llm.log正常运行的日志会显示类似以下内容INFO 07-10 14:30:29 llm_engine.py:291] LLM engine is ready如果服务未启动可以手动运行以下命令python -m vllm.entrypoints.openai.api_server \ --model baidu/ERNIE-4.5-0.3B-PT \ --served-model-name ernie-4.5 \ --port 8000 \ --max-model-len 40962.2 验证API服务服务启动后我们可以测试API是否正常工作curl http://localhost:8000/v1/models正常响应应该返回类似以下JSON数据{ object: list, data: [ { id: ernie-4.5, object: model, created: 1688980000, owned_by: vllm } ] }3. 构建chainlit前端界面3.1 创建基础应用新建一个名为app.py的文件添加以下代码import chainlit as cl import requests import json VLLM_API_URL http://localhost:8000/v1/chat/completions cl.on_chat_start async def start_chat(): await cl.Message( content你好我是ERNIE-4.5 AI助手有什么可以帮你的吗 ).send() cl.on_message async def main(message: cl.Message): msg cl.Message(content) await msg.send() try: payload { model: ernie-4.5, messages: [ {role: user, content: message.content} ], temperature: 0.7, max_tokens: 1024, stream: True } response requests.post( VLLM_API_URL, jsonpayload, streamTrue, headers{Content-Type: application/json} ) full_response for line in response.iter_lines(): if line: line line.decode(utf-8) if line.startswith(data: ): data line[6:] if data ! [DONE]: try: chunk json.loads(data) if choices in chunk and len(chunk[choices]) 0: delta chunk[choices][0][delta] if content in delta: content delta[content] full_response content await msg.stream_token(content) except json.JSONDecodeError: continue if full_response: msg.content full_response await msg.update() else: await cl.Message(content抱歉我没有收到响应。).send() except Exception as e: await cl.Message(contentf出错了{str(e)}).send() if __name__ __main__: cl.run()3.2 添加界面配置创建chainlit.md文件定义欢迎信息# ERNIE-4.5聊天助手 这是一个基于ERNIE-4.5-0.3B-PT模型的智能对话应用。 ## 使用说明 1. 直接在下方输入框输入问题 2. 模型会逐步显示回答内容 3. 支持连续对话上下文会自动保留创建config.toml定制界面样式[UI] name ERNIE-4.5聊天助手 description 基于ERNIE-4.5-0.3B-PT模型的智能对话 [Theme] primaryColor #4f46e5 backgroundColor #ffffff4. 启动与使用完整流程4.1 启动应用在终端运行以下命令启动chainlit前端chainlit run app.py应用启动后默认会在http://localhost:8000提供服务。4.2 使用对话界面打开浏览器访问应用地址你将看到一个简洁的聊天界面左侧面板显示对话历史记录中间区域主聊天窗口底部输入框输入问题并发送4.3 测试对话功能尝试输入不同类型的问题知识问答中国的首都是哪里创意写作写一个关于太空探险的短故事实用建议如何提高Python编程技能观察模型的回答质量和响应速度。5. 常见问题解决方案5.1 服务启动失败如果遇到服务无法启动的问题可以尝试以下步骤检查端口占用netstat -tlnp | grep :8000修改服务端口在app.py中VLLM_API_URL http://localhost:8001/v1/chat/completions5.2 响应速度慢优化建议调整生成参数payload { temperature: 0.5, # 降低创造性提高稳定性 max_tokens: 512, # 减少生成长度 }检查硬件资源nvidia-smi # 查看GPU使用情况 free -h # 查看内存使用6. 进阶功能扩展6.1 添加对话记忆修改app.py实现多轮对话cl.on_chat_start async def start_chat(): cl.user_session.set(history, []) cl.on_message async def main(message: cl.Message): history cl.user_session.get(history, []) history.append({role: user, content: message.content}) if len(history) 6: # 保留最近3轮对话 history history[-6:] payload { model: ernie-4.5, messages: history, temperature: 0.7, stream: True } # ... 发送请求和处理响应 ... history.append({role: assistant, content: full_response}) cl.user_session.set(history, history)6.2 支持文件上传扩展文件处理能力cl.on_message async def main(message: cl.Message): if message.elements: for element in message.elements: if element.type file: with open(element.path, r) as f: content f.read() enhanced_prompt f文件内容\n{content}\n\n问题{message.content} messages [{role: user, content: enhanced_prompt}]7. 总结与展望通过本教程我们完成了ERNIE-4.5-0.3B-PT模型的完整部署流程使用vllm部署高性能模型服务通过chainlit构建美观的聊天界面实现前后端集成和基础对话功能扩展了记忆和文件处理等进阶功能这套方案的优势在于部署简单快捷资源需求适中用户体验良好易于功能扩展未来可以进一步探索添加更多自定义工具集成知识库增强回答准确性优化界面交互体验获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。