Phi-3.5-mini-instruct代码实例：Python调用vLLM API+Chainlit前端示例

Phi-3.5-mini-instruct代码实例Python调用vLLM APIChainlit前端示例1. 模型简介Phi-3.5-mini 是一个轻量级的开放模型属于 Phi-3 模型家族。它基于高质量的数据集构建包括合成数据和经过筛选的公开网站数据特别关注推理密集型任务。该模型支持长达128K令牌的上下文长度并经过严格的训练过程监督微调Supervised Fine-Tuning近端策略优化Proximal Policy Optimization直接偏好优化Direct Preference Optimization这些训练方法确保了模型能够精确遵循指令同时具备强大的安全措施。2. 环境准备2.1 验证模型部署在开始使用前我们需要确认模型服务已成功部署。可以通过以下命令检查日志cat /root/workspace/llm.log如果看到类似下面的输出表示模型已成功加载[INFO] Model loaded successfully [INFO] vLLM API server started on port 80002.2 安装必要依赖确保已安装以下Python包pip install chainlit requests3. Python调用vLLM API3.1 基础API调用示例下面是一个简单的Python脚本演示如何通过vLLM API调用Phi-3.5-mini-instruct模型import requests import json def generate_text(prompt, max_tokens200): url http://localhost:8000/v1/completions headers {Content-Type: application/json} data { model: phi-3.5-mini-instruct, prompt: prompt, max_tokens: max_tokens, temperature: 0.7 } response requests.post(url, headersheaders, datajson.dumps(data)) return response.json() # 示例调用 result generate_text(请用简单的语言解释量子计算) print(result[choices][0][text])3.2 流式响应处理对于长文本生成可以使用流式响应来提高用户体验def generate_text_stream(prompt, max_tokens200): url http://localhost:8000/v1/completions headers {Content-Type: application/json} data { model: phi-3.5-mini-instruct, prompt: prompt, max_tokens: max_tokens, temperature: 0.7, stream: True } with requests.post(url, headersheaders, datajson.dumps(data), streamTrue) as response: for chunk in response.iter_lines(): if chunk: decoded_chunk chunk.decode(utf-8) if decoded_chunk.startswith(data:): data json.loads(decoded_chunk[5:]) yield data[choices][0][text] # 示例调用 for text in generate_text_stream(写一篇关于人工智能的短文): print(text, end, flushTrue)4. Chainlit前端集成4.1 基础Chainlit应用创建一个简单的Chainlit应用来与模型交互import chainlit as cl import requests import json cl.on_message async def main(message: cl.Message): # 调用vLLM API url http://localhost:8000/v1/completions headers {Content-Type: application/json} data { model: phi-3.5-mini-instruct, prompt: message.content, max_tokens: 500, temperature: 0.7 } response requests.post(url, headersheaders, datajson.dumps(data)) result response.json() # 发送响应 await cl.Message(contentresult[choices][0][text]).send()4.2 增强版Chainlit应用添加更多交互功能和更好的用户体验import chainlit as cl import requests import json from typing import Optional cl.on_chat_start async def start_chat(): settings await cl.ChatSettings( [ cl.input_widget.Slider( idtemperature, labelTemperature, initial0.7, min0, max1, step0.1 ), cl.input_widget.Slider( idmax_tokens, labelMax Tokens, initial500, min100, max2000, step100 ) ] ).send() cl.on_message async def main(message: cl.Message): # 获取用户设置 settings cl.user_session.get(settings) # 创建消息元素 msg cl.Message(content) await msg.send() # 调用vLLM API url http://localhost:8000/v1/completions headers {Content-Type: application/json} data { model: phi-3.5-mini-instruct, prompt: message.content, max_tokens: settings[max_tokens] if settings else 500, temperature: settings[temperature] if settings else 0.7, stream: True } full_response with requests.post(url, headersheaders, datajson.dumps(data), streamTrue) as response: for chunk in response.iter_lines(): if chunk: decoded_chunk chunk.decode(utf-8) if decoded_chunk.startswith(data:): data json.loads(decoded_chunk[5:]) token data[choices][0][text] full_response token await msg.stream_token(token) await msg.update()5. 实际应用示例5.1 代码解释器创建一个能够解释代码的Chainlit应用import chainlit as cl import requests import json SYSTEM_PROMPT 你是一个专业的代码解释器。用户会提供一段代码你需要 1. 解释代码的功能 2. 指出可能的改进点 3. 提供优化建议 4. 用简单的语言说明复杂概念 cl.on_message async def explain_code(message: cl.Message): prompt f{SYSTEM_PROMPT}\n\n请解释以下代码\n\n{message.content}\n # 调用vLLM API url http://localhost:8000/v1/completions headers {Content-Type: application/json} data { model: phi-3.5-mini-instruct, prompt: prompt, max_tokens: 800, temperature: 0.5 } response requests.post(url, headersheaders, datajson.dumps(data)) result response.json() # 发送响应 await cl.Message(contentresult[choices][0][text]).send()5.2 文档生成器创建一个自动生成文档的应用import chainlit as cl import requests import json cl.on_message async def generate_docs(message: cl.Message): prompt f根据以下需求生成详细的技术文档 需求描述 {message.content} 文档要求 1. 包含概述、功能说明、使用示例三部分 2. 使用Markdown格式 3. 代码示例要完整可运行 4. 语言简洁专业 # 调用vLLM API url http://localhost:8000/v1/completions headers {Content-Type: application/json} data { model: phi-3.5-mini-instruct, prompt: prompt, max_tokens: 1000, temperature: 0.6 } response requests.post(url, headersheaders, datajson.dumps(data)) result response.json() # 发送响应 await cl.Message(contentresult[choices][0][text]).send()6. 总结本文介绍了如何使用Python调用vLLM API来与Phi-3.5-mini-instruct模型交互并通过Chainlit构建用户友好的前端界面。主要内容包括模型简介了解Phi-3.5-mini-instruct的特点和能力API调用学习如何通过Python代码与vLLM API交互前端集成使用Chainlit构建交互式聊天界面实际应用实现代码解释器和文档生成器等实用功能通过这些示例您可以快速上手Phi-3.5-mini-instruct模型并将其集成到自己的应用中。模型支持流式响应和多种参数调整能够满足不同场景的需求。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。