GLM-4-9B-Chat-1M Chainlit调用进阶：流式响应+Token统计+延迟监控

GLM-4-9B-Chat-1M Chainlit调用进阶流式响应Token统计延迟监控1. 项目概述今天我们来深入探索GLM-4-9B-Chat-1M大模型的高级调用技巧。这个模型支持惊人的1M上下文长度相当于约200万中文字符在长文本处理方面表现卓越。通过Chainlit前端与vLLM后端的结合我们不仅能实现基础对话还能获得流式响应体验、实时Token统计和精确的延迟监控。这些功能对于实际应用中的性能优化和用户体验提升至关重要。2. 环境准备与快速部署2.1 确认模型部署状态首先确保vLLM服务已正常启动。通过WebShell执行以下命令检查部署状态cat /root/workspace/llm.log如果看到类似下面的输出说明模型已成功加载INFO:Uvicorn running on http://0.0.0.0:8000 INFO:Model loaded successfully: glm-4-9b-chat-1m INFO:Ready to serve requests2.2 Chainlit前端配置创建Chainlit应用文件配置与vLLM后端的连接# app.py import chainlit as cl import aiohttp import json import time from typing import AsyncGenerator # vLLM服务端点 VLLM_ENDPOINT http://localhost:8000/v1/chat/completions3. 实现流式响应功能3.1 基础流式调用实现流式响应让用户能够实时看到模型生成的内容而不是等待全部生成完毕再显示async def stream_chat_completion(messages: list, max_tokens: int 2048): 流式调用vLLM API payload { model: glm-4-9b-chat-1m, messages: messages, max_tokens: max_tokens, stream: True, temperature: 0.7 } async with aiohttp.ClientSession() as session: async with session.post(VLLM_ENDPOINT, jsonpayload) as response: async for line in response.content: if line.startswith(bdata: ): data line.decode(utf-8)[6:-1] if data ! [DONE]: chunk json.loads(data) yield chunk3.2 Chainlit流式响应集成在Chainlit中处理流式响应并实时显示cl.on_message async def main(message: cl.Message): # 初始化响应消息 msg cl.Message(content) await msg.send() # 收集消息历史 messages [{role: user, content: message.content}] full_response start_time time.time() token_count 0 # 处理流式响应 async for chunk in stream_chat_completion(messages): if choices in chunk and chunk[choices]: delta chunk[choices][0].get(delta, {}) if content in delta: content delta[content] full_response content token_count 1 # 实时更新消息内容 await msg.stream_token(content) # 计算总耗时 end_time time.time() total_time end_time - start_time # 添加统计信息 stats_message f\n\n---\n**统计信息**: 生成 {token_count}个Token | 耗时 {total_time:.2f}秒 | 速度 {token_count/total_time:.1f}Token/秒 await msg.stream_token(stats_message) # 完成消息 await msg.update()4. Token统计与性能监控4.1 实时Token计数实现通过扩展响应处理来精确统计Token使用情况class TokenCounter: def __init__(self): self.total_tokens 0 self.prompt_tokens 0 self.completion_tokens 0 def update_from_response(self, response_data): if usage in response_data: usage response_data[usage] self.prompt_tokens usage.get(prompt_tokens, 0) self.completion_tokens usage.get(completion_tokens, 0) self.total_tokens self.prompt_tokens self.completion_tokens # 在消息处理中使用 token_counter TokenCounter()4.2 延迟监控与性能分析实现详细的性能监控功能class PerformanceMonitor: def __init__(self): self.start_time None self.first_token_time None self.end_time None self.token_timestamps [] def start(self): self.start_time time.time() self.token_timestamps [] return self def record_first_token(self): if self.first_token_time is None: self.first_token_time time.time() def record_token(self): self.token_timestamps.append(time.time()) def finish(self): self.end_time time.time() def get_metrics(self): if not self.start_time or not self.end_time: return {} total_time self.end_time - self.start_time time_to_first_token self.first_token_time - self.start_time if self.first_token_time else 0 # 计算Token生成速率 token_rate len(self.token_timestamps) / total_time if total_time 0 else 0 return { total_time: total_time, time_to_first_token: time_to_first_token, tokens_per_second: token_rate, total_tokens: len(self.token_timestamps) }5. 完整的高级调用示例5.1 集成所有功能的完整实现将流式响应、Token统计和延迟监控整合到一个完整的解决方案中import chainlit as cl import aiohttp import json import time import asyncio from typing import AsyncGenerator, Dict, Any class AdvancedGLM4Chat: def __init__(self, endpoint: str http://localhost:8000/v1/chat/completions): self.endpoint endpoint self.session None async def ensure_session(self): if self.session is None or self.session.closed: self.session aiohttp.ClientSession() async def stream_chat(self, messages: list, max_tokens: int 2048) - AsyncGenerator[Dict[str, Any], None]: 高级流式聊天接口 await self.ensure_session() payload { model: glm-4-9b-chat-1m, messages: messages, max_tokens: max_tokens, stream: True, temperature: 0.7, top_p: 0.9 } try: async with self.session.post(self.endpoint, jsonpayload) as response: async for line in response.content: if line.startswith(bdata: ): data line.decode(utf-8)[6:-1] if data ! [DONE]: try: chunk json.loads(data) yield chunk except json.JSONDecodeError: continue except Exception as e: yield {error: str(e)} async def close(self): if self.session: await self.session.close() # 初始化聊天实例 chat_instance AdvancedGLM4Chat() cl.on_message async def handle_message(message: cl.Message): # 创建监控实例 monitor PerformanceMonitor().start() token_counter TokenCounter() # 初始化响应消息 msg cl.Message(content) await msg.send() # 准备对话历史 messages [{role: user, content: message.content}] full_response first_token_received False try: # 处理流式响应 async for chunk in chat_instance.stream_chat(messages): if error in chunk: await msg.stream_token(f错误: {chunk[error]}) break if choices in chunk and chunk[choices]: choice chunk[choices][0] delta choice.get(delta, {}) # 处理内容更新 if content in delta: content delta[content] full_response content # 记录第一个Token的时间 if not first_token_received: monitor.record_first_token() first_token_received True monitor.record_token() await msg.stream_token(content) # 更新使用统计 if usage in chunk: token_counter.update_from_response(chunk) except Exception as e: await msg.stream_token(f\n请求处理异常: {str(e)}) finally: monitor.finish() metrics monitor.get_metrics() # 显示详细统计信息 stats f --- **性能统计**: - 总生成Token: {metrics[total_tokens]}个 - 总耗时: {metrics[total_time]:.2f}秒 - 首Token延迟: {metrics[time_to_first_token]:.2f}秒 - 生成速度: {metrics[tokens_per_second]:.1f} Token/秒 - 提示Token: {token_counter.prompt_tokens}个 - 总Token消耗: {token_counter.total_tokens}个 await msg.stream_token(stats) await msg.update() cl.on_chat_end async def on_chat_end(): await chat_instance.close()5.2 运行Chainlit应用创建启动脚本并运行应用# 启动Chainlit应用 chainlit run app.py -w --port 7860访问提供的URL即可体验增强版的GLM-4-9B-Chat-1M聊天界面享受流式响应和实时性能监控。6. 实用技巧与优化建议6.1 性能优化配置根据实际需求调整vLLM配置以获得最佳性能# 优化后的调用参数 optimized_params { model: glm-4-9b-chat-1m, messages: messages, max_tokens: 1024, # 根据需求调整 temperature: 0.7, top_p: 0.9, stream: True, stop: [|endoftext|, |im_end|] # 自定义停止词 }6.2 错误处理与重试机制增强应用的健壮性async def robust_stream_chat(messages, max_retries3): 带重试机制的流式调用 for attempt in range(max_retries): try: async for chunk in chat_instance.stream_chat(messages): yield chunk break # 成功则退出重试循环 except (aiohttp.ClientError, asyncio.TimeoutError) as e: if attempt max_retries - 1: yield {error: f请求失败: {str(e)}} else: await asyncio.sleep(2 ** attempt) # 指数退避6.3 长上下文优化策略针对1M长上下文的特殊优化def optimize_for_long_context(messages, max_context_tokens1000000): 长上下文优化处理 # 实现上下文截断、摘要生成等优化策略 # 确保不超过模型的最大上下文长度 current_length sum(len(msg[content]) for msg in messages) if current_length max_context_tokens * 0.8: # 保留20%余量 # 实现智能截断或摘要生成逻辑 messages smart_truncation(messages, max_context_tokens) return messages7. 总结通过本文介绍的高级调用技巧你已经掌握了GLM-4-9B-Chat-1M模型的流式响应、Token统计和延迟监控等核心功能。这些功能不仅提升了用户体验还为性能优化提供了数据支持。关键收获实现了真正的流式响应用户无需等待完整响应精确统计Token使用情况便于成本控制和优化全面监控响应延迟识别性能瓶颈针对长上下文场景提供了优化建议在实际应用中你可以根据具体需求进一步扩展这些功能比如添加更详细的性能分析、实现自定义的上下文管理策略或者集成到更大的应用系统中。GLM-4-9B-Chat-1M的1M上下文能力为处理长文档、复杂对话和多轮交互提供了强大基础结合这些高级调用技巧你将能充分发挥模型的潜力。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。