大模型应用：多轮对话(prompt工程)

概述

在与大型语言模型（如ChatGPT）交互的过程中，我们常常体验到与智能助手进行连贯多轮对话的便利性。那么，当我们开启一个新的聊天时，系统是如何管理聊天上下文的呢？

一、初始上下文的建立

1. 创建新会话

当用户开启一个新的聊天时，应用程序后端会为该对话创建一个独立的会话（session），并分配一个唯一的会话ID。这确保了每个对话都是独立的，防止不同对话之间的混淆。

2. 系统提示的引入

在新会话的开始，系统会向模型提供一段隐藏的系统提示（System Prompt）。这段提示用于设定模型在整个对话中的角色、语气和行为准则。例如：

• 角色设定：让模型扮演助理、教师、技术专家等特定身份。
• 语言风格：规定回复使用正式、友好、幽默等特定语气。
• 行为准则：避免生成不适当内容，遵守伦理规范。

系统提示对用户是不可见的，但对模型的回复有着深远影响，它确保了模型在整个对话过程中保持一致的行为。

二、上下文的积累与管理

1. 对话历史的记录

随着用户与模型的交互进行，系统会将每一次的用户输入和模型回复按照时间顺序累积，形成当前会话的消息队列。这使得模型在生成回复时，可以参考之前的对话内容，保持连贯性和一致性。

2. 上下文窗口的限制

大型语言模型在处理输入时，有一个固定的上下文窗口（Context Window），表示模型一次能处理的最大文本长度。例如，GPT-3的上下文窗口为4096个Token。

当对话长度超过上下文窗口时，系统需要对输入进行截断。为了确保模型继续遵循最初的系统提示，应用程序会：

• 优先保留系统提示：系统提示始终位于输入的开头，不被截断。
• 截断早期对话：从最早的用户和模型对话开始移除，保留最近的交互内容。

3. 上下文组装

在生成回复时，应用程序会将以下内容按顺序拼接，形成当前的输入上下文：

1. 系统提示：设定模型行为的隐藏指令。
2. 重要信息：用户提供的关键数据或参数（如果有）。
3. 最近的对话历史：包括最近几轮的用户输入和模型回复。

通过这种方式，模型能够在一次交互中获得必要的上下文信息，生成符合预期的回复。

三、系统提示的重要作用

1. 保证模型行为一致性

由于模型在每次生成回复时，只能参考当前的输入文本，因此系统提示需要在每次输入中提供，确保模型始终按照设定的角色和风格进行回复。

2. 防止不当内容生成

系统提示中包含的行为准则和禁止事项，有助于模型避免生成不合规或不适当的内容，提升对话的安全性和可靠性。

3. 提高用户体验

通过精心设计的系统提示，模型能够更好地理解用户意图，提供高质量、个性化的回复，提升用户的交互体验。

四、技术实现细节

1. 会话管理

• 创建会话ID：为每个新对话分配唯一的会话ID，用于区分不同用户的会话。
• 状态跟踪：记录每个会话的状态信息，便于后续的上下文管理。

2. 消息队列维护

• 记录交互内容：保存当前会话中的所有用户输入和模型回复。
• 长度检查：在发送给模型之前，检查输入的总长度，确保不超过上下文窗口限制。

3. 上下文优化

• 截断策略：当超过上下文窗口限制时，从早期对话开始移除内容。
• 摘要处理：对于重要但较早的内容，通过生成摘要的方式保留关键信息。

五、模型与应用的职责划分

需要明确的是，大型语言模型本身并不具备会话管理、消息队列维护或上下文组装的能力。这些功能由应用程序在模型之上实现。具体来说：

• 模型的职责：根据输入生成下一段文本。
• 应用的职责：管理对话上下文、用户会话、内容过滤等。

通过合理的职责划分，应用程序能够充分发挥模型的能力，提供丰富多样的应用场景。

六、用户数据的安全与隐私

• 独立的会话：每个新对话都是独立的，模型不会记住之前会话中的信息，保护用户隐私。
• 数据限制：用户的输入和模型的回复都严格限定在当前会话内，不会跨会话传播。

七、总结

大型语言模型在新聊天中管理上下文，主要通过以下方式实现：

1. 创建新会话，重置上下文：确保每个对话的独立性。
2. 使用系统提示：设定模型的角色、风格和行为准则，确保模型行为一致。
3. 维护消息队列：记录对话历史，供模型参考，提高回复的连贯性。
4. 上下文管理：在上下文窗口限制内，优化输入内容，保证模型有效处理。

示例

使用多轮会话示例代码

下面的代码，演示如何在代码中实现与大型语言模型的多轮对话。我们将引入一个循环，允许用户多次输入，并维护会话的上下文，使模型的回复能够参考之前的对话内容。

代码

import torch
import logging
from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
from qwen_vl_utils import process_vision_info# 设置日志配置，包含Transformers库的日志
logging.basicConfig(format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',level=logging.INFO  # 设置全局日志级别为INFO，避免过多日志输出
)
# 获取Transformers库的logger并设置级别为INFO
transformers_logger = logging.getLogger('transformers')
transformers_logger.setLevel(logging.INFO)# 设置模型缓存目录
cache_dir = '/data/model/'# 加载模型，启用GPU加速
model = Qwen2_5_VLForConditionalGeneration.from_pretrained("Qwen/Qwen2.5-VL-3B-Instruct",torch_dtype=torch.bfloat16,attn_implementation="sdpa",device_map="auto",cache_dir=cache_dir
)
logging.info("模型已加载到设备：%s，使用attn_implementation='sdpa'", model.device)# 设置视觉令牌范围以平衡性能和成本
min_pixels = 256 * 28 * 28
max_pixels = 1280 * 28 * 28# 加载处理器
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-3B-Instruct",min_pixels=min_pixels,max_pixels=max_pixels,cache_dir=cache_dir
)
logging.info("处理器已加载，设置了自定义的视觉令牌范围。")# 初始化消息内容列表，包含系统提示（可选）
messages = [# 可以添加系统提示，设定模型的行为{"role": "system","content": [{"type": "text", "text": "你是一位友好的智能助手，乐于回答用户的问题并提供帮助。"},],}
]# 多轮会话循环
while True:user_input = input("用户：")if user_input.lower() in ['退出', 'exit', 'quit']:print("结束对话。")break# 将用户输入添加到消息列表messages.append({"role": "user","content": [{"type": "text", "text": user_input}]})# 准备推理输入logging.info("开始准备推理输入...")text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)image_inputs, video_inputs = process_vision_info(messages)inputs = processor(text=[text],images=image_inputs,videos=video_inputs,padding=True,return_tensors="pt",)inputs = inputs.to(model.device)logging.info("推理输入已准备完毕。")# 进行推理并生成输出logging.info("开始生成输出...")generated_ids = model.generate(**inputs, max_new_tokens=512)logging.info("输出生成完毕。")# 处理生成的输出generated_ids_trimmed = [out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)]output_text = processor.batch_decode(generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]  # 取第一个元素print("助手：" + output_text.strip())# 将模型的回复添加到消息列表messages.append({"role": "assistant","content": [{"type": "text", "text": output_text.strip()}]})# 为了防止超过上下文长度限制，可以在这里检查并截断消息列表# 例如，只保留最近的n轮对话max_history = 5  # 保留最近5轮对话（可根据需要调整）# 保留系统提示加上最近的max_history*2条消息（用户和助手各一条，所以乘以2）if len(messages) > max_history * 2 + 1:  # +1是因为系统提示算一条messages = [messages[0]] + messages[-max_history*2:]logging.info("消息列表已截断，保留最近的 %d 轮对话。", max_history)

代码说明

1. 引入多轮会话循环：使用while True循环，不断读取用户输入，实现多轮对话。

2. 管理消息列表：使用messages列表维护对话历史，在每一轮中将用户和助手的消息添加到列表中。

3. 处理用户退出指令：如果用户输入退出、exit或quit，程序将结束对话循环。

4. 准备推理输入：在每一轮对话中，使用processor.apply_chat_template方法将messages列表转换为模型可接受的输入格式。

5. 调用模型生成回复：使用model.generate方法生成模型的回复，并将其解码为文本。

6. 显示模型回复并添加到对话历史：将模型的回复打印出来，并添加到messages列表中，以在后续对话中提供上下文。

7. 管理上下文长度：为了防止超过模型的上下文窗口限制（即最大输入长度），在每轮对话后检查messages列表的长度，并截断早期的对话内容，只保留最近的max_history轮对话。

示例运行

拖到最右侧，重点看输入给大模型的messages在不断的累积

2025-02-27 04:00:07,656 - root - INFO - 处理器已加载，设置了自定义的视觉令牌范围。
用户：你好！
2025-02-27 04:00:49,596 - root - INFO - 开始准备推理输入...
2025-02-27 04:00:49,596 - root - INFO - [{'role': 'system', 'content': [{'type': 'text', 'text': '你是一位友好的智能助手，乐于回答用户的问题并提供帮助。'}]}, {'role': 'user', 'content': [{'type': 'text', 'text': '你好！'}]}]
2025-02-27 04:00:49,609 - root - INFO - 推理输入已准备完毕。
2025-02-27 04:00:49,609 - root - INFO - 开始生成输出...
2025-02-27 04:00:59,579 - root - INFO - 输出生成完毕。
助手：你好！有什么可以帮助你的吗？
用户：你能给我讲个笑话吗？
2025-02-27 04:01:11,942 - root - INFO - 开始准备推理输入...
2025-02-27 04:01:11,942 - root - INFO - [{'role': 'system', 'content': [{'type': 'text', 'text': '你是一位友好的智能助手，乐于回答用户的问题并提供帮助。'}]}, {'role': 'user', 'content': [{'type': 'text', 'text': '你好！'}]}, {'role': 'assistant', 'content': [{'type': 'text', 'text': '你好！有什么可以帮助你的吗？'}]}, {'role': 'user', 'content': [{'type': 'text', 'text': '你能给我讲个笑话吗？'}]}]
2025-02-27 04:01:11,943 - root - INFO - 推理输入已准备完毕。
2025-02-27 04:01:11,943 - root - INFO - 开始生成输出...
2025-02-27 04:01:32,729 - root - INFO - 输出生成完毕。
助手：当然可以！这是一个经典的笑话：为什么电脑经常生病？因为它的窗户（Windows）总是开着！
用户：哈哈，很有趣。再讲一个脑筋急转弯？
2025-02-27 04:02:08,591 - root - INFO - 开始准备推理输入...
2025-02-27 04:02:08,591 - root - INFO - [{'role': 'system', 'content': [{'type': 'text', 'text': '你是一位友好的智能助手，乐于回答用户的问题并提供帮助。'}]}, {'role': 'user', 'content': [{'type': 'text', 'text': '你好！'}]}, {'role': 'assistant', 'content': [{'type': 'text', 'text': '你好！有什么可以帮助你的吗？'}]}, {'role': 'user', 'content': [{'type': 'text', 'text': '你能给我讲个笑话吗？'}]}, {'role': 'assistant', 'content': [{'type': 'text', 'text': '当然可以！这是一个经典的笑话：为什么电脑经常生病？因为它的窗户（Windows）总是开着！'}]}, {'role': 'user', 'content': [{'type': 'text', 'text': '哈哈，很有趣。再讲一个脑筋急转弯？'}]}]
2025-02-27 04:02:08,592 - root - INFO - 推理输入已准备完毕。
2025-02-27 04:02:08,593 - root - INFO - 开始生成输出...
2025-02-27 04:02:34,326 - root - INFO - 输出生成完毕。
助手：好的，这个脑筋急转弯挺有趣的：什么东西越洗越脏？答案是水。
用户：谢谢你的回答
2025-02-27 04:03:03,807 - root - INFO - 开始准备推理输入...
2025-02-27 04:03:03,807 - root - INFO - [{'role': 'system', 'content': [{'type': 'text', 'text': '你是一位友好的智能助手，乐于回答用户的问题并提供帮助。'}]}, {'role': 'user', 'content': [{'type': 'text', 'text': '你好！'}]}, {'role': 'assistant', 'content': [{'type': 'text', 'text': '你好！有什么可以帮助你的吗？'}]}, {'role': 'user', 'content': [{'type': 'text', 'text': '你能给我讲个笑话吗？'}]}, {'role': 'assistant', 'content': [{'type': 'text', 'text': '当然可以！这是一个经典的笑话：为什么电脑经常生病？因为它的窗户（Windows）总是开着！'}]}, {'role': 'user', 'content': [{'type': 'text', 'text': '哈哈，很有趣。再讲一个脑筋急转弯？'}]}, {'role': 'assistant', 'content': [{'type': 'text', 'text': '好的，这个脑筋急转弯挺有趣的：什么东西越洗越脏？答案是水。'}]}, {'role': 'user', 'content': [{'type': 'text', 'text': '谢谢你的回答'}]}]
2025-02-27 04:03:03,809 - root - INFO - 推理输入已准备完毕。
2025-02-27 04:03:03,809 - root - INFO - 开始生成输出...
2025-02-27 04:03:27,048 - root - INFO - 输出生成完毕。
助手：不客气，随时欢迎你来提问！
用户：退出
结束对话。

另外多模态大模型可以支持复杂的会话messages，单次输入给大模型的输入可以如下：

conversation = [{"role": "user","content": [{"type": "image"}, {"type": "text", "text": "Hello, how are you?"}],},{"role": "assistant","content": "I'm doing well, thank you for asking. How can I assist you today?",},{"role": "user","content": [{"type": "text", "text": "Can you describe these images and video?"},{"type": "image"},{"type": "image"},{"type": "video"},{"type": "text", "text": "These are from my vacation."},],},{"role": "assistant","content": "I'd be happy to describe the images and video for you. Could you please provide more context about your vacation?",},{"role": "user","content": "It was a trip to the mountains. Can you see the details in the images and video?",},
]# default:
prompt_without_id = processor.apply_chat_template(conversation, add_generation_prompt=True
)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\n<|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?<|vision_start|><|image_pad|><|vision_end|><|vision_start|><|image_pad|><|vision_end|><|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'# add ids
prompt_with_id = processor.apply_chat_template(conversation, add_generation_prompt=True, add_vision_id=True
)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\nPicture 1: <|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?Picture 2: <|vision_start|><|image_pad|><|vision_end|>Picture 3: <|vision_start|><|image_pad|><|vision_end|>Video 1: <|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'

注意事项

• 上下文长度限制：大型语言模型对输入文本的长度是有最大限制的（例如4096个Token）。在实际应用中，需要根据模型的实际限制，调整max_history的值，或者采用更加复杂的截断和摘要策略。

• 视觉信息处理：示例代码中包含了对图像和视频输入的处理。如果当前对话不涉及图像或视频，可以简化相关处理，或者在需要时动态地添加图像或视频信息到messages中。

• 系统提示的作用：在messages列表中添加"role": "system"的消息，可以设定模型的整体行为和风格。系统提示通常只需在对话开始时添加一次，后续对话中无需重复。

• 日志级别设置：为了避免过多的日志输出，将全局日志级别从DEBUG调整为INFO。根据需要，可以进一步调整日志级别。

• 模型性能与资源：运行此代码需要具备支持相应模型大小的计算资源（例如GPU内存）。在实际应用中，根据硬件条件选择合适的模型规模。