OpenAI 实战进阶教程 - 第十一节 : 文档搜索与摘要生成

读者群体：面向哪类从业人员？

• 软件工程师 / 后端开发人员：需要在系统中集成对文档的搜索和问答功能。
• 技术支持 / 运维人员：需要快速查询、提炼大批量文档以提供高效支持。
• 项目经理 / 产品经理：想要更好地理解并利用已有技术文档，提高团队协作效率。

---

为什么要采用文档搜索与摘要生成技术？

在传统的文档管理方式下，文档量往往十分庞大，用户需要花费大量时间去搜索和阅读；对企业而言，搜索效率低、回答不统一、难以沉淀知识 都是棘手的问题。

通过 嵌入向量检索 + GPT 内容生成 的模式，可以：

1. 动态提取文档上下文，让系统自动找到与用户问题最相关的文档片段。
2. 自动生成高质量摘要或回答，使用户无需查看整个文档，即可获取关键信息。

这不仅极大地提升了搜索效率，还让答案更准确、更贴合实际场景。

---

原理与概念简明说明

1. 文档拆分：将长文档（技术规格书、产品说明等）按逻辑或字数分割成小段，方便后续检索。
2. 生成嵌入向量：使用 OpenAI 的 text-embedding-ada-002 模型，将每个段落转换成向量表示（Embedding）。
3. 向量检索：当用户输入问题后，对该问题也生成向量表示，并与已存储的文档向量比较，选出最相似的段落。
4. GPT 内容生成：将检索到的文档片段与问题一起发给 GPT，生成最终的回答或摘要。

---

实操：将技术文档拆分为段落，生成嵌入向量

1. 文档准备与拆分

• 将产品技术文档（如 PDF、Markdown 等）转换为纯文本格式。
• 根据段落、章节、或限定长度（如 500 字/行）拆分成若干小段。
• 每个文档段落可记录为一个对象，存储段落内容与段落编号。

示例（假设已将文档转成文本并存储在 doc_text.txt 中）：

def split_document(text, max_length=500):paragraphs = []start = 0while start < len(text):end = min(start + max_length, len(text))paragraphs.append(text[start:end])start = endreturn paragraphswith open("doc_text.txt", "r", encoding="utf-8") as f:doc_text = f.read()paragraph_list = split_document(doc_text, max_length=500)

2. 为每个段落生成向量嵌入

import openaiopenai.api_key = "YOUR_API_KEY"embedding_data = []
for index, paragraph in enumerate(paragraph_list):response = openai.embeddings.create(input=paragraph,model="text-embedding-ada-002")embedding = response.data[0].embeddingembedding_data.append({"paragraph_index": index,"paragraph_text": paragraph,"embedding": embedding})

• 这里我们将段落及其对应的向量存储在列表或数据库中，以备后续检索。

---

实操：从文档中提取上下文并生成回答

1. 检索：基于相似度寻找最相关段落

当用户输入问题时，先生成问题的向量，再比较它与所有段落向量的余弦相似度，找出最相似的几个段落。

import numpy as npdef cosine_similarity(vec_a, vec_b):return np.dot(vec_a, vec_b) / (np.linalg.norm(vec_a) * np.linalg.norm(vec_b))def find_similar_paragraphs(query, embedding_data, top_k=3):# 生成 query 的向量response = openai.embeddings.create(input=query,model="text-embedding-ada-002")query_embedding = response.data[0].embedding# 计算与每个段落的相似度similarities = []for data in embedding_data:sim = cosine_similarity(query_embedding, data["embedding"])similarities.append((data, sim))# 按相似度降序排序similarities.sort(key=lambda x: x[1], reverse=True)# 返回相似度最高的段落return similarities[:top_k]

2. 组合并交给 GPT 生成答案

将检索到的段落作为上下文一起发送给 GPT，以此生成针对用户问题的回答。

def generate_answer_with_context(query, embedding_data):top_paragraphs = find_similar_paragraphs(query, embedding_data)context_texts = "\n".join([item[0]["paragraph_text"] for item in top_paragraphs])prompt = f"""
你是一个智能助手，下面是与你的问题相关的文档内容：
{context_texts}请根据这些内容回答下列问题，如无法找到答案，请直接说明：
用户问题：{query}
"""response = openai.chat.completions.create(model="gpt-3.5-turbo",messages=[{"role": "user", "content": prompt}],max_tokens=200)return response.choices[0].message.content# 示例使用
question = "产品怎么执行初始化操作？"
answer = generate_answer_with_context(question, embedding_data)
print("Answer:", answer)

示例输出：

Answer: 回答：用户可以在手表的“设置”菜单中选择“系统” > “恢复出厂设置”，然后长按确认键 5 秒，即可执行初始化操作。

说明：

1. 我们将最相似的段落拼接为 context_texts。
2. 在提示信息中让 GPT 明确知道：其回答必须基于给定的上下文。
3. 如上下文中无匹配信息，提示它告知用户“无法找到答案”。

---

小结

• 文档拆分 + 向量检索 + GPT 生成 = 一个轻量且高效的文档搜索与问答系统。
• 这一做法让 AI 工具可以在用户提问时实时寻找文档中的相关内容，大大减少了不必要的“手动翻阅”环节，提高效率。
• 对企业而言，这意味着技术文档、操作手册、产品说明都能快速转换为智能搜索问答系统，让员工或客户轻松获取关键信息。

---

练习：构建智能搜索与问答系统

1. 整理文档：
   • 找到你所在项目或公司最常用的技术文档/操作流程，转换为可读文本格式。
2. 实现分段与向量存储：
   • 试着编写或修改拆分函数，自定义分段大小；将结果存入 CSV 或数据库。
3. 完成检索与问答：
   • 实现向量相似度函数，用于搜索最相关段落；
   • 尝试根据检索到的上下文生成回答，并观察结果准确度。

通过以上步骤，你将能搭建一个贴近实际需求的文档搜索与摘要系统，让工作过程更高效、更智能。