RAG 系统优化全流程：从数据入库到召回排序

RAG（Retrieval-Augmented Generation）系统的检索质量直接决定生成内容的上限。本文从工程落地角度，系统梳理 RAG 检索链路的三个核心阶段——入库、查询与召回。针对每个阶段的关键技术（语义分割、问答模拟、查询改写、语义校验、混合检索、语义重排）给出定义、问题背景、常用策略及适用场景。1.入库长文档（技术规范、论文、产品手册）通常包含多个独立且逻辑完整的主题，例如背景介绍、核心原理、操作步骤、常见问题等。若采用固定长度或简单段落切分（即传统的 chunking），极易将一个主题的前半部分与另一主题的后半部分拼接到同一个检索单元中，造成：检索返回的片段语义不连贯，大模型难以正确理解；用户查询某主题时只能获得不完整的信息；上下文窗口被无关边界信息浪费；表格被切断行列关系；图片被直接丢弃；公式丢失结构；多列布局打乱阅读顺序。这一问题导致大模型接收到的语境信息支离破碎。传统文本分块方法造成的因果断裂，使得AI只能关注局部细节而难以把握整体脉络，最终导致机械重复内容而无法进行宏观概括。要解决这一问题，必须在数据预处理阶段采取系统性措施。解决方案是：在文本分块前先使用大模型进行整体概括，再由大模型执行智能分块，确保每个文本片段都包含完整的上下文信息。本节将重点介绍三项核心技术——语义分割、问答模拟和边界标定，它们共同构成了构建高质量索引的基础。1.1 语义分割语义分割是指识别文档中自然存在的主题边界，将全文重新组织为一系列语义内聚、主题独立的块。每个块内部围绕单一核心主题，块之间主题明显切换。其目标是保证每个检索单元都是一个完整的、可独立理解的语义单元，从而避免传统切分带来的碎片化问题。语义分割主要有三种实现方式：基于结构标记的方法通过识别Markdown标题、HTML标题标签或PDF大纲等结构化标记，将每个标题及其后续内容划分为独立主题块。该方法对富文本的支持程度取决于原始标记的完整性：表格和公式可完整保留，但图片需要预处理。适用于格式规范的文档类型，如技术博客、Wiki和产品手册。基于嵌入的滑动窗口方法将文档分句后计算相邻句子的向量相似度，在相似度显著下降处确定边界。该方法对富文本支持较弱，需先将表格转换为线性文本，否则可能导致拆分。主要适用于纯文本、无标题且格式简单的长文档。基于大模型的分割方法这是本文重点推荐的技术方案。基于大模型的分割是指向大模型（如 GPT-4、Qwen 等）提供整篇文档，要求模型直接输出按主题拆分后的结果，每个主题块遵循格式：主题：主题名称正文：该主题下的完整内容模型不需要显式输出“边界”位置，而是通过理解文档的篇章结构，自动判断从哪里开始一个新主题，并将该主题的所有相关内容聚合在一起输出。这种方法对富文本的支持最佳，因为大模型能够理解文档的宏观结构，自动避免拆分表格、图片描述等富内容，并可根据需要补全指代信息。具体操作时，提示词应明确要求模型识别文档