【LangChain专栏】Retrieval 进阶：文本分块Text Splitting实践

引言LangChain文档加载将不同格式的私有知识库转换为了标准化的Document对象。但这只是RAG落地的第一步——加载后的长文档无法直接用于向量化与检索不合理的文本处理会直接导致检索失准、LLM回答效果大幅下降。RAG效果的三大核心环节文本分块Text Splitting、文本嵌入Embedding、向量存储Vector Stores。文本分块Text SplittingRAG效果的核心基石文本分块也叫文本切分/分块就是将加载后的长文档拆分为多个长度合适、语义完整的文本小块Chunk。它是RAG全流程中最具挑战性、也最影响最终效果的环节之一。为什么必须做文本分块为什么不能把整篇文档直接向量化、存入向量库核心原因有两点突破LLM的Token限制任何大模型都有固定的上下文窗口上限如GPT-3.5是16k TokenLlama 3是8k/70k Token一篇上百页的PDF文档其文本长度远超模型的上下文上限根本无法直接放入Prompt中提升检索的精准度减少无效信息干扰如果整篇文档作为一个块用户查询一个具体问题时检索会返回整篇文档其中90%都是与问题无关的内容。这些无效信息会严重干扰LLM的推理甚至导致模型忽略关键答案再次出现幻觉问题。而合理的分块能让检索系统精准匹配到与用户问题相关的最小语义单元把最核心的上下文喂给LLM既解决了Token限制问题又大幅提升了回答的精准度。主流分块策略与适用场景LangChain提供了十几种文本拆分器背后对应着不同的分块策略我们先从底层逻辑上梳理5种主流分块策略的优劣与适用场景分块策略核心原理优势劣势适用场景固定字符数切分按照指定的字符数硬性切分可设置重叠窗口实现简单、速度快、块长均匀极易切断句子、破坏语义完整性极易产生语义碎片仅适用于格式极其简单的纯文本不推荐生产环境使用句子级切分按照句号、问号、换行符等句子边界切分优先保证语义完整不破坏句子结构语义完整性好块长不均匀长句子可能超出Token限制短文本、对话内容、新闻资讯等短句为主的场景递归字符切分按优先级依次尝试段落、句子、单词、字符级切分直到块长符合要求平衡块长均匀性与语义完整性适配绝大多数文本类型对无标点的长文本、代码适配性需额外优化通用文本、技术文档、PDF文档等绝大多数场景LangChain默认首选策略Token级切分按照LLM的Token计数规则切分严格控制每个块的Token数量与LLM的Token计数逻辑完全一致精准控制输入Token数可能切断语义单元中文场景易出现分词碎片化需要严格控制Token数的场景适配固定上下文窗口的模型语义级切分基于嵌入模型计算句子间的语义相似度相似度突变处作为切分点完美保证每个块的语义独立性与完整性检索精准度最高计算成本高、速度慢需要额外调用嵌入模型对语义精准度要求极高的场景如法律文书、医疗文档、学术论文LangChain核心文本拆分器实战详解基于上述分块策略LangChain封装了对应的文本拆分器这里我们详解生产环境中最常用的6类拆分器包含核心用法、参数详解与适用场景。所有拆分器都继承自TextSplitter基类提供了3个核心API适配不同的输入格式split_text(text: str)输入字符串返回切分后的字符串列表create_documents(texts: List[str])输入字符串列表返回切分后的Document对象列表split_documents(documents: List[Document])输入Document对象列表返回切分后的Document对象列表RAG全流程最常用。RecursiveCharacterTextSplitter通用场景首选递归字符文本拆分器是LangChain最常用、最通用的拆分器也是load_and_split()方法的默认拆分器。它的核心逻辑是按照预设的分隔符优先级列表依次尝试切分文本。默认分隔符列表为[\n\n, \n, , ]也就是先按段落切分段落太长按行切分行太长按空格切分最后按单个字符切分最大限度保证语义不被切断。# 1. 导入依赖 from langchain_community.document_loaders import PyPDFLoader from langchain_text_splitters import RecursiveCharacterTextSplitter # 2. 先加载文档 loader PyPDFLoader(data/Java开发手册.pdf) docs loader.load() # 3. 初始化递归字符拆分器 text_splitter RecursiveCharacterTextSplitter( chunk_size300, # 每个块的最大字符数 chunk_overlap50, # 相邻块的重叠字符数避免边界信息丢失 separators[\n\n, \n, 。, , , , , ], # 中文场景优化添加中文标点 keep_separatorTrue, # 保留切分用的标点符号避免语义断裂 length_functionlen, # 长度计算函数默认按字符数 add_start_indexTrue, # 在元数据中记录块在原文中的起始位置便于溯源 ) # 4. 执行文档拆分 split_docs text_splitter.split_documents(docs) # 5. 查看结果 print(f拆分后的块数量{len(split_docs)}) print(f第一个块内容{split_docs[0].page_content}) print(f第一个块元数据{split_docs[0].metadata})中文场景优化提示默认分隔符列表是为英文设计的中文场景必须添加中文句号、问号、感叹号等标点优先按完整句子切分大幅提升语义完整性。CharacterTextSplitter固定字符切分基于固定字符数的拆分器优先按指定的分隔符切分若切分后的片段仍超过chunk_size则硬性切分。适合简单文本场景不推荐复杂文档使用。from langchain_text_splitters import CharacterTextSplitter # 初始化拆分器 text_splitter CharacterTextSplitter( chunk_size20, chunk_overlap10, separator。, # 按中文句号切分 keep_separatorTrue, ) # 执行拆分 text RAG的全称是检索增强生成。它是缓解大模型幻觉的核心方案。通过检索外部知识库让大模型基于权威内容生成答案。 chunks text_splitter.split_text(text) # 查看结果 for i, chunk in enumerate(chunks): print(f块{i1}{chunk})TokenTextSplitterToken级精准切分基于Token数量的拆分器严格按照LLM的Token计数规则切分完美适配模型的上下文窗口限制避免出现「字符数达标但Token数超限」的问题。# 1. 导入依赖 from langchain_text_splitters import TokenTextSplitter # 2. 初始化Token拆分器 text_splitter TokenTextSplitter( chunk_size50, # 每个块的最大Token数 chunk_overlap5, # 相邻块的重叠Token数 encoding_namecl100k_base, # OpenAI模型的编码器适配GPT-3.5/4 ) # 3. 执行拆分 text 大语言模型的Token计数规则与字符数不同中文一个汉字通常对应2-3个Token英文一个单词通常对应1个Token因此按Token切分能更精准地控制模型输入长度。 chunks text_splitter.split_text(text) # 4. 查看结果 print(f拆分后的块数量{len(chunks)}) for i, chunk in enumerate(chunks): print(f块{i1}{chunk})扩展用法也可以通过CharacterTextSplitter.from_tiktoken_encoder()创建基于Token计数的字符拆分器兼顾语义边界与Token数控制。SemanticChunker语义级智能切分语义拆分器是更高级的拆分方案它不基于字符或Token数而是通过嵌入模型计算相邻句子的语义相似度当相似度低于阈值时就判定为语义边界执行切分。这种方式能让每个块都保持完整的独立语义检索精准度远高于常规拆分方式。前置依赖pip install langchain_experimental# 1. 导入依赖 from langchain_experimental.text_splitter import SemanticChunker from langchain_openai import OpenAIEmbeddings # 2. 初始化嵌入模型语义拆分必须搭配嵌入模型 embeddings OpenAIEmbeddings(modeltext-embedding-ada-002) # 3. 初始化语义拆分器 text_splitter SemanticChunker( embeddingsembeddings, breakpoint_threshold_typepercentile, # 断点阈值类型percentile/standard_deviation/interquartile breakpoint_threshold_amount70, # 阈值大小值越小拆分越细块越多 ) # 4. 加载并拆分文档 with open(./data/技术白皮书.txt, encodingutf-8) as f: text f.read() docs text_splitter.create_documents([text]) # 5. 查看结果 print(f语义拆分后的块数量{len(docs)}) for doc in docs: print(f语义块内容{doc.page_content[:100]})专属格式拆分器代码、Markdown、HTML针对代码、Markdown、HTML等有固定语法结构的文本LangChain提供了专属拆分器能基于语法结构切分避免破坏代码块、标题层级等固定格式。示例1Python代码拆分from langchain_text_splitters import RecursiveCharacterTextSplitter, Language # 初始化Python代码专属拆分器 python_splitter RecursiveCharacterTextSplitter.from_language( languageLanguage.PYTHON, # 支持java/js/go/rust等几十种编程语言 chunk_size200, chunk_overlap20, ) # 待拆分的Python代码 code def hello_world(): print(Hello, World!) def rag_retrieval(query, vector_db): # 执行向量检索 docs vector_db.similarity_search(query, k3) # 拼接上下文 context \n.join([doc.page_content for doc in docs]) return context # 执行拆分 chunks python_splitter.split_text(code) for i, chunk in enumerate(chunks): print(f代码块{i1}\n{chunk}\n)示例2Markdown文档拆分from langchain_text_splitters import MarkdownHeaderTextSplitter # 定义要拆分的标题层级 headers_to_split_on [ (#, 一级标题), (##, 二级标题), (###, 三级标题), ] # 初始化Markdown标题拆分器 md_splitter MarkdownHeaderTextSplitter( headers_to_split_onheaders_to_split_on, strip_headersFalse, # 是否保留标题在内容中 ) # 待拆分的Markdown文本 md_text # RAG核心原理 检索增强生成是缓解大模型幻觉的核心方案。 ## 核心流程 RAG分为数据处理、检索、生成三大阶段。 ### 数据处理 包括文档加载、文本分块、向量化、存储。 ### 检索阶段 将用户查询向量化匹配相关文档块。 ## 优势 相比模型微调RAG有更低的开发成本和更高的时效性。 # 执行拆分 chunks md_splitter.split_text(md_text) for chunk in chunks: print(f内容{chunk.page_content}) print(f元数据标题层级{chunk.metadata}\n)文本分块的实践分块没有唯一的标准答案不同场景、不同数据类型需要适配不同的策略chunk_size的核心选型原则通用问答场景chunk_size设为300-800字符对应500-1000 Token兼顾语义完整性与检索精准度长文本/技术文档场景chunk_size设为800-1500字符对应1000-2000 Token保证技术方案、逻辑推理的完整性问答对/FAQ场景chunk_size设为100-300字符一个问答对对应一个块极致提升检索精准度核心原则chunk_size必须小于模型上下文窗口的1/10保证一次检索至少能放入3-5个块同时预留足够的空间给用户查询和模型输出。chunk_overlap的设置技巧重叠窗口的核心作用是避免边界信息丢失保证跨块的语义连贯性通用场景overlap设为chunk_size的10%-20%比如chunk_size500overlap设为50-100技术文档、法律文书等强逻辑场景overlap可提升至20%-30%避免逻辑链条被切断禁止设置overlap chunk_size会触发报错同时产生大量冗余数据。分块的避坑指南禁止不分块直接入库无论文档多短都建议做基础分块避免单篇文档过长导致检索失准禁止过度拆分把文本拆成单句/单词级别会破坏语义完整性检索时无法匹配到完整的上下文中文场景必须优化分隔符不要直接使用英文默认分隔符必须添加中文标点优先按句子/段落切分分块前必须做数据清洗提前去除文档中的页眉页脚、广告、导航栏、无效空格等噪音数据避免无效内容进入检索环节。文本切分中的chunk_size与chunk_overlap在 RAG 系统中文本切分Chunking是保证检索和大模型推理效率的关键步骤。这里将chunk_size块大小和chunk_overlap重叠长度集中说明。chunk_size每个块的最大长度定义每个文本块包含的最大字符数或 token 数。作用控制每个 chunk 的长度保证能够被大模型接收避免超出最大 token 限制。选择原则太小→ 生成过多 chunk检索成本高。太大 → chunk 内包含无关信息多影响大模型推理示例文本长度2500 字符chunk_size 1000切分结果Chunk1: 1-1000Chunk2: 1001-2000Chunk3: 2001-2500chunk_overlap相邻块的重叠部分定义相邻 chunk 之间重复的字符或 token 数量。作用保证关键内容不会因为切分而被截断提高语义完整性。选择原则一般为 chunk_size 的 10%-20%。太小 → 可能截断关键句。太大 → 冗余信息多向量库大小增加示例chunk_size 1000chunk_overlap 200切分结果Chunk1: 1-1000Chunk2: 801-1800 # 与 Chunk1 重叠 200Chunk3: 1601-2600 # 与 Chunk2 重叠 200关键句落在边界也能被检索到语义完整性高。原文———————————————————————————————Chunk1: [---------1000---------]Chunk2: [---------1000---------] (重叠200)Chunk3: [---------1000---------] (重叠200)chunk_size 控制块长度chunk_overlap 控制语义衔接