-python-langchain框架（3-3-常用的几种文本分割 ）

一、文本分割的核心逻辑与关键参数无论哪种分割方法核心都是通过参数控制文本块的大小和关联性先理清这几个核心参数后续方法理解会事半功倍chunk_size单个文本块的最大长度字符 / Token 数核心作用是适配大模型上下文窗口避免单块内容过长chunk_overlap相邻文本块的重叠长度通常设为 chunk_size 的 10%-20%目的是保证语义连续避免分割后上下文断裂separators分割符列表优先级从高到低决定文本 “从哪里拆”支持普通字符如。、\n或正则表达式length_function长度计算方式默认按字符数len也可自定义为按 Token 数计算适配不同模型需求。二、5 种常用分割方法场景化选型指南1. 纯句子分割适配中文语义这是最贴合中文表达习惯的分割方式以中文句子结束符。为核心分割依据优先保证每个文本块是完整的句子或句子组。核心特点按语义单位拆分避免切断完整句子适合新闻、文章、对话等以句子为核心语义单元的文本参数技巧中文场景下 chunk_overlap 可设为 5-10 个字符既保证关联又不冗余is_separator_regex 设为 False避免正则解析干扰普通分隔符匹配。2. 按段落分割适配结构化文本以空行、换行符\n为分割依据优先保留完整段落语义适合有明确段落划分的文本如文档、论文、排版规整的文案。核心特点保留段落完整性分割粒度比句子大适合对上下文完整性要求高的场景参数技巧chunk_overlap 建议设为 20% 左右因为段落间语义关联度通常更高需更多重叠保证衔接。3. 递归字符分割推荐通用最优解这是 LangChain 官方推荐的通用方法本质是 “多优先级分层分割”—— 先按段落\n拆拆不开再按句子。拆还拆不开再按字符拆。核心特点兼顾 “语义完整” 和 “长度限制”适配 90% 以上的通用场景尤其是无固定格式的长文本分割优先级段落符 → 句子符 → 普通字符最大程度保留语义完整性的同时满足长度要求。4. 按 Token 分割精准适配大模型直接按 Token 数分割而非字符数是适配大模型的精准方案 —— 因为大模型的上下文窗口是按 Token 计算的字符数无法精准对应模型处理能力。核心特点精准匹配模型 Token 限制避免因字符 / Token 换算偏差导致的超限问题实用技巧中文场景下可通过 “字符数 ×1.5” 近似估算 Token 数正式使用时需指定编码如 cl100k_base保证精准度。5. 固定字符长度分割兜底方案无特定分割符强制按固定字符数拆分是所有分割方式的 “兜底选项”。核心特点简单粗暴完全不考虑语义仅保证文本块长度符合要求适用场景无固定格式的杂乱文本如日志、无标点的纯数据文本或需要严格控制文本块长度的场景。三、实战选型建议中文通用场景文章、文档、知识库优先选递归字符分割兼顾语义和长度追求精准语义问答、摘要选纯句子分割保证每个块是完整语义单元结构化文本论文、排版文案选按段落分割保留段落级上下文大模型落地RAG、对话选按 Token 分割精准适配模型上下文窗口无格式杂乱文本选固定字符长度分割保证长度合规即可。四、避坑指南分割符优先级列表中越靠前的分割符优先级越高需按 “大粒度→小粒度” 排序如先段落再句子is_separator_regex 参数中文普通分隔符。建议设为 False避免正则转义导致匹配失败重叠长度控制chunk_overlap 不宜超过 chunk_size 的 20%否则会导致文本块冗余增加处理成本。总结文本分割的核心是平衡语义完整性和长度限制优先选择能保留语义的分割方式递归字符 / 句子分割不同场景需匹配不同分割策略中文优先句子 / 递归分割大模型落地优先 Token 分割结构化文本优先段落分割关键参数需根据文本类型调整chunk_overlap 设为 chunk_size 的 10%-20%中文分隔符匹配时关闭正则解析。看看代码如何实现123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123# -*- coding: utf-8 -*-fromlangchain_community.document_loadersimportTextLoaderfromlangchain_text_splittersimport(CharacterTextSplitter,RecursiveCharacterTextSplitter,TokenTextSplitter)# 1. 加载文本 loaderTextLoader(./txt/1.txt, encodingutf8)docsloader.load()raw_textdocs[0].page_contentprint(✅ 文本加载成功)print( 原始文本前300字符)print(raw_text[:300],...\n)# 2. “按句子分割”# 方法1纯句子分割仅按。拆分# 1. separators分割符列表优先级从高到低# 作用指定文本拆分的依据按列表顺序优先匹配# 取值字符串/正则表达式需配合is_separator_regex使用# 本场景仅用中文句子结束符。作为分割依据# 2. chunk_size单个分割块的最大字符数# 作用限制每个文本块的长度避免块过大适配大模型上下文窗口# 取值正整数单位为“字符数”中文/英文均按1个字符计算# 本场景每个句子块最多150个字符超过则继续拆分# 3. chunk_overlap相邻分割块之间的重叠字符数# 作用保证分割后相邻块有部分内容重叠避免语义断裂# 取值0 ~ chunk_size的20%推荐本场景设为5个字符重叠# 注意句子分割时可设为0段落/长文本分割建议设为10%-20%# 4. length_function计算文本长度的函数# 作用指定如何计算文本块的长度字符数/Token数等# 取值默认len按字符数计算也可自定义函数如按Token数# 本场景用内置len函数按字符数统计长度# 5. is_separator_regex是否将separators视为正则表达式# 核心说明# - Trueseparators中的字符串会被当作正则表达式解析如r。\n?匹配“句号可选换行”# - False默认separators中的字符串会被当作“普通字符串”精确匹配# 本场景设为False仅精确匹配“。”“”“”这三个普通字符不解析正则# 方法1纯句子分割仅按。拆分sentence_splitterRecursiveCharacterTextSplitter(separators[。,,],# 仅用中文句子分隔符chunk_size150,# 每个句子块最大字符数chunk_overlap5,# 块间重叠字符length_functionlen,is_separator_regexFalse)sentence_chunkssentence_splitter.split_text(raw_text)print( 按句子分割结果)foridx, chunkinenumerate(sentence_chunks):print(f句子块 {idx1}字符数{len(chunk)})print(chunk.strip())print(-*60)# 3. 其他分割方法 # 方法2按段落分割空行\n\n分隔paragraph_splitterCharacterTextSplitter(separator\n,chunk_size150,chunk_overlap20,is_separator_regexFalse)para_chunksparagraph_splitter.split_text(raw_text)print(\n 按段落分割结果 )foridx, chunkinenumerate(para_chunks):print(f段落块 {idx1}{chunk.strip()[:100]}...)# # 方法3递归字符分割推荐段落→句子→字符优先级recursive_splitterRecursiveCharacterTextSplitter(separators[\n,。,,,\n],# 拆分优先级chunk_size150,chunk_overlap15)recur_chunksrecursive_splitter.split_text(raw_text)print(\n 递归字符分割结果推荐)foridx, chunkinenumerate(recur_chunks[:2]):print(f递归块 {idx1}{chunk.strip()[:80]}...)# 方法4按Token分割适配大模型token_splitterTokenTextSplitter(encoding_namecl100k_base,chunk_size100,chunk_overlap10)token_chunkstoken_splitter.split_text(raw_text)print(\n 按Token分割结果 )foridx, chunkinenumerate(token_chunks[:2]):approx_tokenslen(chunk)*1.5# 中文近似Token数print(fToken块 {idx1}近似Token数{approx_tokens:.0f}{chunk.strip()[:80]}...)# 方法5固定字符长度分割fixed_splitterCharacterTextSplitter(separator,# 无分隔符强制按字符数拆分chunk_size80,chunk_overlap5)fixed_chunksfixed_splitter.split_text(raw_text)print(\n 固定字符长度分割结果 )foridx, chunkinenumerate(fixed_chunks[:2]):print(f固定块 {idx1}字符数{len(chunk)}{chunk.strip()})# chunk_size1 chunk_overlap0 强制分隔符分割print(\n 强制按照分隔符分割 )sentence_splitterRecursiveCharacterTextSplitter(separators[。,,],# 仅用中文句子分隔符chunk_size1,# 每个句子块最大字符数chunk_overlap0,# 块间重叠字符length_functionlen,is_separator_regexFalse)sentence_chunkssentence_splitter.split_text(raw_text)print( 按句子分割结果)foridx, chunkinenumerate(sentence_chunks):print(f句子块 {idx1}字符数{len(chunk)})print(chunk.strip())print(-*60)结果输出✅ 文本加载成功 原始文本前300字符文本切割是自然语言处理中的基础操作主要用于将较长的文本内容拆解为更小的、可处理的单元比如句子、短语或段落。常见的切割方式包括按标点符号切割、按关键词切割、按固定长度切割三种。按标点符号切割是最常用的方式通常以句号、问号、感叹号作为切割节点适用于大多数通用文本按关键词切割则需要提前设定核心关键词当文本中出现该关键词时进行切割适合针对性提取特定内容按固定长度切割则不考虑文本语义仅根据设定的字符数或字数进行拆分适用于对文本长度有明确要求的场景。无论是哪种切割方式核心目的都是为了降低文本处理的难度方便后续的文本分析、语义理解、数据提取等操 ... 按句子分割结果句子块 1字符数94文本切割是自然语言处理中的基础操作主要用于将较长的文本内容拆解为更小的、可处理的单元比如句子、短语或段落。常见的切割方式包括按标点符号切割、按关键词切割、按固定长度切割三种------------------------------------------------------------句子块 2字符数147。按标点符号切割是最常用的方式通常以句号、问号、感叹号作为切割节点适用于大多数通用文本按关键词切割则需要提前设定核心关键词当文本中出现该关键词时进行切割适合针对性提取特定内容按固定长度切割则不考虑文本语义仅根据设定的字符数或字数进行拆分适用于对文本长度有明确要求的场景------------------------------------------------------------句子块 3字符数80。无论是哪种切割方式核心目的都是为了降低文本处理的难度方便后续的文本分析、语义理解、数据提取等操作广泛应用于智能客服、文本检索、机器翻译等领域。------------------------------------------------------------ 按段落分割结果 段落块 1文本切割是自然语言处理中的基础操作主要用于将较长的文本内容拆解为更小的、可处理的单元比如句子、短语或段落。常见的切割方式包括按标点符号切割、按关键词切割、按固定长度切割三种。...段落块 2按标点符号切割是最常用的方式通常以句号、问号、感叹号作为切割节点适用于大多数通用文本按关键词切割则需要提前设定核心关键词当文本中出现该关键词时进行切割适合针对性提取特定内容按固定长度切割则...段落块 3无论是哪种切割方式核心目的都是为了降低文本处理的难度方便后续的文本分析、语义理解、数据提取等操作广泛应用于智能客服、文本检索、机器翻译等领域。... 递归字符分割结果推荐递归块 1文本切割是自然语言处理中的基础操作主要用于将较长的文本内容拆解为更小的、可处理的单元比如句子、短语或段落。常见的切割方式包括按标点符号切割、按关...递归块 2按标点符号切割是最常用的方式通常以句号、问号、感叹号作为切割节点适用于大多数通用文本按关键词切割则需要提前设定核心关键词当文本中出现该关键词时进行切割... 按Token分割结果 Token块 1近似Token数138文本切割是自然语言处理中的基础操作主要用于将较长的文本内容拆解为更小的、可处理的单元比如句子、短语或段落。常见的切割方式包括按标点符号切割、按关...Token块 2近似Token数135切割、按固定长度切割三种。按标点符号切割是最常用的方式通常以句号、问号、感叹号作为切割节点适用于大多数通用文本按关键词切割则需要提前设定核心关... 固定字符长度分割结果 固定块 1字符数76文本切割是自然语言处理中的基础操作主要用于将较长的文本内容拆解为更小的、可处理的单元比如句子、短语或段落。常见的切割方式包括按标点符号切固定块 2字符数80标点符号切割、按关键词切割、按固定长度切割三种。按标点符号切割是最常用的方式通常以句号、问号、感叹号作为切割节点适用于大多数通用文本按关键词切割 强制按照分隔符分割 按句子分割结果句子块 1字符数58文本切割是自然语言处理中的基础操作主要用于将较长的文本内容拆解为更小的、可处理的单元比如句子、短语或段落------------------------------------------------------------句子块 2字符数40。常见的切割方式包括按标点符号切割、按关键词切割、按固定长度切割三种