5种文本切块策略大解析：从字符到语义，打造高效检索系统！

文本切块是构建向量索引前的重要环节避免语义切断和检索效果冲淡。文章详细解析了五种常见切块策略按字符长度切分、按Token长度切分、按句子语义切分、按段落结构切分含默认语法和自定义语法以及混合方式切分。每种策略都有其优缺点和适用场景实际应用中需根据效果调整。文本切块在上一节内容中我们介绍了如何将原始文档载入并完成基本的预处理。那么在正式构建向量索引之前还有一个绕不开的环节那就是文本切块Chunking。什么叫文本切块呢为什么要切成块Chunk呢原因很简单因为一页内容太长了而且在非标准页的内容中一页可能就是一个文档所有的内容。如果不进行切分处理那么将会导致① 词嵌入模型无法将超过长度的文本转换为向量会采取截断处理导致语义被切断② 文本篇幅过长会导致语义太“散”可能整个文档的内容讲的主题很多检索时相关内容可能被冲淡。那文本到底该怎么切分才能既不超出 embedding 模型限制又能保证最终的检索效果呢接下来我们将分别就常见的五种 Chunk 策略进行全面解析。切块策略在对原始文本进行切分时我们所遵循的首要目的不是让块过大或者过小而是让块的语义边界更合理这样我们在后续使用过程中才能更加准确的搜索到实际需要的内容。2.1 按字符长度切分在所有切块策略中最简单的一种就是严格按一定字符数量对原始内容进行切分例如每个片段是 500 个字符。同时为了避免连续两个块之间的信息背景被撕裂开的可能性相邻两个块之间还可以有一定字符的交叉重复Overlap以此来补偿语义连续性。此时我们可以发现对于块大小Chunk size和交叉重复部分存在着一定的跷跷板效应Trade-off块大小越大那么交叉重复部分便可以越小但是带来的后果就是语义可能不够集中粒度粗而块大小越小那么交叉重复部分便要相对更多但是带来的后果就是数据冗余增加使得计算词嵌入的次数增加同时 RAG 阶段更容易出现内容堆叠。具体地严格仅按照字符长度切分的代码实现如下1 def text_splitter(docs):2 text_splitter CharacterTextSplitter(3 separator, chunk_size500, chunk_overlap100,4 add_start_indexTrue)5 all_splits text_splitter.split_documents(docs)6 for i in range(len(all_splits)):7 print()8 page all_splits[i].metadata[page]9 s_index all_splits[i].metadata[start_index]10 print(f## 划分好的 chunk :\n {all_splits[i].page_content})11 print(fchunk 长度为{len(all_splits[i].page_content)})12 print(f根据索引从原始文档中找到的 chunk \n{docs[page].page_content[s_index:s_index 500]})在上述代码中第3行separator是指定分割符号默认为\n\n因为这里我们需要严格按照字符长度切分所以修改为空字符此后整篇文档两会被看成连续字符串进行处理chunk_size和chunk_overlap分别指定的是每个块字符的长度和相邻两个块之间交叉重复的长度。第4行是指定是否要返回每个块在对应 page 中的起始索引。第6行便是开始进行块划分。这里尤其需要注意的一点是相邻两个块之间有交叉重复仅对同一个 page 中的内容有效也就是说在相邻两个 page 之间确实是被直接分开的没有交叉重复的地方。当然对于普通的 txt 和 html 文件通过TextLoader和BSHTMLLoader载入后所有的内容本身就在一个 page 中。上述代码运行结束后将会看到类似如下结果## 划分好的 chunk :前言 作为《跟我一起学机器学习》的姊妹篇两年之后《跟我一起学深度学习》一书也终于出版了。 北宋大家张载有言“为天地立心 为生民立命 为往圣继绝学为万世开太平”......了计算机行业及高校所追捧的对象。 但对于绝大多数初学者来讲 想要跨入深度学习这一领域依旧存在着较高的门槛。 所以 一本数形结合、 动机原理并重chunk 长度为500根据索引从原始文档中找到的 chunk(page0) 前言 作为《跟我一起学机器学习》的姊妹篇两年之后《跟我一起学深度学习》一书也终于出版了。 北宋大家张载有言“为天地立心 为生民立命 为往圣继绝学为万世开太平”......了计算机行业及高校所追捧的对象。 但对于绝大多数初学者来讲 想要跨入深度学习这一领域依旧存在着较高的门槛。 所以 一本数形结合、 动机原理并重从上述输出结果我们可以看出对于严格按照字符长度切分的策略来说其优点是长度完全可控不会超 embedding 限制以及实现简单但是缺点也非常明显那就是容易切断语义、检索命中后上下文不完整。这种策略适用场景一般是简单的 demo或者是对检索精度要求不高的系统。以上完整代码可参见Code/Chapter03/C02_chunk_method1.py文件。2.2 按 Token 长度切分尽管通过上面的方法可以严格控制每个块的长度但是块字符的长度并不等于实际 Token 的长度。例如在使用 Qwen3 的系列 embedding 模型中常见片段是什么将会被视为一个 Token102021而生僻字鱻则会被拆成两个 Token 100024和119。因此字符长度只是约等于 Token 长度。所以另外一种方式便是严格按照 Token 长度来对文档切分成块核心示例代码如下1 from langchain_text_splitters import Tokenizer2from transformers import AutoTokenizer34 tokenizer AutoTokenizer.from_pretrained(../../Qwen/Qwen3-Embedding-0.6B, )5def text_splitter(docs):6 text_splitter CleanTokenTextSplitter(7 chunk_size10, chunk_overlap4, add_start_indexTrue)8 text_splitter._tokenizer tokenizer9 all_splits text_splitter.split_documents(docs)10 for i in range(len(all_splits)):11 print(\n)12 print(f划分好的 chunk : {all_splits[i].page_content})13 print(fchunk 长度为{len(all_splits[i].page_content)})14 token_ids tokenizer.encode(all_splits[i].page_content, add_special_tokensFalse)15 print(fchunk Token ids 为{token_ids})16 print(fchunk Token ids 长度为{len(token_ids)})17 tokens [tokenizer.decode([token_id]) for token_id in token_ids]18 print(fchunk Token 为{tokens})1920if __name__ __main__:21 docs load_text_file(../../data/ShenPiZi.txt)22 text_splitter(docs)在上述代码中第2~4行是载入Qwen3对应的tokenizer并将其用于覆盖类CleanTokenTextSplitter中的_tokenizer成员即第8行。第6~9行则是实例化类对象并进行切块处理。上述代码运行结束后将会输出类似如下结果划分好的 chunk : 上海在哪儿垚和鱻这两个生chunk 长度为13chunk Token ids 为[100633, 18493, 103379, 11319, 122400, 33108, 100024, 119, 105932, 21287]chunk Token ids 长度为10chunk Token 为[上海, 在, 哪儿, , 垚, 和, , , 这两个, 生]划分好的 chunk : 鱻这两个生僻字的读音是什么chunk 长度为13chunk Token ids 为[100024, 119, 105932, 21287, 118134, 18600, 9370, 57553, 78685, 102021]chunk Token ids 长度为10chunk Token 为[, , 这两个, 生, 僻, 字, 的, 读, 音, 是什么]划分好的 chunk : 的读音是什么壬戌之秋chunk 长度为12chunk Token ids 为[9370, 57553, 78685, 102021, 11319, 118696, 118249, 53930, 100057, 3837]chunk Token ids 长度为10chunk Token 为[的, 读, 音, 是什么, , 壬, 戌, 之, 秋, ]从上述输出结果可以明显看出在划分好的块当中如果以字符长度而论那么每个块对应的长度都超过了上面设定的长度chunk_size10而从 Token 长度而论则恰好满足设定的值。此时我们可以知道严格验证 Token 长度进行切分的优点是不会超过 embedding API 长度上限且更符合模型实际限制但是缺点就是依赖tokenizer且不同模型 token 规则不同中英文混排可能不稳定。这种切分策略比较适用于商业级 RAG 或有明确 token 上限的场景中。以上完整代码可参见Code/Chapter03/C04_chunk_method2_2.py文件。2.3 按句子语义切分从上面两种切分策略可以看出严格按照长度进行切分忽略了一个重要的因素那就是语义。例如在限制固定长度的情况最后一话可能就会被从中截断。因此我们可以考虑从语义角度来进行处理。例如先按段落切分再按换行符切分然后是空格符切分最后才是强制切分即separators[\n\n, \n, , ]。这样就能保证语义优先尽量保持完整表达但长度不是严格固定的。1 def text_splitter_recursive(docs):2 text_splitter RecursiveCharacterTextSplitter(3 chunk_size45, chunk_overlap5, add_start_indexTrue) 4 all_splits text_splitter.split_documents(docs)5 for i in range(len(all_splits)):6 print(f划分好的 chunk:\n{all_splits[i].page_content})7 print(f划分好的 chunk 长度 len(): {len(all_splits[i].page_content)})8 print(f\n)910if __name__ __main__:11 docs load_text_file(../../data/Sementic.txt)12 text_splitter_recursive(docs)上述代码便是按照语义进行切分的实现其中类RecursiveCharacterTextSplitter实例化时默认separators[\n\n, \n, , ]如有需要可修改例如增加句号逗号等优先级为从左到右。对于如下文本来说我是一个段落。作为机器学习方向的一个重要分支深度学习在近年来的发展可谓是大放异彩。随着深度学习技术地不断发展与之相关的技术应用已经深入渗透到了我们日常生活的方方面面从医疗保健、金融服务到零售、交通再到智能助理、智能家居等等尤其是在以 GPT 为代表的大语言模型出现以后深度学习技术的影子更是无处不在。如今利用 ChatGPT 来作为日常生产力工具更是成为了一种共识。上述代码运行结束后将会输出类似如下结果划分好的 chunk:我是一个段落。划分好的 chunk 长度 len(): 7划分好的 chunk:作为机器学习方向的一个重要分支深度学习在近年来的发展可谓是大放异彩。划分好的 chunk 长度 len(): 35划分好的 chunk:随着深度学习技术地不断发展与之相关的技术应用已经深入渗透到了我们日常生活的方方面面从划分好的 chunk 长度 len(): 44根据结果可以再次印证RecursiveCharacterTextSplitter默认会优先按段落、换行切不够再按字符切所以在第3行中chunk_size和chunk_overlap并不是完全等同于字符串的长度只是一个近似长度。同时如果切分的分隔符恰好满足\n\n, \n, 即符合语义切分条件那么两个块之间没有overlap部分。例如上面第几个块之间没有重复部分尽管chunk_overlap5因为满足\n切分。此时可以看出这种切分策略的优点是检索结果更自然且语义完整度更高但是缺点就是长度不稳定且差异可能较大。这种切分策略就比较适合适合对教材、说明文档等文件进行处理。以上所有完整示例代码可参见Code/Chapter03/C05_chunk_method3.py文件。2.4 按段落结构切分除了按照以不同分隔符从语义的角度来进行切分以外对于具有特殊标记的文件例如 Markdown文件我们还可以按目录结构进行切分。这样我们可以让一个小节的内容就是一个块。2.4.1 默认语法切分具体地核心示例代码如下1 from langchain_text_splitters import MarkdownHeaderTextSplitter23def text_splitter_markdown(docs):4 headers_to_split_on [(#, 一级标题), (##, 二级标题), (###, 三级标题)]5 text_splitter MarkdownHeaderTextSplitter(headers_to_split_on)6 all_splits text_splitter.split_text(docs[0].page_content)7 for i in range(len(all_splits)):8 data all_splits[i]9 print(f划分好的 chunk 目录信息:\n{data.metadata})10 print(f划分好的 chunk 内容:\n{data.page_content})11 print(f划分好的 chunk 长度 len(): {len(data.page_content)})12 print(f\n)1314if __name__ __main__:15 docs load_text_file(../../data/markdown.md)16 text_splitter_markdown(docs)在上述代码中第4行代码是给定一个规则即如何匹配各个级别的标题。第5~6行则是开始对 Markdown 文件进行分块处理。对于如下文本来说# 第一章 跟我一起学深度学习作为机器学习方向的一个重要分支深度学习在近年来的发展可谓是大放异彩。## 第 1.1 节 简介随着深度学习技术地不断发展与之相关的技术应用已经深入渗透到了我们日常生活的方方面面从医疗保健、金融服务到零售、交通再到智能助理、智能家居等等尤其是在以 GPT 为代表的大语言模型出现以后深度学习技术的影子更是无处不在。如今利用 ChatGPT 来作为日常生产力工具更是成为了一种共识。### 第 1.1.1 节 说明例如在本书的成文过程过中 ChatGPT 就为我们提供了不少的灵感和启示部分内容也是在 ChatGPT 的辅助下所完成而这在 10 年乃至 5 年前都是难以想象的。也正因如此对于这些热门应用背后技术的探索便逐渐成为了计算机行业及高校所追捧的对象。但对于绝大多数初学者来讲想要跨入深度学习这一领域依旧存在着较高的门槛。所以一本数形结合、 动机原理并重、 细致考究的入门书籍对于初学者来讲就显得十分必要了。上述代码运行结束后将会输出类似如下结果划分好的 chunk 目录信息:{一级标题: 第一章 跟我一起学深度学习}划分好的 chunk 内容:作为机器学习方向的一个重要分支深度学习在近年来的发展可谓是大放异彩。划分好的 chunk 长度 len(): 35划分好的 chunk 目录信息:{一级标题: 第一章 跟我一起学深度学习, 二级标题: 第 1.1 节 简介}划分好的 chunk 内容:随着深度学习技术地不断发展与之相关的技术应用已经深入渗透到了我们日常生活的方方面面从医疗保健、金融服务到零售、交通再到智能助理、智能家居等等尤其是在以 GPT 为代表的大语言模型出现以后深度学习技术的影子更是无处不在。如今利用 ChatGPT 来作为日常生产力工具更是成为了一种共识。划分好的 chunk 长度 len(): 148划分好的 chunk 目录信息:{一级标题: 第一章 跟我一起学深度学习, 二级标题: 第 1.1 节 简介, 三级标题: 第 1.1.1 节 说明}划分好的 chunk 内容:例如在本书的成文过程过中 ChatGPT 就为我们提供了不少的灵感和启示部分内容也是在 ChatGPT 的辅助下所完成而这在 10 年乃至 5 年前都是难以想象的。 ...从上述输出结果可以看出此时每一个块对应的就是该标题下的所有内容并且同时我们还能根据metadata属性来获得每个块对应的完整目录信息这对于后续 RAG 检索可谓是非常友好。此时可以看出这种切分策略的优点是结构清晰、章节语义完整以及检索结果逻辑更强但缺点是容易超过 Token 限制长章节 embedding 可能报错。这种切分策略的适用场景通常有技术书、API 文档、课程内容和知识库系统等但必须配合长度限制兜底机制。以上所有完整示例代码可参见Code/Chapter03/C06_chunk_method4_1.py文件。2.4.2 自定义语法切分从上面的示例用法我们可以发现什么是一级标题、什么是二级标题的语法是我们按照 Markdown 的默认语法指定的那如果被载入文件采用的是另外一套语法体系该如何处理呢例如在实际场景中可能会是下面这样的情况如直接把 word 文件转换成 txt 文件第一章 机器学习机器学习基础概念介绍。1.1 什么是有监督学习定义有监督学习也叫做有指导学习它是指模型在训练过程中需要通过真实值来对训练过程进行指导的学习过程。在有监督模型的训练过程中每次输入模型的数据都是形如(x,y)这样的样本对而模型最终学到的就是从输入x到输出y这样的映射关系。1.1.1 常见有监督算法常见有监督算法有线性回归、逻辑回归、决策树、贝叶斯算法等。1.2 什么是无监督学习定义无监督学习......第二十章 深度学习深度学习基础概念介绍。20.1 什么是卷积操作定义卷积操作是指.....20.10.1 常见的卷积神经常见的卷积神经网络有LeNet5、ResNet等。可以发现这些都不是标准 Markdown 标题但如果仍旧需要按段落结构切分那么就要用到自定义的语法方式了。此时如果我们希望第x章 xxx 表示 一级标题“x.x xxx” 表示二级标题“x.x.x xxxx” 表示三级标题那么可以通过定义相关正则表达式实现核心示例代码如下1 def text_splitter_markdown(docs):2 header_patterns [(1, r^\s*第\S章.*),3 (2, r^\s*\d\.\d(?!\.)\s.$),4 (3, r^\s*\d\.\d\.\d(?!\.)\s.$)]5 text_splitter RegexTextSplitter(header_patterns)6 all_splits text_splitter.split_text(docs[0].page_content)7 for i in range(len(all_splits)):8 data all_splits[i]9 print(f划分好的 chunk 目录信息:\n{data.metadata})10 print(f划分好的 chunk 内容:\n{data.page_content})11 print(f划分好的 chunk 长度 len(): {len(data.page_content)})12 print(f\n)1314if __name__ __main__:15 docs load_text_file(../../data/word.txt)16 text_splitter_markdown(docs)在上述代码中第24行便是配置的正则表达式来配置三级目录如有更多则继续追加。第56行则是开始按规则进行切分。对于上面的示例文本上述代码运行结束后将会输出类似如下结果划分好的 chunk 目录信息:{1 级标题: 第一章 机器学习}划分好的 chunk 内容:机器学习基础概念介绍。划分好的 chunk 长度 len(): 11划分好的 chunk 目录信息:{1 级标题: 第一章 机器学习, 2 级标题: 1.1 什么是有监督学习}划分好的 chunk 内容:定义有监督学习也叫做有指导学习它是指模型在训练过程中需要通过真实值来对训练过程进行指导的学习过程。在有监督模型的训练过程中每次输入模型的数据都是形如(x,y)这样的样本对而模型最终学到的就是从输入x到输出y这样的映射关系。划分好的 chunk 长度 len(): 115划分好的 chunk 目录信息:{1 级标题: 第一章 机器学习, 2 级标题: 1.1 什么是有监督学习, 3 级标题: 1.1.1 常见有监督算法}划分好的 chunk 内容:常见有监督算法有线性回归、逻辑回归、决策树、贝叶斯算法等。划分好的 chunk 长度 len(): 30划分好的 chunk 目录信息:{1 级标题: 第一章 机器学习, 2 级标题: 1.2 什么是无监督学习}划分好的 chunk 内容:定义无监督学习......划分好的 chunk 长度 len(): 14划分好的 chunk 目录信息:{1 级标题: 第二十章 深度学习}划分好的 chunk 内容:深度学习基础概念介绍。划分好的 chunk 长度 len(): 11划分好的 chunk 目录信息:{1 级标题: 第二十章 深度学习, 2 级标题: 20.1 什么是卷积操作}划分好的 chunk 内容:定义卷积操作是指.....划分好的 chunk 长度 len(): 14划分好的 chunk 目录信息:{1 级标题: 第二十章 深度学习, 2 级标题: 20.1 什么是卷积操作, 3 级标题: 20.10.1 常见的卷积神经}划分好的 chunk 内容:常见的卷积神经网络有LeNet5、ResNet等。划分好的 chunk 长度 len(): 26从上述输出结果可以看出按照自定义的正则表达式我们已经完全实现了根据目录来进行切分的要求。以上所有完整示例代码可参见Code/Chapter03/C06_chunk_method4_2.py文件。2.5 按混合方式切分到此我们已经完整介绍了4种块切分方式不过真正成熟的 RAG 系统不会只用一种方式而是多种方式混合切分。例如最常见的就是“结构优先 长度兜底”这样的策略。这样做的优势是保留了章节语义的同时不会超 embedding 上限且检索质量稳定这是工业界常用方案。对于先按目录结构切块再对超长小节字符长度语义递归切分示例代码如下1 def text_splitter_mixture(docs):2 headers_to_split_on [(#, 一级标题), (##, 二级标题), (###, 三级标题)]3 text_md_splitter MarkdownHeaderTextSplitter(headers_to_split_on)4 all_md_splits text_md_splitter.split_text(docs[0].page_content)5 text_rec_splitter RecursiveCharacterTextSplitter(6 chunk_size20, chunk_overlap3, add_start_indexTrue)7 all_rec_splits text_rec_splitter.split_documents(all_md_splits)8 for i in range(len(all_rec_splits)):9 data all_rec_splits[i]10 print(f划分好的 chunk 目录信息:\n{data.metadata})11 print(f划分好的 chunk 内容:\n{data.page_content})12 print(f划分好的 chunk 长度 len(): {len(data.page_content)})13 print(f\n)在上述代码运行结束以后将会得到类似如下结果划分好的 chunk 目录信息:{一级标题: 第一章 跟我一起学深度学习, start_index: 0}划分好的 chunk 内容:作为机器学习方向的一个重要分支深度学习划分好的 chunk 长度 len(): 20划分好的 chunk 目录信息:{一级标题: 第一章 跟我一起学深度学习, start_index: 17}划分好的 chunk 内容:度学习在近年来的发展可谓是大放异彩。划分好的 chunk 长度 len(): 18划分好的 chunk 目录信息:{一级标题: 第一章 跟我一起学深度学习, 二级标题: 第 1.1 节 简介, start_index: 0}划分好的 chunk 内容:随着深度学习技术地不断发展与之相关的技划分好的 chunk 长度 len(): 20....从上出结果可以看出对于原始 markdown 文件的第一章内容“作为机器学习方向的一个重要分支深度学习在近年来的发展可谓是大放异彩。”由于超过了上面设定的长度20所以被切分成了两个块大家可以将上面前两个块的结果和第2.4.1节输出结果的第一个块进行对比。以上所有完整示例代码可参见Code/Chapter03/C08_chunk_method5.py文件。到此我们就介绍了5种文本分块策略虽然看起来比较多但在实际情况中我们仍旧需要根据效果来进行调整后续章节我们也将继续介绍。假如你从2026年开始学大模型按这个步骤走准能稳步进阶。接下来告诉你一条最快的邪修路线3个月即可成为模型大师薪资直接起飞。阶段1:大模型基础阶段2:RAG应用开发工程阶段3:大模型Agent应用架构阶段4:大模型微调与私有化部署配套文档资源全套AI 大模型 学习资料朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】配套文档资源全套AI 大模型 学习资料朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】