【AI面试临阵磨枪-40】文本切块（Chunking）策略：固定长度、语义切块、递归切块、重叠设计

一、面试题目请详细介绍 RAG 中文本切块Chunking四大核心策略固定长度切块、语义切块、递归字符切块、切块重叠设计分别原理、优缺点、适用场景、工程选型建议。二、知识储备1. 基础概念Chunking 文本切块把长文档切分成小块用于向量化入库、检索召回是 RAG影响召回精度最重要的前置环节。切块核心矛盾块太小丢上下文、块太大语义混杂。2. 四种切块策略详解一固定长度切块Fixed-size Chunking原理按固定字符 / Token 长度一刀切比如每 512 Token 切一块顺序截取不考虑句子、段落、语义边界。优点实现最简单、速度最快、成本最低适合海量文档批量处理可控性强、容易做容量预估缺点容易截断句子、割裂语义一块内可能包含多个无关主题边界破碎严重检索精度低适用场景结构化不强、口语化、网文、杂乱文档低成本快速搭建 RAG、原型验证对召回精度要求不高的场景工程要点常用512 / 1024 Token 固定长度。二递归字符切块Recursive Character Text Splitter原理分层递归切割按优先级从大到小分隔符依次切段落换行 \n\n→单行换行 \n→句号。→逗号→空格→ 单个字符 先按大分隔符切若仍超长度再用下一级更细分隔符递归切。优点尽量保留段落、句子完整性不强行截断语义边界效果远好于固定长度实现简单工业级默认首选切块方案缺点仍不理解深层语义只靠符号规则特殊无标点文档效果一般适用场景技术文档、PDF、知识库、手册、书籍绝大多数企业 RAG 落地首选有标准标点、段落结构的正式文本三语义切块Semantic Chunking原理先按短句 / 小片段粗切对每个片段做 Embedding 向量化计算相邻片段语义相似度相似度低于阈值 → 判定语义边界从此处切分优点按语义主题自然切分不割裂上下文每块内部主题单一、纯度高RAG 召回准确率最高缺点要多次调用 Embedding成本高、速度慢阈值调优依赖经验长文档处理耗时明显增加适用场景高精度知识库、法律合同、医疗文档、专业论文对问答精准度要求极高、允许一定成本开销主题边界清晰的正式文稿四切块重叠设计Chunk Overlap / 滑动重叠原理相邻两个 Chunk 之间保留一段重复文本例如块长 1024重叠 128。后一块开头复用前一块末尾一段内容形成上下文平滑过渡。核心作用解决关键信息落在两块边界被拆分、检索漏召保持跨块上下文连续性提升问答连贯性避免断章取义优点极低成本大幅提升召回效果兼容所有切块策略固定 / 递归 / 语义都可加重叠缺点增加少量 Token、向量数量变多、存储略增工程经验值块长 512 → 重叠 64128块长 1024 → 重叠 128256重叠不宜过大超过块长 20% 收益边际递减适用场景所有生产级 RAG 都必须开启重叠是标配设计。3. 四种策略横向对比总结切块方式核心原理精度速度成本工程推荐固定长度按固定字符硬切低最快、最低原型、杂乱文本递归切块按换行 / 句号分层递归切中高快、低成本企业 RAG 默认首选语义切块向量相似度识别语义边界最高慢、高成本高精度专业场景重叠设计块间保留重复上下文提升 5%~15%微增成本全部场景必开4. 工程落地最佳选型面试直接背通用企业 RAG递归字符切块 固定重叠10%~20%高精度专业场景语义切块 适度重叠快速原型 / 杂乱网文固定长度切块 小重叠任何生产环境不允许无重叠切块必须加 Overlap5. 常见踩坑只固定长度不做递归语义割裂严重、问答乱答不开重叠边界关键信息丢失、召回漏缺语义切块阈值乱设块过碎或块过大切块统一尺寸不做自适应长句被硬截断三、破局之道面试高阶总结文本切块不是简单切字符串而是在语义完整性、块大小、速度成本、检索召回率之间做平衡。固定长度最简单但精度最差递归切块靠分隔符分层切割是工业级性价比首选语义切块通过向量相似度识别主题边界精度最高但成本高重叠设计是所有生产级 RAG 的标配用极小成本解决边界信息丢失问题。落地最优组合递归切块 合理重叠做通用基线高精度业务再叠加语义切块。四、极简代码实现Python# 1. 固定长度切块 重叠 def fixedChunk(text, chunkSize512, overlap128): chunks [] start 0 textLen len(text) while start textLen: end start chunkSize chunks.append(text[start:end]) # 滑动步进 块长 - 重叠 start chunkSize - overlap return chunks # 2. 递归字符切块 重叠 def recursiveChunk(text, chunkSize1024, overlap128): # 切割分隔符优先级 separators [\n\n, \n, 。, , ] def splitRecurse(content, sepIdx): # 不能再分 或 已经小于块长直接返回 if sepIdx len(separators) or len(content) chunkSize: return [content] # 按当前分隔符切割 parts content.split(separators[sepIdx]) res [] for p in parts: res.extend(splitRecurse(p, sepIdx 1)) return res # 先递归切分 rawChunks splitRecurse(text, 0) # 加相邻重叠 final [] for i in range(len(rawChunks)): if i 0: # 前一块末尾 当前块 merge rawChunks[i-1][-overlap:] rawChunks[i] final.append(merge) else: final.append(rawChunks[i]) return finalJavaScript// 1. 固定长度切块 重叠 function fixedChunk(text, chunkSize 512, overlap 128) { const chunks []; let start 0; const textLen text.length; while (start textLen) { const end start chunkSize; chunks.push(text.slice(start, end)); start chunkSize - overlap; } return chunks; } // 2. 递归字符切块 重叠 function recursiveChunk(text, chunkSize 1024, overlap 128) { const separators [\n\n, \n, 。, , ]; function splitRecurse(content, sepIdx) { if (sepIdx separators.length || content.length chunkSize) { return [content]; } const parts content.split(separators[sepIdx]); let res []; for (let p of parts) { res res.concat(splitRecurse(p, sepIdx 1)); } return res; } // 递归原始切块 const rawChunks splitRecurse(text, 0); // 叠加重叠 const final []; for (let i 0; i rawChunks.length; i) { if (i 0) { const merge rawChunks[i-1].slice(-overlap) rawChunks[i]; final.push(merge); } else { final.push(rawChunks[i]); } } return final; }