《AI大模型应用开发实战从入门到精通共60篇》057、文档问答系统：从PDF解析到智能问答的全流程实现

文档问答系统从PDF解析到智能问答的全流程实现踩坑实录一个PDF解析引发的血案上周三凌晨两点我盯着终端里吐出的乱码发呆。客户发来的那份300页的PDF合同用PyPDF2解析后全是“□□□□□□”这样的方块。更诡异的是有些段落明明有文字提取出来却变成了空白。这不是我第一次在PDF解析上翻车但这次让我下定决心——必须把整个文档问答系统的坑都填平。如果你做过文档问答一定遇到过类似场景PDF里表格数据丢失、OCR识别出的文字顺序错乱、长文档切分后上下文断裂导致回答牛头不对马嘴。今天这篇笔记我就把从PDF解析到RAG检索增强生成全流程的实战经验拆开揉碎每个环节的坑和填坑方法都写清楚。第一步PDF解析——别信任何一个现成库1.1 解析库选型没有银弹我试过PyMuPDF、pdfplumber、PyPDF2、pdfminer.six每个都有脾气。直接说结论PyMuPDFfitz速度最快对标准PDF支持好但遇到扫描件直接躺平pdfplumber表格提取王者但大文件内存爆炸别问我怎么知道的PyPDF2轻量但脆弱加密PDF直接报错pdfminer.six最稳但最慢适合需要精确布局的场景我的做法是多引擎兜底importfitz# PyMuPDFimportpdfplumberfrompdfminer.high_levelimportextract_textdefparse_pdf_safe(file_path):多引擎解析一个挂了换另一个try:# 先试PyMuPDF最快docfitz.open(file_path)textforpageindoc:textpage.get_text()doc.close()iflen(text.strip())100:# 检查是否有效returntextexceptExceptionase:print(fPyMuPDF挂了:{e})# 这里踩过坑别直接抛异常try:# PyMuPDF不行就上pdfplumberwithpdfplumber.open(file_path)aspdf:text\n.join([page.extract_text()forpageinpdf.pages])iflen(text.strip())100:returntextexceptExceptionase:print(fpdfplumber也挂了:{e})# 最后用pdfminer慢但稳try:textextract_text(file_path)returntextexcept:raiseValueError(所有解析引擎都失败了检查PDF是否加密或损坏)1.2 扫描件PDFOCR是逃不掉的客户给的PDF如果是扫描件本质是图片上面所有方法都白搭。我踩过的坑是直接用Tesseract OCR结果中文识别率惨不忍睹。正确姿势先用PyMuPDF判断是否扫描件defis_scanned_pdf(file_path):判断PDF是否扫描件检查每页是否有可提取文本docfitz.open(file_path)forpageindoc:textpage.get_text()iflen(text.strip())50:# 有足够文本就不是扫描件doc.close()returnFalsedoc.close()returnTrue如果是扫描件别用Tesseract用PaddleOCR百度开源中文识别吊打TesseractfrompaddleocrimportPaddleOCRimportfitzdefocr_scanned_pdf(file_path):扫描件PDF OCR处理ocrPaddleOCR(use_angle_clsTrue,langch)# 中文模型docfitz.open(file_path)full_text[]forpage_numinrange(len(doc)):pagedoc[page_num]# 把PDF页转成图片pixpage.get_pixmap(dpi300)# 300dpi够用了别设太高img_pathf/tmp/page_{page_num}.pngpix.save(img_path)# OCR识别resultocr.ocr(img_path,clsTrue)# 按行排序避免文字乱序lines[]forlineinresult[0]:textline[1][0]bboxline[0]# 坐标信息lines.append((bbox[0][1],text))# 按y坐标排序lines.sort(keylambdax:x[0])# 从上到下排序page_text\n.join([l[1]forlinlines])full_text.append(page_text)doc.close()return\n.join(full_text)注意PaddleOCR第一次运行会下载模型大概200MB记得提前下载好。别在生产环境临时下载会超时。1.3 表格提取pdfplumber的隐藏技能很多PDF里的表格用普通文本提取会变成一堆空格和换行。pdfplumber的表格提取功能被严重低估defextract_tables_from_pdf(file_path):提取PDF中的表格返回Markdown格式tables_markdown[]withpdfplumber.open(file_path)aspdf:forpage_num,pageinenumerate(pdf.pages):tablespage.extract_tables()fortableintables:# 转成Markdown表格md_table[]forrowintable:# 处理None值cleaned_row[cellifcellelseforcellinrow]md_table.append(| | .join(cleaned_row) |)# 添加表头分隔线iflen(md_table)1:md_table.insert(1,| | .join([---]*len(table[0])) |)tables_markdown.append(\n.join(md_table))return\n\n.join(tables_markdown)这样提取的表格可以直接喂给LLM比纯文本效果好得多。第二步文本切分——别让上下文死在边界上2.1 朴素切分的坑很多人直接用text.split(\n\n)切分段落然后每个段落独立做向量化。结果就是一个问题涉及两个段落时回答会漏掉一半信息。我踩过的坑一个合同条款跨了两页切分后前半段说“甲方义务”后半段说“乙方义务”问“甲方的义务是什么”只返回了前半段。2.2 语义切分RecursiveCharacterTextSplitter的正确用法LangChain的RecursiveCharacterTextSplitter是神器但参数调不好就是灾难fromlangchain.text_splitterimportRecursiveCharacterTextSplitterdefsmart_chunk_text(text,chunk_size500,chunk_overlap100):智能切分保留上下文重叠splitterRecursiveCharacterTextSplitter(chunk_sizechunk_size,chunk_overlapchunk_overlap,separators[\n\n,\n,。,,,,, ,],# 别这样写separators[\n\n, \n] 会丢失句子边界length_functionlen,)chunkssplitter.split_text(text)returnchunks关键参数chunk_size500中文500字左右太短语义不完整太长向量检索精度下降chunk_overlap10020%的重叠保证边界信息不丢失separators从大到小排列优先按段落切不行再按句子2.3 结构化切分保留文档层级对于合同、论文这类有层级结构的文档光切分不够还要保留标题层级defhierarchical_chunk(text,max_depth3):按标题层级切分保留结构信息importre# 匹配多级标题第X章、第X节、X.X.X等patterns[r^第[一二三四五六七八九十]章\s*(.*)$,# 第一章r^第[一二三四五六七八九十]节\s*(.*)$,# 第一节r^\d\.\d\s(.*)$,# 1.1r^\d\.\d\.\d\s(.*)$,# 1.1.1]chunks[]current_chunk{title:,content:,level:0}forlineintext.split(\n):matchedFalseforlevel,patterninenumerate(patterns):matchre.match(pattern,line.strip())ifmatch:# 保存上一个chunkifcurrent_chunk[content]:chunks.append(current_chunk)# 开始新chunkcurrent_chunk{title:match.group(1),content:line\n,level:level}matchedTruebreakifnotmatched:current_chunk[content]line\nifcurrent_chunk[content]:chunks.append(current_chunk)returnchunks这样每个chunk都带着标题信息检索时可以优先匹配同标题下的内容。第三步向量化与检索——Embedding模型的选择3.1 中文Embedding别用OpenAI的text-embedding-ada-002实测OpenAI的ada模型对中文长文本效果一般特别是专业术语多的文档。推荐用国产模型BAAI/bge-large-zh-v1.5目前中文Embedding的SOTA768维效果吊打adamoka-ai/m3e-base轻量级适合部署在低配机器上shibing624/text2vec-base-chinese老牌模型稳定fromsentence_transformersimportSentenceTransformer# 加载模型第一次会下载modelSentenceTransformer(BAAI/bge-large-zh-v1.5)defembed_chunks(chunks):批量向量化注意batch_size别太大# 别这样写model.encode(chunks) 会OOMembeddingsmodel.encode(chunks,batch_size32,show_progress_barTrue)returnembeddings3.2 向量数据库FAISS就够了别一上来就上Milvus、Pinecone小项目FAISS完全够用importfaissimportnumpyasnpclassVectorStore:def__init__(self,dimension768):self.dimensiondimension self.indexfaiss.IndexFlatIP(dimension)# 内积相似度self.chunks[]defadd_chunks(self,chunks,embeddings):添加文档块embeddingsnp.array(embeddings).astype(float32)# 归一化内积等价于余弦相似度faiss.normalize_L2(embeddings)self.index.add(embeddings)self.chunks.extend(chunks)defsearch(self,query_embedding,top_k5):检索最相似的chunkquery_embeddingnp.array([query_embedding]).astype(float32)faiss.normalize_L2(query_embedding)scores,indicesself.index.search(query_embedding,top_k)results[]forscore,idxinzip(scores[0],indices[0]):ifidx!-1:results.append({chunk:self.chunks[idx],score:float(score)})returnresults注意FAISS的IndexFlatIP需要归一化向量否则内积结果没有意义。第四步RAG问答——让LLM学会“看文档”4.1 Prompt模板别让LLM自由发挥直接丢给LLM“根据文档回答问题”会得到一堆幻觉。必须用结构化Promptdefbuild_rag_prompt(query,context_chunks):构建RAG问答Prompt# 拼接上下文限制token数context\n\n.join([c[chunk]forcincontext_chunks])# 截断到4000字符防止超长iflen(context)4000:contextcontext[:4000]...promptf你是一个文档问答助手。请根据以下文档内容回答问题。 如果文档中没有相关信息请明确说“文档中未提及”不要编造。 文档内容{context}问题{query}回答returnprompt关键点明确要求“文档中未提及”时不要编造限制上下文长度避免超出LLM的上下文窗口把文档放在问题前面让LLM先理解上下文4.2 多轮对话保留历史上下文单轮问答不够用户可能会追问。需要维护对话历史classRAGChat:def__init__(self,vector_store,llm,max_history5):self.vector_storevector_store self.llmllm self.history[]self.max_historymax_historydefchat(self,query):# 1. 检索相关文档query_embeddingembed_chunks([query])[0]context_chunksself.vector_store.search(query_embedding,top_k5)# 2. 构建带历史的Prompthistory_textforhinself.history[-self.max_history:]:history_textf用户{h[query]}\n助手{h[answer]}\npromptf你是一个文档问答助手。以下是对话历史{history_text}现在请根据以下文档内容回答最新问题。 文档内容{chr(10).join([c[chunk]forcincontext_chunks])}最新问题{query}回答# 3. 调用LLManswerself.llm.generate(prompt)# 4. 保存历史self.history.append({query:query,answer:answer})iflen(self.history)self.max_history*2:self.historyself.history[-self.max_history:]returnanswer4.3 引用溯源让回答可验证用户问“这个数据来源是哪里”时如果回答不了就尴尬了。在返回结果时带上来源defanswer_with_source(query,context_chunks):带来源的问答sources[]fori,chunkinenumerate(context_chunks):# 提取来源信息文件名、页码等source_infochunk.get(source,f文档片段{i1})sources.append(source_info)answerllm.generate(build_rag_prompt(query,context_chunks))return{answer:answer,sources:sources,confidence:context_chunks[0][score]ifcontext_chunkselse0}第五步部署与优化——别让模型跑在单机上5.1 模型量化显存不够怎么办如果部署在低配机器上Embedding模型和LLM都需要量化# Embedding模型量化fromsentence_transformersimportSentenceTransformer modelSentenceTransformer(BAAI/bge-large-zh-v1.5)# 转为FP16显存减半model.half()# LLM量化以ChatGLM3为例fromtransformersimportAutoModel,AutoTokenizer tokenizerAutoTokenizer.from_pretrained(THUDM/chatglm3-6b,trust_remote_codeTrue)modelAutoModel.from_pretrained(THUDM/chatglm3-6b,trust_remote_codeTrue).quantize(4).half().cuda()注意量化后精度会下降但中文问答场景下影响不大。5.2 缓存机制别重复计算同一个文档被多次提问时Embedding计算是重复的。加个缓存importhashlibimportjsonclassCacheEmbedding:def__init__(self,cache_fileembedding_cache.json):self.cache_filecache_filetry:withopen(cache_file,r)asf:self.cachejson.load(f)except:self.cache{}defget_embedding(self,text):keyhashlib.md5(text.encode()).hexdigest()ifkeyinself.cache:returnself.cache[key]embeddingmodel.encode([text])[0].tolist()self.cache[key]embedding# 定期保存iflen(self.cache)%1000:withopen(self.cache_file,w)asf:json.dump(self.cache,f)returnembedding5.3 异步处理别让用户等PDF解析和向量化是耗时操作用异步队列处理importasynciofromconcurrent.futuresimportThreadPoolExecutor executorThreadPoolExecutor(max_workers4)asyncdefprocess_document_async(file_path):异步处理文档loopasyncio.get_event_loop()# 解析PDFIO密集型用线程池textawaitloop.run_in_executor(executor,parse_pdf_safe,file_path)# 切分文档chunksawaitloop.run_in_executor(executor,smart_chunk_text,text)# 向量化CPU密集型也用线程池embeddingsawaitloop.run_in_executor(executor,embed_chunks,chunks)# 存入向量库vector_store.add_chunks(chunks,embeddings)return{status:success,chunks_count:len(chunks)}个人经验总结PDF解析永远是瓶颈别指望一个库解决所有问题多引擎兜底OCR是标配。如果客户给的是扫描件提前说清楚需要额外处理时间。切分粒度决定问答质量500字左右的chunk100字重叠按标题层级保留结构。这个参数我调了两个月才找到最优解。Embedding模型选国产中文场景下bge-large-zh-v1.5比OpenAI的ada好30%以上而且免费。Prompt工程比模型重要同样的文档好的Prompt能让GPT-3.5的效果超过GPT-4。核心是“明确边界结构化输出”。部署时先量化再优化4-bit量化FAISS缓存可以在4GB显存的显卡上跑通6B模型。别一上来就上32G显存的配置。最后一条血泪教训永远在生产环境前做压力测试。我遇到过100个PDF同时上传时内存直接爆掉。加个队列限流一次只处理5个。这套流程我跑了半年从最初的乱码PDF到现在的智能问答踩过的坑都写在上面了。如果你也在做文档问答系统希望这篇笔记能帮你少走弯路。有问题欢迎在评论区交流我看到会回复。