Lychee-Rerank处理长文本技巧：滑动窗口与关键信息提取

Lychee-Rerank处理长文本技巧滑动窗口与关键信息提取如果你用过Lychee-Rerank这类重排序模型肯定遇到过这个头疼的问题文档太长塞不进去。模型对输入长度有限制但现实中的文档——比如几十页的合同、几十万字的论文、冗长的技术报告——可不会乖乖变短。直接截断可能会把最关键的信息给扔了。硬塞进去模型直接报错。这就像让你在10秒钟内读完一本小说然后回答问题根本不可能。别担心这篇文章就是来解决这个问题的。我会分享几个我们团队在实际项目中验证过的实用技巧核心思路就两个怎么把长文档“切”得更聪明以及怎么在“切”之前先把精华提炼出来。我会用具体的代码示例带你一步步搞定合同、论文这类长文本的排序场景。1. 为什么长文本对重排序模型是个挑战在深入技巧之前我们先简单聊聊为什么会有这个限制。这能帮你更好地理解后面解决方案的设计思路。像Lychee-Rerank这类基于Transformer架构的模型其处理能力受限于一个叫“最大上下文长度”的参数。你可以把它想象成模型的工作记忆区大小是固定的。当你把一篇长文档和一个查询语句一起喂给模型时如果它们的总长度超过了这个记忆区模型就无法有效处理要么直接拒绝要么性能大幅下降。更麻烦的是长文档里往往充斥着大量无关或重复的信息。如果一股脑全塞给模型不仅会挤占宝贵的内存还可能让模型被噪音干扰无法聚焦在真正相关的片段上。所以处理长文本的核心本质上是一个信息筛选和聚焦的过程。2. 基础策略滑动窗口分割法最直接的方法就是把长文档切成一个个小段分别让模型去评估每个小段与查询的相关性。这里的关键在于怎么切才能既符合模型限制又不破坏原文的连贯性和完整性简单按固定字符数切很可能会把一个完整的句子或一个关键概念从中间斩断。2.1 基于句子或自然段的分割更好的做法是基于语义单元进行分割比如句子或自然段。这样能最大程度保证每个片段本身是完整的。import re from typing import List def split_by_sentences(text: str, max_chunk_size: int 500) - List[str]: 按句子分割文本并尽量使每个块接近最大尺寸。 参数: text: 原始长文本 max_chunk_size: 每个文本块的最大字符数目标 返回: 分割后的文本块列表 # 使用简单的句子分割可根据需要替换为更复杂的NLP库如spaCy、nltk sentences re.split(r(?[。.?!]), text) sentences [s.strip() for s in sentences if s.strip()] chunks [] current_chunk [] current_size 0 for sentence in sentences: sent_size len(sentence) # 如果当前句子本身超过最大块大小需要特殊处理如按逗号再分 if sent_size max_chunk_size: if current_chunk: chunks.append(.join(current_chunk)) current_chunk [] current_size 0 # 处理超长句子可以按逗号、分号等进一步分割 sub_parts re.split(r(?[,;]), sentence) for part in sub_parts: if part.strip(): chunks.append(part.strip()) else: if current_size sent_size max_chunk_size and current_chunk: # 当前块已满保存并开始新块 chunks.append(.join(current_chunk)) current_chunk [sentence] current_size sent_size else: # 添加到当前块 current_chunk.append(sentence) current_size sent_size # 不要忘记最后一个块 if current_chunk: chunks.append(.join(current_chunk)) return chunks # 示例用法 long_document 这是一段非常长的合同文本。它包含了许多条款和条件。第一条是关于付款的...后续很长 chunks split_by_sentences(long_document, max_chunk_size400) print(f将文档分割成了 {len(chunks)} 个块。) for i, chunk in enumerate(chunks): print(f块 {i1} (长度:{len(chunk)}): {chunk[:50]}...)2.2 引入重叠的滑动窗口但是按句子切有个潜在问题一个关键信息可能刚好落在两个片段的边界上导致模型无法看到完整的上下文。为了解决这个问题我们可以引入重叠的滑动窗口。就像你拍照时为了拍全景会拍很多张有重叠的照片然后拼接一样。def sliding_window_chunks(text: str, window_size: int 400, overlap: int 50) - List[str]: 使用滑动窗口生成有重叠的文本块。 参数: text: 原始文本 window_size: 窗口大小字符数 overlap: 重叠部分的字符数 返回: 滑动窗口块列表 chunks [] start 0 text_length len(text) while start text_length: # 计算窗口结束位置 end min(start window_size, text_length) # 提取当前窗口的文本 chunk text[start:end] chunks.append(chunk) # 移动窗口步长为窗口大小减去重叠部分 start (window_size - overlap) return chunks # 更智能的版本在句子边界处对齐窗口避免切断句子 def sliding_window_sentence_aware(text: str, window_size: int 400, overlap: int 50) - List[str]: sentences re.split(r(?[。.?!]), text) sentences [s.strip() for s in sentences if s.strip()] chunks [] current_chunk [] current_size 0 i 0 while i len(sentences): sent sentences[i] sent_size len(sent) # 如果当前句子能放入当前块且不超过窗口大小 if current_size sent_size window_size: current_chunk.append(sent) current_size sent_size i 1 else: # 当前块已满保存 if current_chunk: chunks.append(.join(current_chunk)) # 处理重叠回溯一些句子作为新块的开头 overlap_text [] overlap_size 0 j len(current_chunk) - 1 while j 0 and overlap_size overlap: # 从当前块的末尾开始往回取句子直到满足重叠量 overlap_text.insert(0, current_chunk[j]) # 插入到开头保持顺序 overlap_size len(current_chunk[j]) j - 1 # 新块以重叠文本开始 current_chunk overlap_text current_size overlap_size # 不增加i下一轮循环会再次尝试加入当前句子 # 处理最后一个块 if current_chunk: chunks.append(.join(current_chunk)) return chunks使用有重叠的窗口能确保边界上的信息有机会出现在多个块中减少了因分割而丢失关键上下文的概率。3. 进阶技巧关键信息提取优先滑动窗口解决了长度问题但没解决信息密度问题。一个长达千字的段落可能核心观点就两句话。如果我们能在分割前先把文档的“精华”抽出来然后用精华部分去做重排序效率会高得多。这就是关键信息提取的思路。3.1 利用摘要模型提取核心句一个非常有效的策略是先用一个轻量级的文本摘要模型或提取式摘要方法从长文档中抽出最有可能包含关键信息的句子然后用这些句子代表原文去进行重排序。# 假设我们有一个简单的基于TextRank的提取式摘要函数这里使用伪代码展示思路 # 在实际应用中你可以使用像BERT Extractive Summarizer这样的库。 def extract_key_sentences(text: str, query: str None, top_k: int 10) - List[str]: 从文本中提取最重要的句子。 如果提供了查询语句可以偏向于提取与查询更相关的句子。 参数: text: 原始文本 query: 可选的查询语句用于指导提取 top_k: 返回的句子数量 返回: 提取出的关键句子列表 # 1. 将文本分割成句子 sentences re.split(r(?[。.?!]), text) sentences [s.strip() for s in sentences if s.strip()] # 这是一个简化的示例。实际实现可能需要 # - 计算句子嵌入例如使用Sentence-BERT # - 计算句子之间的相似度矩阵 # - 使用PageRank或类似算法对句子排序 # - 如果存在query计算每个句子与query的相似度作为权重 # 为简单起见这里模拟返回最长的前k个句子实际中这并非好方法 sentences.sort(keylen, reverseTrue) return sentences[:top_k] # 结合关键句提取和重排序的工作流示例 def rerank_long_document_with_extraction(long_doc: str, query: str, rerank_model): 处理长文档重排序的工作流先提取关键句再对关键句排序。 # 步骤1: 提取关键句子 key_sentences extract_key_sentences(long_doc, queryquery, top_k15) # 步骤2: 对提取出的句子进行重排序 # 假设rerank_model是一个可以计算query和句子相关性的函数 scores [] for sent in key_sentences: # 这里需要调用你的Lychee-Rerank模型 # score rerank_model.predict(query, sent) # 为示例我们使用一个假分数 score len(sent) / 100 # 模拟分数 scores.append((sent, score)) # 按分数降序排序 scores.sort(keylambda x: x[1], reverseTrue) # 返回排序后的句子及其分数 return scores # 使用示例 long_contract 甲方委托方...很长... 第十条 违约责任 ...很长 user_query 如果乙方延迟交付需要承担什么责任 # 假设我们有rerank_model # results rerank_long_document_with_extraction(long_contract, user_query, rerank_model)这种方法的好处是极大地降低了需要处理的总文本量。你不再需要把整个文档切成上百个片段去评分只需要对几十个核心句子进行排序速度快且更容易聚焦。3.2 结合嵌入模型进行语义搜索在提取关键句之前我们还可以先用一个快速的嵌入模型比如Sentence Transformer进行一次粗筛。具体做法是将长文档切成稍大的块比如每块1000字为每个块计算嵌入向量然后与查询的嵌入向量计算相似度只保留相似度最高的前N个块再对这些块进行精细的关键句提取和重排序。# 伪代码展示层次化筛选的思路 def hierarchical_rerank(long_doc: str, query: str, embed_model, rerank_model): 层次化重排序先用快速嵌入模型粗筛再用重排序模型精排。 # 第一层粗粒度分割与筛选 coarse_chunks split_by_sentences(long_doc, max_chunk_size1000) # 较大的块 # 计算每个粗块的嵌入 chunk_embeddings [embed_model.encode(chunk) for chunk in coarse_chunks] query_embedding embed_model.encode(query) # 计算余弦相似度并排序 from sklearn.metrics.pairwise import cosine_similarity import numpy as np similarities cosine_similarity([query_embedding], chunk_embeddings)[0] # 获取相似度最高的前K个粗块的索引 top_k_coarse 5 top_indices np.argsort(similarities)[-top_k_coarse:][::-1] # 第二层对筛选出的粗块进行细粒度处理 all_candidate_sentences [] for idx in top_indices: chunk coarse_chunks[idx] # 从重要块中提取关键句子 key_sents extract_key_sentences(chunk, queryquery, top_k5) all_candidate_sentences.extend(key_sents) # 第三层用强大的重排序模型对筛选出的句子进行精排 final_scores [] for sent in all_candidate_sentences: # score rerank_model.predict(query, sent) # 实际调用 score len(sent) / 100 # 模拟 final_scores.append((sent, score)) final_scores.sort(keylambda x: x[1], reverseTrue) return final_scores这种“粗排 精排”的流水线是处理超长文档的工业级常见做法。它平衡了精度和效率先用低成本的方法过滤掉大量无关内容再把计算资源留给最相关的部分进行深度分析。4. 实战处理一份技术合同让我们用一个更完整的例子把上面的技巧串起来。假设你有一份软件外包技术合同用户想问关于“知识产权归属”和“违约赔偿”的问题。class LongDocReranker: def __init__(self, embed_model, rerank_model, summary_modelNone): 初始化长文档重排序器。 参数: embed_model: 用于快速语义搜索的嵌入模型如SentenceTransformer rerank_model: 用于精细排序的重排序模型如Lychee-Rerank summary_model: 可选用于提取摘要的模型 self.embed_model embed_model self.rerank_model rerank_model self.summary_model summary_model def process(self, long_text: str, query: str, top_n: int 5): 处理长文档查询的核心流程。 # 步骤1: 基于语义的粗筛 print(步骤1: 进行粗粒度语义筛选...) coarse_chunks self._split_into_coarse_chunks(long_text, chunk_size800) top_chunks self._semantic_filter(coarse_chunks, query, keep_top_k3) # 步骤2: 从相关块中提取候选句子 print(步骤2: 从相关块中提取候选句子...) candidate_sentences [] for chunk in top_chunks: sents self._extract_candidate_sentences(chunk, query) candidate_sentences.extend(sents) # 去重基于简单哈希 unique_sentences list({sent: None for sent in candidate_sentences}.keys()) # 步骤3: 使用重排序模型进行精排 print(步骤3: 使用重排序模型进行精细排序...) ranked_results self._rerank_sentences(unique_sentences, query) # 返回Top N结果 return ranked_results[:top_n] def _split_into_coarse_chunks(self, text, chunk_size800): 将文本分割成粗粒度块基于段落。 # 这里按双换行符分割作为段落实际可根据文档结构调整 paragraphs [p.strip() for p in text.split(\n\n) if p.strip()] chunks [] current_chunk [] current_size 0 for para in paragraphs: para_size len(para) if current_size para_size chunk_size and current_chunk: chunks.append(\n.join(current_chunk)) current_chunk [para] current_size para_size else: current_chunk.append(para) current_size para_size if current_chunk: chunks.append(\n.join(current_chunk)) return chunks def _semantic_filter(self, chunks, query, keep_top_k3): 使用嵌入模型筛选最相关的块。 if not chunks: return [] # 编码所有块和查询 chunk_embeddings self.embed_model.encode(chunks) query_embedding self.embed_model.encode(query) # 计算相似度 from sklearn.metrics.pairwise import cosine_similarity import numpy as np sims cosine_similarity([query_embedding], chunk_embeddings)[0] top_indices np.argsort(sims)[-keep_top_k:][::-1] return [chunks[i] for i in top_indices] def _extract_candidate_sentences(self, chunk, query): 从块中提取可能与查询相关的句子。 # 简单实现返回包含查询关键词的句子以及最长的几个句子。 sentences re.split(r(?[。.?!]), chunk) sentences [s.strip() for s in sentences if s.strip()] candidates [] # 规则1: 包含查询关键词的句子 query_keywords set(query.replace(?, ).replace(, ).split()) for sent in sentences: for kw in query_keywords: if len(kw) 1 and kw in sent: # 避免单字噪声 candidates.append(sent) break # 规则2: 如果候选太少补充一些长句子假设长句子信息量更大 if len(candidates) 3: long_sentences sorted(sentences, keylen, reverseTrue)[:3] candidates.extend(long_sentences) # 去重并返回 return list(dict.fromkeys(candidates)) # 保持顺序去重 def _rerank_sentences(self, sentences, query): 使用重排序模型对句子进行排序。 # 这里应该是调用Lychee-Rerank模型的代码 # 伪代码scores [self.rerank_model.score(query, sent) for sent in sentences] # 为示例我们模拟一个基于句子长度和关键词匹配的分数 scores [] query_words query.lower().split() for sent in sentences: score 0.0 # 模拟句子越长基础分越高仅用于示例实际不是好指标 score min(len(sent) / 100, 2.0) # 模拟包含查询词加分 sent_lower sent.lower() for word in query_words: if len(word) 2 and word in sent_lower: score 1.0 scores.append((sent, score)) # 按分数降序排序 scores.sort(keylambda x: x[1], reverseTrue) return scores # 模拟使用 # embedder SentenceTransformer(paraphrase-MiniLM-L6-v2) # 示例嵌入模型 # reranker load_lychee_rerank_model() # 你的Lychee-Rerank模型 # processor LongDocReranker(embedder, reranker) # # with open(long_contract.txt, r, encodingutf-8) as f: # contract_text f.read() # # query 如果甲方延迟付款需要支付违约金吗违约金怎么计算 # top_results processor.process(contract_text, query, top_n3) # # for i, (sent, score) in enumerate(top_results): # print(f\n结果 {i1} (分数: {score:.2f}):) # print(f {sent})这个实战例子展示了一个完整的处理流水线。在实际应用中你可以根据具体需求调整每个步骤的参数和策略比如粗筛保留多少块、提取多少候选句等。整体用下来处理长文本的核心思路其实很清晰先想办法把大海捞针变成小池塘捞针。滑动窗口确保你不会漏掉任何角落而关键信息提取则帮你先把池塘里明显不是针的东西捞出去。对于合同、论文、长报告这类文档结合语义搜索的层次化方法通常效果最好。刚开始实验时建议从简单的滑动窗口开始看看效果。如果文档特别长或者对响应速度要求高再引入关键句提取和层次化筛选。最重要的是要根据你自己的文档特点和业务需求来调整策略没有一套参数能放之四海而皆准。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。