[RAG在LangChain中的实现-07]利用重排序选择相关性最高的检索内容构建上下文

重排序Re-ranking是一种关键的RAG优化技术。它通过在“初始检索”与“最终生成”之间通过对初步检索出的文档进行二次评估筛选出与用户查询语义最相关的结果从而提高生成内容的准确性。在典型的检索流程中第一步通常使用向量相似度搜索虽然速度极快但由于只对比向量间的距离往往难以捕捉深层的语义关系。重排序模型Reranker接收用户查询和一组初步检索到的文档输出每个文档的相关性分数。重排序相当于一个“精密的过滤器”能从粗筛出的几十个文档中精准挑出最核心的3-5个送入大模型有效解决“长上下文丢失”或“无关文档干扰”的问题。在一个典型的RAG管道中的流程如下初始检索利用向量数据库检索出前20个文档重排序将这20个文档和查询文本传给Reranker模型重新计算分值切片过滤只取分数最高的Top-K如前5个文档生成回答将精简后的文档作为Context提供给LLM1. ContextualCompressionRetriever对LangChain 1.0之前的版本重排序主要通过ContextualCompressionRetriever来实现。它通过“压缩”检索文档只保留最相关的部分。压缩是对检索文档的后处理操作之一LangChain专门为相关的类型定义如下这个名为BaseDocumentCompressor的抽象基类它的抽象方法compress_documents结合指定的查询对输入的文档序列进行压缩并返回压缩后的文档序列acompress_documents方法会以异步的方式执行compress_documents方法。ContextualCompressionRetriever在最新版本中已经被拿掉设计者觉得直接使用LCEL链的方式对检索文档进行压缩是更好的选择。classBaseDocumentCompressor(BaseModel,ABC):abstractmethoddefcompress_documents(self,documents:Sequence[Document],query:str,callbacks:Callbacks|NoneNone,)-Sequence[Document]:asyncdefacompress_documents(self,documents:Sequence[Document],query:str,callbacks:Callbacks|NoneNone,)-Sequence[Document]常用的重排序模型主要分为闭源商业 API、开源模型以及轻量化方案三大类。它们的核心区别在于性能、成本、多语言支持以及上下文长度。2. Cohere RerankCohere Rerank是目前工业界最领先的重排序商业方案之一专门用于增强RAG系统的检索精度。其3.0/3.5版本奠定了行业地位其核心特性包括上下文长度支持4,096个token能够处理比普通Embedding检索更长、更完整的文档块半结构化数据支持原生支持对JSON格式、代码、表格和Email进行重排序无需预先将数据扁平化为纯文本多语言能力支持 100 多种语言包括中文、英文、法语等在跨语言搜索中表现出色低成本高性能2025年末推出的Rerank 4.0 分为Pro和Fast 两个版本针对不同业务需求进行了优化。在如下几个方法具有重大改进上下文窗口飞跃从8K3.5版扩展至 32,000 token提升了4倍。这意味着它能一次性“阅读”更长的文档或更多的候选结果极大地减少了因切片导致的语义断裂版本双线并行Rerank 4 Pro追求极致精度适合风险建模、法律合规、科学研究等复杂推理任务Rerank 4 Fast追求低延迟比Pro快约 25-30%适合电商搜索、在线客服等高并发场景自学习能力首次引入了无需标注数据的自适应技术模型可以根据特定领域的术语和偏好自动微调性能作为智能体的治理层它不再仅仅是检索工具而是作为控制层过滤噪声通过提供高信号上下文来稳定多步推理智能体的决策过程Cohere Rerank重排序在LangChain中利用langchain_cohere库的CohereRerank类型来完成它继承自BaseDocumentCompressor重排序的功能实现rerank方法中实现的compress_documents会调用此方法。针对CohereRerank的使用可以查看官方开发文档。classCohereRerank(BaseDocumentCompressor):client:AnyNonetop_n:Optional[int]3model:Optional[str]Nonedefault_factorysecret_from_env(COHERE_API_KEY,defaultNone))base_url:Optional[str]Noneuser_agent:strlangchain:partnerdefrerank(self,documents:Sequence[Union[str,Document,dict]],query:str,*,rank_fields:Optional[Sequence[str]]None,model:Optional[str]None,top_n:Optional[int]-1,max_tokens_per_doc:Optional[int]None,)-List[Dict[str,Any]]defcompress_documents(self,documents:Sequence[Document],query:str,callbacks:Optional[Callbacks]None,)-Sequence[Document]3. Jina RerankerJina AI推出的重排序模型系列以小参数量、高性能和多语言支持著称。v2版本于2024年发布重点解决了RAG系统在工具调用和多语言检索中的性能瓶颈其核心特性包括架构设计采用Cross-Encoder架构并集成Flash Attention 2显著提升了推理速度极致速度其吞吐量比同级别的bge-reranker-v2-m3快约15倍Agent 友好原生支持针对函数调用和SQL查询的文档重排序能够更精准地帮助智能体Agent选择匹配的API或数据库表多语言能力支持超过 100 种语言在代码搜索任务中表现优异上下文限制支持1024 token的上下文长度v3版本于2025年10 月发布代表了目前重排序技术的最新趋势在如下几个方法实现了技术飞跃Listwise排序机制不同于v2逐对Query-Doc Pair评分v3在单一推理窗口内同时处理多个文档最多64个。这使得模型能进行文档间的交互推理通过对比得出更优的相对排名底座模型基于Qwen3-0.6B构建仅用 600M 的参数量就达到了超越 1.5B 甚至更大模型的检索性能超长上下文上下文容量大幅提升至 131K token极大地缓解了长文档重排时的信息丢失问题Last-but-Not-Late-Interaction机制结合了全交互Cross-encoding的精度和后期交互Late interaction的灵活性进一步增强了语义捕捉能力性能标杆在BEIR检索基准测试中刷新了SOTA记录尤其擅长处理复杂的逻辑推理和事实核查任务Jina Reranker重排序在LangChain中利用langchain_community库提供的如下这个JinaRerank来完成该类型所在模块的路径为langchain_community.document_compressors.jina_rerank。它也是BaseDocumentCompressor的继承类型利用jina_api_key字段设置好API-KEY就能使用。classJinaRerank(BaseDocumentCompressor):session:AnyNonetop_n:Optional[int]3model:strjina-reranker-v1-base-enjina_api_key:Optional[str]Noneuser_agent:strlangchaindefrerank(self,documents:Sequence[Union[str,Document,dict]],query:str,*,model:Optional[str]None,top_n:Optional[int]-1,max_chunks_per_doc:Optional[int]None,)-List[Dict[str,Any]]defcompress_documents(self,documents:Sequence[Document],query:str,callbacks:Optional[Callbacks]None,)-Sequence[Document]4. BGE-Reranker的BGE-Reranker是由国内北京智源人工智能研究院BAAI开发是目前开源界最主流、中文支持最好的重排序模型系列。如果说Cohere是商业标杆那BGE就是私有化部署的首选。不同于Cohere和Jina它还是一个开源的解决方案。BGE是Beijing Academy of Artificial Intelligence General Embedding的缩写。它是一个交叉编码器Cross-Encoder将用户问题和检索到的文档拼接在一起同时输入到Transformer模型中。所以模型能捕捉问题与文档之间细微的语义交互准确率远高于仅计算向量距离的初筛。但是这样会导致计算量大不适合对万级文档进行全量排序因此只用于对初筛后的Top 50-100个结果进行“精排”。LangChain定义了如下这个抽象基类BaseCrossEncoder来表示交叉编码器我们可以利用它来计算指定两个文本之间的相关度。如下面的代码片段所示我们可以将一个字符串二元组列表作为参数调用它的score方法用于计算每个元组提供的两条文本之间的相关性得分。HuggingFaceCrossEncoder是它的子类我们可以利用指定的交叉编码模型来计算文本相关性。从model_name字段的默认值可以看出默认采用的就是BAAI/bge-reranker-base模型。classBaseCrossEncoder(ABC):abstractmethoddefscore(self,text_pairs:list[tuple[str,str]])-list[float]classHuggingFaceCrossEncoder(BaseModel,BaseCrossEncoder):client:AnyNonemodel_name:strDEFAULT_MODEL_NAME model_kwargs:Dict[str,Any]Field(default_factorydict)def__init__(self,**kwargs:Any)defscore(self,text_pairs:List[Tuple[str,str]])-List[float]DEFAULT_MODEL_NAMEBAAI/bge-reranker-base我们可以利用HuggingFaceCrossEncoder来使用BGE-Reranker。HuggingFaceCrossEncoder是一个专门用于重排序的组件它封装了 Hugging Face的模型让我们能以极简的代码将高精度的交叉编码器集成到RAG工作流中。它属于embeddings模块的近亲但它的功能不是“生成向量”而是“打分”。在前面演示的实例中我们加载了博文的内容并将其分割存进了InMemoryVectorStore。如果我们采用单纯的相似度查询则会丧失检索结果的多样性所以我们可以采用最大边界相关性MMRMax Marginal Relevance算法。然后我们可以利用重排序在检索结果基础上选择与查询最相关的三个文档具体的程序如下所示fromlangchain_community.cross_encodersimportHuggingFaceCrossEncoderfromdotenvimportload_dotenv load_dotenv()fromlangchain_openaiimportOpenAIEmbeddingsfromlangchain_core.vectorstoresimportInMemoryVectorStorefrombs4.filterimportSoupStrainerfromlangchain_community.document_loadersimportWebBaseLoaderfromlangchain_text_splittersimportRecursiveCharacterTextSplitter# Step 1: Load documents from the webloaderWebBaseLoader(web_paths(https://www.cnblogs.com/artech/p/inside-asp-net-core-framework.html,),bs_kwargs{parse_only:SoupStrainer(class_(postBody))},)documentsloader.load()# Step 2: Split documents into chunkssplitterRecursiveCharacterTextSplitter(chunk_size1000,chunk_overlap200,add_start_indexTrue,)chunkssplitter.split_documents(documents)# Step 3: Add the chunks into vector storestoreInMemoryVectorStore(embeddingOpenAIEmbeddings(modeltext-embedding-3-small))store.add_documents(documentschunks)retrieverstore.as_retriever(search_typemmr,search_kwargs{k:10,fetch_k:20,lambda_mult:0.5})queryHttpContext和Server之间如何适配documentsretriever.invoke(query)# Step 4: Rerank the retrieved documents and select top 3encoderHuggingFaceCrossEncoder()scoresencoder.score([(query,doc.page_content)fordocindocuments])top_3sorted(zip(documents,scores),keylambdax:x[1],reverseTrue)[:3]fori,(doc,score)inenumerate(top_3):print(f排名{i1}(分数:{score:.4f}):)print(f内容:{doc.page_content[:100]}...\n)输出排名 1 (分数: 0.9991): 内容: { Task StartAsync(RequestDelegate handler); }9、HttpContext和Server之间的适配面向应用层的HttpContext对象是对请求和响... 排名 2 (分数: 0.7677): 内容: }我们有必要对上面这个Hello World程序作一个简答的介绍在创建出WebHostBuilder之后我们调用了它的扩展方法UseHttpListener注册了一个自定义的基于HttpListe... 排名 3 (分数: 0.6525): 内容: public IApplicationBuilder Use(FuncRequestDelegate, RequestDelegate middleware) { _mid...5. Qwen3-RerankerQwen3-Reranker是由阿里巴巴Qwen团队在2025年6月正式推出的最新一代开源重排序模型系列。它是Qwen家族中专为提升RAG系统精度而设计的“精排”引擎基于最新的Qwen3密集型基础模型构建,它具有的关键技术特性包括单塔Point-wise架构采用Cross-Encoder模式将查询和文档作为单一序列输入利用模型深层的语义交互直接输出相关性得分指令感知的灵活性 支持用户自定义指令Instruct引导模型针对特定任务、特定语言或特定行业场景进行排序优化。使用指令通常能带来1%到5%的性能提升多模态支持 (Qwen3-VL 系列)该系列还包含专门针对视觉任务的 Qwen3-VL-Reranker能够处理包含图像、视频或复杂视觉文档的多模态检索对强大的多语言能力继承自 Qwen3 底座原生支持超过100种语言并涵盖各种编程语言非常适合跨语言检索和代码搜索Qwen3-Reranker提供了全梯度的模型尺寸以适应从边缘端到服务器端的不同算力需求0.6B (如 Qwen3-Reranker-0.6B)极致轻量化适合预算有限、追求低延迟或本地化部署的场景;4B/8B平衡性能与资源其中8B版本在多项检索任务中展现出超越0.6B模型约3.0分的显著领先优势;如果需要将上面的例子切换成Qwen3-Reranker不能直接修改HuggingFaceCrossEncoder的模型名称因为Qwen3-Reranker针对批量处理需要为它的分词器设置pad_token目前HuggingFaceCrossEncoder没有对此提供支持所以我们采用如下的方式根据此模型名称创建了一个CrossEncoder对象并通过tokenizer_kwargs参数设置pad_token。经过我的测试这样还不够编码器的模型配置encoder.model.config也需要进行相应设置。相关性分数通过调用CrossEncoder对象的predict方法进行计算。fromsentence_transformersimportCrossEncoder encoderCrossEncoder(model_name_or_pathQwen/Qwen3-Reranker-0.6B,tokenizer_kwargs{pad_token:|endoftext|})encoder.model.config.pad_token_id151643print(encoder.tokenizer.pad_token_type_id)scoresencoder.predict([(query,doc.page_content)fordocindocuments],batch_size10)top_3sorted(zip(documents,scores),keylambdax:x[1],reverseTrue)[:3]fori,(doc,score)inenumerate(top_3):print(f排名{i1}(分数:{score:.4f}):)print(f内容:{doc.page_content[:100]}...\n)从如下的输出可以看出Qwen3-Reranker与BGE-Reranker针对相同查询文本和检索文档进行重排序产生的结果不太一样排名第一的文档是相同的但是第二、三名则不同。排名 1 (分数: 0.9922): 内容: { public static async Task Main() { await new WebHostBuilder() .UseHttpL... 排名 2 (分数: 0.9609): 内容: public HttpRequest(IFeatureCollection features) _feature features.GetIHttpRequestFeature(); }... 排名 3 (分数: 0.9609): 内容: public HttpListenerServer(params string[] urls) { _httpListener new HttpListener();