从 BGE 到 Qwen3：中文 RAG Reranker 模型解析

在 RAG 系统中Reranker 往往是决定最终检索质量的关键一环却也是最容易被忽视的模块。本文从 Reranker 的基本原理出发介绍 RerankerEncoder和Decoder两类架构的工作机制随后解析目前中文场景下最主流的两大模型系列BGE-Reranker与Qwen3-Reranker的模型设计与训练策略最后结合实测数据给出实际选型建议希望这篇文章都能给你提供一些参考~概述在通常的 RAG检索增强生成流程中当用户提出查询请求时系统首先通过 Embedding 模型对 Query 进行向量化然后和向量数据库里预存的文档向量进行相似度计算即从海量候选文档中快速筛选出一批初步相关的文档这一阶段称为初步检索Initial Retrieval。然而初步检索结果的相关性往往并不精确因为 Embedding 模型更擅长捕捉粗粒度的语义相似性难以准确判断文档与 Query 之间细粒度的语义匹配程度。为此需要引入一个更精细的排序步骤即Rerank 模型。Reranker 模型顾名思义是对初步检索结果进行重新排序Re-ranking的模型。它将初步检索得到的候选文档与原始查询进行联合分析通过更深层次的语义交互得出更精确的相关性评分并据此对候选文档重新排列从而确保用户最终看到的是最符合需求的结果。但是 Reranker模型计算过程需要进行向前传播对资源的消耗较大。若直接将 Query 对全库文档进行逐一重排序计算成本将非常的巨大同时也不适用于对实时性要求较高的情况。因此主流的 RAG 系统通常采用两阶段检索策略• 首先由 Embedding 模型快速从海量文档中召回少量高度相关的候选文档• 再由 Reranker 模型对这批候选文档进行精细排序。这种先粗召回后精排的策略在效率与精度之间取得了良好的平衡。目前Reranker 模型在架构上通常分为两类• 基于Encoder的结构双塔架构• 基于Decoder的结构单塔架构Encoder RerankerEncoder Reranker 的核心思路是将 query 与 document拼接后一同输入到 Encoder 模型进行联合编码然后提取[CLS]Token对应的隐向量并经过单层全连接网络输出一个标量得分从而将相关性评估建模为一个回归任务即 Cross-Encoder 模式。输入形式可表示为以 BGE-Reranker-M3 为例其计算 Document 与 Query 相似度得分的核心代码如下from transformers import AutoModelForSequenceClassification, AutoTokenizer class BaseReranker(AbsReranker): def __init__(self): self.tokenizer AutoTokenizer.from_pretrained(model_name_or_path) self.model AutoModelForSequenceClassification.from_pretrained(model_name_or_path) torch.no_grad() def compute_score_core(self, sentence_pairs, batch_size, max_length, normalize, device): self.model.to(device).eval() all_inputs [] # 将 query 和 document 拼接为单段输入 for queries, passages in batch(sentence_pairs, batch_size): q_ids self.tokenizer(queries, max_lengthmax_length * 3 // 4, truncationTrue)[input_ids] p_ids self.tokenizer(passages, max_lengthmax_length, truncationTrue)[input_ids] for q, p in zip(q_ids, p_ids): all_inputs.append(self.tokenizer.prepare_for_model( q, p, truncationonly_second, max_lengthmax_length, paddingFalse )) sorted_idx np.argsort([-len(x[input_ids]) for x in all_inputs]) inputs_sorted [all_inputs[i] for i in sorted_idx] scores [] for batch in batch(inputs_sorted, batch_size): inputs self.tokenizer.pad(batch, paddingTrue, return_tensorspt).to(device) # 利用 AutoModelForSequenceClassification 输出分类 logit logits self.model(**inputs).logits.view(-1).float() scores.extend(logits.cpu().numpy().tolist()) # 还原排序并进行 Sigmoid 归一化 scores [scores[np.argsort(sorted_idx)[i]] for i in range(len(scores))] if normalize: scores [1 / (1 math.exp(-s)) for s in scores] return scoresDecoder RerankerDecoder Reranker 同样将 query 与 document 拼接后输入模型但其评分机制与 Encoder 架构有所不同。在训练阶段通过构建特定的 Prompt 模板引导生成式模型在序列末尾输出一个特殊 Token——通常为yes或no然后以此判断文档与查询的相关性。在推理阶段取该 Token 对应的 logit 值或经 softmax 归一化后的概率作为最终的相关性得分。输入形式可表示为以 Qwen-Embedding 为例其计算相似度得分的核心代码如下class Reranker: def __init__(self, model_name): self.tokenizer AutoTokenizer.from_pretrained(model_name, padding_sideleft) self.model AutoModelForCausalLM.from_pretrained(model_name).eval().to(device) self.token_true_id self.tokenizer.convert_tokens_to_ids(yes) self.token_false_id self.tokenizer.convert_tokens_to_ids(no) self.max_length 8192 self.prefix self.tokenizer.encode(template_prefix, add_special_tokensFalse) self.suffix self.tokenizer.encode(template_suffix, add_special_tokensFalse) self.template_len len(self.prefix) len(self.suffix) def build_prompt(self, query, doc, instructionNone): content fInstruct: {instruction or default}\nQuery: {query}\nDocument: {doc} return content def process_inputs(self, pairs): inputs self.tokenizer( pairs, paddingFalse, truncationTrue, max_lengthself.max_length - self.template_len, ) for i in range(len(inputs[input_ids])): inputs[input_ids][i] self.prefix inputs[input_ids][i] self.suffix inputs self.tokenizer.pad( inputs, paddingTrue, return_tensorspt, max_lengthself.max_length ) return {k: v.to(self.model.device) for k, v in inputs.items()} def compute_scores(self, inputs): logits self.model(**inputs).logits[:, -1, :] # 取最后一个 Token 的 logits scores logits[:, [self.token_false_id, self.token_true_id]] # 提取 yes/no 对应分数 scores torch.softmax(scores, dim1)[:, 1] # 取 yes 的概率作为得分 return scores.tolist() def rerank(self, query, documents): pairs [self.build_prompt(query, doc) for doc in documents] inputs self.process_inputs(pairs) return self.compute_scores(inputs)针对中文场景大家最熟悉的 Reranker 模型想必就是 BGE 系列和 Qwen 系列了~BGE RerankerBGE-Reranker 系列模型由北京智源研究院Beijing Academy of Artificial IntelligenceBAAI开发是其成功推出 BGEBAAI General Embedding嵌入模型系列之后的又一重要成果。该系列专注于多语言环境下的文档重排序任务并针对中英文混合场景进行了深度优化。BGE Reranker 发布了多个版本其中bge-reranker-base、bge-reranker-large、bge-reranker-v2-m3属于Encoder 架构bge-reranker-v2-gemma、bge-reranker-v2-minicpm-layerwise则属于Decoder 架构。官方推荐的使用场景如下模型语言层级输出特性BAAI/bge-reranker-base中文和英语—轻量级重排序模型易于部署推理速度快。BAAI/bge-reranker-large中文和英语—较 base 版本精度更高仍保持轻量易部署的特点。BAAI/bge-reranker-v2-m3多语言—多语言能力强轻量高效综合场景适应性突出。BAAI/bge-reranker-v2-gemma多语言—基于 Gemma 的生成式架构英文与多语言性能优异。BAAI/bge-reranker-v2-minicpm-layerwise多语言8–40支持按层输出可灵活控制推理深度适合加速场景。在实际使用中官方给出了如下建议•多语言场景推荐使用bge-reranker-v2-m3或bge-reranker-v2-gemma。•中英文单语言场景推荐使用bge-reranker-v2-m3或bge-reranker-v2-minicpm-layerwise。•优先考虑推理效率推荐使用bge-reranker-v2-m3或选用bge-reranker-v2-minicpm-layerwise的低层输出。•追求最佳精度推荐使用bge-reranker-v2-minicpm-layerwise或bge-reranker-v2-gemma。由于本文聚焦于中文场景以下介绍中文场景效果较好的bge-reranker-v2-m3。BGE-Reranker-v2-m3bge-reranker-v2-m3是在bge-m3的基础上针对重排序任务进一步训练而来的。bge-m3的基座模型为 XLM-RoBERTa-large即 RoBERTa 的多语言嵌入版本bge-m3在此基础上针对检索与排序任务进行了专项优化。整体训练过程采用多阶段策略如下图所示•第一阶段在大规模无监督数据上进行预训练仅以对比学习的基本形式训练密集检索能力。•第二阶段引入自知识蒸馏Self-Knowledge Distillation同时建立密集检索、稀疏检索、多向量检索三种检索功能。该阶段结合了有标签数据与合成数据并按照ANCE方法为每个查询引入 Hard Negative 样本——通过内积相似度检索候选负样本筛选后纳入训练以提升模型的判别能力。对比学习损失函数采用 InfoNCE其形式如下其中 为 query 与文档的相似度得分 为温度系数 为正样本 为负样本集合。Qwen RerankerQwen Reranker 系列目前主要包含Qwen3-Reranker和Qwen3-VL-Reranker两个子系列。Qwen3-RerankerQwen3-Reranker 基于 Qwen3 基础模型构建采用Decoder-Only架构专为文本检索与精排任务而设计模型架构见下图右侧。由于采用 Decoder 架构为使模型能够更准确地评估文本相关性训练时通过 Prompt 模板将相关性评估建模为二分类问题模型被引导在序列末尾输出yes或no来表示文档与查询的相关程度。注意使用时尽量构造如下所示的 Prompt 模板接近训练阶段从而获得最佳效果|im_start|system Judge whether the Document meets the requirements based on the Query and the Instruct provided. Note that the answer can only be yes or no. |im_end| |im_start|user Instruct: {Instruction} Query: {Query} Document: {Document} |im_end| |im_start|assistant think\n\n/think\n\n在训练策略上Qwen3-Reranker 设计了三阶段训练 Pipeline充分发挥了 Qwen3 LLM 强大的文本合成与理解能力。阶段一大规模弱监督预训练Weakly Supervised Pre-Training以Qwen3-32B为数据生成引擎通过精心设计的模板与 Prompt将原始多语种文档转化为查询-文档对。具体流程分为两步• 首先在Configuration阶段为每段文档指定角色Character、问题类型Question Type和难度Difficulty• 随后在Query Generation阶段依据上述配置生成贴近用户真实场景的查询语句。最终合成约1.5 亿对多任务弱监督训练数据覆盖信息检索、双语挖掘Bitext Mining、文本分类、语义相似度等多种任务类型。阶段二高质量数据有监督微调Supervised Fine-Tuning由于Qwen3-32B生成的合成数据质量较高本阶段首先对 1.5 亿对样本按余弦相似度进行过滤保留相似度大于 0.7 的样本约 1200 万对作为辅助有监督训练数据。同时引入多个公开基准数据集包括 MS MARCO、Natural Questions、HotpotQA、NLI、DuReader、T2-Ranking、SimCLUE、MIRACL、MLDR、Mr.TyDi、Multi-CPR、CodeSearchNet 等涵盖问答、检索和双语挖掘等多种任务形式。训练时采用有监督微调损失其中 为 LLM 对标签 的预测概率。对于正样本文档标签 为Yes对于负样本文档标签 为No。此损失函数引导模型为正确标签分配更高的生成概率从而提升排序判别能力。此外为提升模型的泛化能力本阶段在微调时对筛选后的合成数据适量引入噪声使其与真实标注数据形成良性互补。阶段三模型合并Model Merging在有监督微调阶段保存的多个检查点之间采用球面线性插值Slerp算法对模型参数进行加权融合生成最终的混合模型以提升模型的鲁棒性与稳定性。具体做法为在微调过程中每隔一定步数或当验证集性能达到特定阈值时保存检查点微调完成后依据 Slerp 算法对多个检查点的参数按照一定权重进行球面插值合并从而获得综合性能更优的最终模型。Qwen3-VL-RerankerQwen3-VL-Reranker 基于Qwen3-VL基础模型构建专为多模态信息检索与跨模态理解任务而设计。该模型支持文本、图像、屏幕截图及视频等多种输入模态以及上述模态的任意组合架构示意见下图右侧与 Qwen3-Reranker 类似Qwen3-VL-Reranker 同样采用单塔架构通过 Prompt 引导模型输出yes或no来表达 query 与文档文本/图像/视频之间的相关性得分|im_start|system Judge whether the Document meets the requirements based on the Query and the Instruct provided. Note that the answer can only be yes or no. |im_end| |im_start|user Instruct: {Instruction} Query: {Query} Document: {Document} |im_end| |im_start|assistant在模型内部Reranking 模块接收输入对(Query, Document)并进行联合编码利用基座模型内置的交叉注意力Cross-Attention机制实现 query 与 document 之间深层次、细粒度的跨模态交互与信息融合。最终通过预测yes和no两个特殊 Token 的生成概率来量化输入对的相关性得分。在训练策略上Qwen3-VL-Reranker 与 Qwen3-Reranker 类似同样采用多阶段训练 Pipeline充分发挥 Qwen3-VL 底座模型在多模态语义理解方面的优势为复杂的大规模多模态检索任务提供高质量的语义表示与精确的重排序能力如何选择先说结论若业务数据涉及多模态内容图像、视频、截图等首选 Qwen3-VL-Reranker若为纯文本场景Qwen3-Reranker 与 BGE-Reranker 的效果差距不大可根据资源条件与部署便捷性灵活选取。以下基于《Qwen3-Reranker-8B 效果对比》博客[4]中的测评数据从检索精度与推理性能两个维度展开对比分析。检索精度对比测试一中文技术文档检索•测试场景从技术文档中查找相关信息•查询语句如何在 Python 中读取 CSV 文件•待排序文档编号文档标题文档1Python 基础语法介绍文档2使用 pandas 处理 Excel 文件文档3Python 读取 CSV 文件的三种方法文档4JavaScript 数组操作方法文档5数据库连接配置指南文档6用 openpyxl 处理 Excel文档7CSV 文件格式规范文档8Python 文件操作基础•测试结果对比排名Qwen3-Reranker-8BBGE-Reranker1文档3 (0.95)文档3 (0.92)2文档7 (0.82)文档7 (0.85)3文档8 (0.78)文档8 (0.79)4文档1 (0.75)文档1 (0.75)5文档2 (0.68)文档2 (0.70)•分析三款模型均将最相关的文档3排在首位基础检索能力相当。Qwen3-Reranker-8B 给出的相关性评分最高0.95置信度更强BGE-Reranker 在中文场景下表现稳定与 Qwen3 差距极小Cohere Rerank v3 对中文的理解略弱将Python 基础语法排在了文件操作基础之前。测试二多语言混合检索•测试场景中英文混合文档检索•查询语句machine learning applications in healthcare医疗领域的机器学习应用•待排序文档编号文档标题文档1机器学习在图像识别中的应用文档2Healthcare data analysis using deep learning文档3医疗影像诊断的 AI 技术文档4Financial risk prediction models文档5自然语言处理在医疗问答系统中的应用文档6Reinforcement learning for robotics文档7电子病历的智能分析文档8Machine learning for drug discovery•测试结果对比排名Qwen3-Reranker-8BBGE-Reranker1文档2 (0.93)文档8 (0.88)2文档8 (0.91)文档2 (0.85)3文档3 (0.87)文档3 (0.82)4文档5 (0.85)文档5 (0.80)5文档7 (0.82)文档7 (0.78)•分析在多语言场景下三者的差异开始显现。Qwen3-Reranker-8B 表现最均衡对中英文文档均能准确理解Cohere Rerank v3 在纯英文文档上占优但对中文文档的理解能力有限BGE-Reranker 虽能处理英文但整体更偏向于中文文档的理解。测试三长文档细粒度检索•测试场景从长文档片段中进行细粒度内容检索•查询语句第三章中提到的优化算法具体实现•待排序文档均为长文档片段第一章引言、第二章理论基础、第三章优化算法设计与实现、第四章实验结果、第五章总结、参考文献、附录A代码实现、附录B数据集说明•测试结果Qwen3-Reranker-8B 准确识别了第三章与附录 A代码实现为最相关片段BGE-Reranker 同样定位到了相关文档但在长文档的细粒度理解上稍显不足Cohere Rerank v3 受中文长文档上下文理解能力所限表现相对一般。测试四代码检索能力•测试场景从代码片段中检索目标算法实现•查询语句快速排序算法的 Python 实现•测试结果Qwen3-Reranker-8B 准确将Python 实现快速排序排在首位并同时将C 版快速排序详解和快速排序优化策略纳入前列体现了其对算法概念跨语言、跨形式的深度理解能力。推理性能对比在相同硬件环境RTX 409024 GB 显存下三个模型的推理速度与资源占用如下模型单次推理时间批量处理8 文档显存占用Qwen3-Reranker-8B120–150 ms800–900 ms~16 GBBGE-Reranker40–60 ms300–400 ms~2 GBBGE-Reranker 在推理速度和显存占用上具有明显优势适合对延迟敏感的在线场景Qwen3-Reranker-8B 虽然推理更慢、资源消耗更大但考虑到其 8B 量级的模型规模这一开销处于合理范围之内选型建议综合以上测试结果给出如下选型建议优先选择 Qwen3-Reranker-8B 的场景• 多语言混合检索尤其是中英文交叉场景• 需要对技术文档、学术论文等长文本进行细粒度理解• 代码库或技术文档中的语义检索• 对排序精度要求较高、可接受一定推理开销的场景优先选择 BGE-Reranker 的场景• 以中文为主的单语言检索任务• 硬件资源受限、需要轻量化部署的环境• 对响应延迟极为敏感的在线服务• 快速原型开发或成本优先的业务场景参考文章[1] M3-Embedding: Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation[2] Qwen3 Embedding and Reranker Technical Report[3] Qwen3-VL-Embedding and Qwen3-VL-Reranker: A Unified Framework for State-of-the-Art Multimodal Retrieval and Ranking[4] Qwen3-Reranker-8B效果对比vs BGE-Reranker、Cohere Rerank v3实测-CSDN博客转自https://mp.weixin.qq.com/s/gxJyLoYzdPmjH__hCX5ThA