收藏！小白程序员轻松入门大模型：重排序技术提升RAG检索效果

本文介绍了重排序技术在RAG检索流程中的重要性它通过重新排序初始检索结果提升检索结果的相关性为生成模型提供更优质的上下文。文章详细阐述了重排序技术的优势包括优化检索结果、增强上下文相关性和应对复杂查询。此外还介绍了重排序模型的工作原理和实战案例展示了如何使用开源模型BGE-reranker-v2-m3进行实际操作帮助读者更好地理解和应用重排序技术。一、为什么要使用重排序技术在 RAG 检索流程中重排序技术Reranking通过对初始检索结果进行重新排序改善检索结果的相关性为生成模型提供更优质的上下文从而提升整体 RAG 系统的效果。尽管向量检索技术能够为每个文档块生成初步的相关性分数但引入重排序模型仍然至关重要。向量检索主要依赖于全局语义相似性通过将查询和文档映射到高维语义空间中进行匹配。然而这种方法往往忽略了查询与文档具体内容之间的细粒度交互。重排序模型大多是基于双塔或交叉编码架构的模型在此基础上进一步计算更精确的相关性分数能够捕捉查询词与文档块之间更细致的相关性从而在细节层面上提高检索精度。因此尽管向量检索提供了有效的初步筛选重排序模型则通过更深入的分析和排序确保最终结果在语义和内容层面上更紧密地契合查询意图实现了检索质量的提升。二、重排序技术的几个优势优化检索结果在 RAG 系统中初始的检索结果通常来自于向量搜索或基于关键词的检索方法。然而这些初始检索结果可能包含大量的冗余信息或与查询不完全相关的文档。通过重排序技术我们可以对这些初步检索到的文档进行进一步的筛选和排序将最相关、最重要的文档置于前列。增强上下文相关性RAG 系统依赖于检索到的文档作为生成模型的上下文。因此上下文的质量直接影响生成的结果。重排序技术通过重新评估文档与查询的相关性确保生成模型优先使用那些与查询最相关的文档从而提高了生成内容的准确性和连贯性。应对复杂查询对于复杂的查询初始检索可能会返回一些表面上相关但实际上不太匹配的文档。重排序技术可以根据查询的复杂性和具体需求对这些结果进行更细致的分析和排序优先展示那些能够提供深入见解或关键信息的文档。三、重排序模型 (Reranking Model)RAG 流程有两个概念粗排和精排。粗排检索效率较快但是召回的内容并不一定强相关。精排效率较低因此适合在粗排的基础上进行进一步优化。精排的代表就是重排序Reranking。重排序模型Reranking Model查询与每个文档块计算对应的相关性分数并根据这些分数对文档进行重新排序确保文档按照从最相关到最不相关的顺序排列并返回前 top-k 个结果。与嵌入模型不同重排序模型将用户的查询Query和文档块作为输入直接输出相似度评分而非生成嵌入向量。目前市面上可用的重排序模型并不多商用的有 Cohere开源的有 BGE、Sentence、Mixedbread、T5-Reranker 等甚至可以使用指令Prompt让大模型GPT、Claude、通义千问、文心一言等进行重排大模型指令参考如下以下是与查询 {问题} 相关的文档块[1]{文档块1}[2]{文档块2}更多文档块请根据这些文档块与查询的相关性进行排序以 “1,2,3,4”文档块数字及逗号隔开的形式输出排序结果。在生产环境中使用重排序模型会面临资源和效率问题包括计算资源消耗高、推理速度慢以及模型参数量大等问题。这些问题主要源于重排序模型在对候选项进行精细排序时因其较大参数量而导致的高计算需求和复杂耗时的推理过程从而对 RAG 系统的响应时间和整体效率产生负面影响。因此在实际应用中需要根据实际资源情况在精度与效率之间进行平衡。四、重排序技术实战在实战中我们使用来自北京人工智能研究院 BGE 的bge-reranker-v2-m3作为 RAG 项目的重排序模型这是一种轻量级的开源和多语言的重排序模型。更多模型相关信息参考可访问 bge-reranker-v2-m3 官方介绍站点 https://huggingface.co/BAAI/bge-reranker-v2-m3。对应的代码在 Gitee https://gitee.com/techleadcy/rag_app.git上托管项目。此文章的代码文件为rag_app_lesson6_2.py。拉取最新代码git clone https://gitee.com/techleadcy/rag_app.git创建并激活虚拟环境若已创建则无需重复执行python3 -m venv rag_env命令行中拉取仓库的最新代码执行依赖库安装命令本课时对应的是 FlagEmbedding 向量操作库和 Peft 大语言模型操作库sourcerag_env/bin/activate pipinstall-Upip FlagEmbedding Peft jieba rank_bm25 chromadb langchain langchain_community sentence-transformers dashscope unstructured pdfplumber python-docx python-pptx markdown openpyxl pandas-ihttps://pypi.tuna.tsinghua.edu.cn/simple代码中设置大模型 qwen_modelqwen_api_key 参数访问阿里云百炼大模型服务平台 https://www.aliyun.com/product/bailian 。执行课程代码python rag_app/rag_app_lesson6_2.py此章节涉及的代码改动均已在 rag_app_lesson6_2.py 文件中添加详细注释主要包括以下内容引入依赖库from FlagEmbedding import FlagReranker # 用于对嵌入结果进行重新排序的工具类增加 reranking 方法def reranking(query, chunks,top_k3):# 初始化重排序模型使用BAAI/bge-reranker-v2-m3rerankerFlagReranker(BAAI/bge-reranker-v2-m3,use_fp16True)# 构造输入对每个 query 与 chunk 形成一对input_pairs[[query, chunk]forchunkinchunks]# 计算每个 chunk 与 query 的语义相似性得分scoresreranker.compute_score(input_pairs,normalizeTrue)print(文档块重排序得分:, scores)# 对得分进行排序并获取排名前 top_k 的 chunkssorted_indicessorted(range(len(scores)),keylambda i: scores[i],reverseTrue)reranking_chunks[chunks[i]foriinsorted_indices[:top_k]]# 打印前三个 score 对应的文档块foriinrange(top_k): print(f重排序文档块{i1}: 相似度得分{scores[sorted_indices[i]]}文档块信息{reranking_chunks[i]}\n)returnreranking_chunks retrieval_process方法# 使用重排序模型对检索结果进行重新排序输出重排序后的前top_k文档块reranking_chunksreranking(query,vector_chunks bm25_chunks, top_k)print(检索过程完成.)print(********************************************************)# 返回重排序后的前top_k个文档块returnreranking_chunks如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。大模型入门到实战全套学习大礼包1、大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通2、大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。3、AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。4、大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。5、大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。适用人群第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】