当前位置： 首页 > news >正文

大模型中RAG模型的检索过程是如何实现的？（附最佳实践资料）

news 文章来源：https://blog.csdn.net/goodxianping/article/details/144580708 2025/5/9 3:14:06

RAG模型的检索过程主要涉及以下几个步骤：

  1. 向量化（Embedding）：首先，需要将外部知识库中的文档转换为计算机能够理解的向量形式。这一步骤通常使用预训练的嵌入模型（如BERT、GPT等）将文本转换为高维向量。

  2. 存储向量：将转换得到的向量存储到向量数据库中，如使用Chroma和AzureOpenAIEmbeddings等工具。

  3. 创建检索器（Retriever）：基于向量数据库，创建一个检索器用于后续的文档检索。这个检索器会在向量空间中查找与用户问题最相似的文档。

  4. 检索（Retrieval）：当用户提出问题时，检索器会利用嵌入模型将用户问题也转换为向量，并在向量数据库中查找最相似的文档。这一过程通常基于向量相似度进行，可以是最近邻搜索或其他相似度度量方法。

  5. 重排序筛选（Reranker）：在初步检索后，可能会使用重排序模型对检索结果进行相关性排序，以选取最相关的文本块。

  6. 检索结果：最终，检索器会返回与用户问题最相关的文档或文本块，这些内容将作为上下文信息提供给生成模型。

通过上述步骤，RAG模型能够从大量的数据中检索出与用户查询最相关的信息，为生成过程提供支持，使得生成的回答更加准确和丰富。

相关文章：

大模型中RAG模型的检索过程是如何实现的？（附最佳实践资料）

RAG模型的检索过程主要涉及以下几个步骤： 向量化（Embedding）：首先，需要将外部知识库中的文档转换为计算机能够理解的向量形式。这一步骤通常使用预训练的嵌入模型（如BERT、GPT等）将文本转换为高…...

编程日记 2024/12/20 10:33:13

python：用 sklearn.metrics 评价 K-Means 聚类模型

sklearn 的 metrics 模块提供的聚类模型评价指标如下： ARI 评价法（兰德系数）: adjusted_rand_score AMI 评价法（相互信息）: adjusted_mutual_info_score V-measure 评分 : completeness_score FMI 评价法 : fowlkes_m…...

编程日记 2024/12/20 10:30:10

Spring依赖注入不同类型的数据

目录 前言 回顾 注入集合 List与set集合 Map集合 前言 前面学习依赖注入时注入的都是对象，这里记录注入的值为集合的情况 回顾 在注入的时候，如果要注入的属性的值为字符串或基本数据类型，用value即可；如果要注入一个对象的…...

编程日记 2024/12/20 10:23:01

Linux大杂烩！！！

Linux 命令大全 https://www.runoob.com/linux/linux-command-manual.html Linux下打印ASCII字符 ASCII码对照表及转换器 [rootuntifa_80 ~]# printf "\x30\n" 0 [rootuntifa_80 ~]# echo -e "\u0030" 0tar、gzip 打包解压命令 参考文章：ta…...

编程日记 2024/12/20 10:22:00

12.19问答解析

概述 某中小型企业有四个部门，分别是市场部、行政部、研发部和工程部，请合理规划IP地址和VLAN，实现企业内部能够互联互通，同时要求市场部、行政部和工程部能够访问外网环境(要求使用OSPF协议)，研发部不能访问外网环境…...

编程日记 2024/12/20 10:08:46

C语言——实现杨氏矩阵

什么是杨氏矩阵？ 概念： 有一个数字矩阵，矩阵的每行从左到右是递增的，矩阵从上到下是递增的 eg： 1 2 3 4 5 6 7 8 9 题目： 请编写程序在这样的矩阵中查找某个数字是否存在。 要求：时间复…...

编程日记 2024/12/20 10:03:40

授权模型PAM

PAM（Privileged Access Management）是一种授权模型，用于管理和控制特权用户的访问权限。PAM的目标是确保特权用户只能在需要时获得所需的特权，并且他们的活动得到适当的监控和审计。 PAM的核心思想是将特权访问权限视为一种受限的…...

编程日记 2024/12/20 10:02:39

【Leecode】子集⭐⭐

子集 [78]子集I 题目描述 给你一个整数数组 nums ，数组中的元素 互不相同 。返回该数组所有可能的子集（幂集）。 解集 不能 包含重复的子集。你可以按 任意顺序 返回解集。 示例输入 示例 1： 输入：nums [1, 2, 3…...

编程日记 2024/12/20 10:00:36

Linux高性能服务器编程 | 读书笔记 | 12. 多线程编程

12. 多线程编程 注：博客中有书中没有的内容，均是来自 黑马06-线程概念_哔哩哔哩_bilibili 早期Linux不支持线程，直到1996年，Xavier Leroy等人开发出第一个基本符合POSIX标准的线程库LinuxThreads，但LinuxThreads效率…...

编程日记 2024/12/20 9:57:32

[HNCTF 2022 Week1]baby_rsa

源代码： from Crypto.Util.number import bytes_to_long, getPrime from gmpy2 import * from secret import flag m bytes_to_long(flag) p getPrime(128) q getPrime(128) n p * q e 65537 c pow(m,e,n) print(n,c) # 62193160459999883112594854240161159…...

编程日记 2024/12/20 9:55:30

解析Java中的Stream API：函数式编程与性能优化

自Java 8以来，Java语言引入了Stream API，为开发者提供了一种全新的数据处理方式。Stream API支持函数式编程风格，使得对集合、数组、IO流等数据源的操作更加简洁、直观且具有高效的性能优势。通过Stream API，我们可以在不修改原有…...

编程日记 2024/12/20 9:54:28

java简单题目练习

大家好，今天我们不学习新的内容，今天给大家分享一些简单的java算法题供大家练练手，那么我们下面就来看看。 那么大家下去练习一下，我们明天继续讲解类和对象的相关知识，谢谢大家！！！...

编程日记 2024/12/20 9:52:26

Kaggler日志--Day9

进度24/12/18 昨日复盘： 补充并解决Day7Kaggler日志–Day7统计的部分问题 今日进度： 继续完成Day8Kaggler日志–Day8统计问题的解答 明日规划： 今天报名了Regression with an Insurance Dataset算是新手村练习比赛，截止时间是2…...

编程日记 2024/12/20 9:51:25

OpenCVE：一款自动收集NVD、MITRE等多源知名漏洞库的开源工具，累计收录CVE 27万+

漏洞库在企业中扮演着至关重要的角色，不仅提升了企业的安全防护能力，还支持了安全决策、合规性要求的满足以及智能化管理的发展。前期博文《业界十大知名权威安全漏洞库介绍》介绍了主流漏洞库，今天给大家介绍一款集成了多款漏洞库的开源漏洞…...

编程日记 2024/12/20 9:48:22

麒麟信安参编的《能源企业数字化转型能力评价 技术可控》团体标准发布

近日，中国能源研究会发布公告，《能源企业数字化转型能力评价 技术可控》团体标准发布。该标准由麒麟信安与国网湖北省电力有限公司武汉供电公司、国网智能电网研究院有限公司、中能国研（北京）电力科学研究院等单位联合编制。 《能…...

编程日记 2024/12/20 9:45:18

戴尔物理机更换完Raid控制器（阵列卡），启动服务器失败

背景 我们使用的物理机是戴尔的POWEREDGE R730机器，由于硬件损坏导致该问题的延申，再更换完Raid的控制器（阵列卡）之后导致启动服务器报错。 报错： There are offline or missing virtual drives with preserved cac…...

编程日记 2024/12/20 9:43:16

计算机基础知识——数据结构与算法（二）（山东省大数据职称考试）

大数据分析应用-初级 第一部分 基础知识 一、大数据法律法规、政策文件、相关标准 二、计算机基础知识 三、信息化基础知识 四、密码学 五、大数据安全 六、数据库系统 七、数据仓库. 第二部分 专业知识 一、大数据技术与应用 二、大数据分析模型 三、数据科学 大数据相关标准…...

编程日记 2024/12/20 9:38:10

docsify

macos ➜ ~ node -v v16.20.2➜ ~ npm --version 8.19.4全局安装 docsify-cli 工具 npm i docsify-cli -g➜ ~ docsify -vdocsify-cli version:4.4.4初始化项目 docsify init ./docsls -ah docs . .. .nojekyll README.md index.htmlindex.html 入口文件README.md 会…...

编程日记 2024/12/20 9:35:07

GEE教程——使用 CHIRPS 和 GSMaP 数据集计算并可视化了特定区域的降水量

目录 简介 函数 ee.Image.pixelLonLat() No arguments. Returns: Image visualize(bands, gain, bias, min, max, gamma, opacity, palette, forceRgbOutput) Arguments: Returns: Image 代码解释 代码 结果 简介 GEE教程——使用 CHIRPS 和 GSMaP 数据集计算并可视…...

编程日记 2024/12/20 9:34:06

前端实现页面自动播放音频方法

前端实现页面视频在谷歌浏览器中自动播放音频方法 了解Chrome自动播放策略 在Chrome和其他现代浏览器中，为了改善用户体验，自动播放功能受到了限制。Chrome的自动播放策略主要针对有声音的视频，目的是防止页面在用户不知情的情况下自动播放声…...

编程日记 2024/12/20 9:33:05

【Nginx-5】Nginx 限流配置指南：保护你的服务器免受流量洪峰冲击

在现代互联网应用中，流量波动是常态。无论是突发的用户访问高峰，还是恶意攻击，都可能导致服务器资源耗尽，进而影响服务的可用性。为了应对这种情况，限流（Rate Limiting）成为了一种常见的保护措施…...

编程日记 2024/12/20 9:32:03

【芯片设计- RTL 数字逻辑设计入门 番外篇 7.1 -- 基于ATE的IC测试原理】

文章目录 ATE 测试概述Opens/Shorts测试Leakage测试AC测试转自：漫谈大千世界 漫谈大千世界 2024年10月23日 23:17 湖北 ATE 测试概述 ATE（Automatic Test Equipment）是用于检测集成电路（IC）功能完整性的自动测试设备。它在半导体产业中扮演着至关重要的角色，主要用于检…...

编程日记 2024/12/20 9:30:01

SurfaceFlinger 学习

Android 图形系统之七：SurfaceFlinger-CSDN博客 CSDN...

编程日记 2024/12/20 9:27:59

Flink SQL 从一个SOURCE 写入多个Sink端实例

一. 背景 FLINK 任务从一个数据源读取数据, 写入多个sink端. 二. 官方实例 写入多个Sink语句时，需要以BEGIN STATEMENT SET;开头，以END;结尾。--源表 CREATE TEMPORARY TABLE datagen_source (name VARCHAR,score BIGINT ) WITH (connector datagen …...

编程日记 2024/12/20 9:26:58

python飞机大战游戏.py

python飞机大战游戏.py import pygame import random# 游戏窗口大小 WINDOW_WIDTH 600 WINDOW_HEIGHT 800# 颜色定义 BLACK (0, 0, 0) WHITE (255, 255, 255)# 初始化Pygame pygame.init()# 创建游戏窗口 window pygame.display.set_mode((WINDOW_WIDTH, WINDOW_HEIGHT))…...

编程日记 2024/12/20 9:23:55

【C++】14___String容器

目录 一、string基本概念 二、string赋值操作 三、字符串拼接 四、 string查找和替换 五、 string字符串比较 六、string插入和删除 七、string子串 一、string基本概念 本质：string是C风格的字符串，而string本质上是一个类 string和char*区别&am…...

编程日记 2024/12/20 9:21:54

数据特性库 前言

文章目录 一、num-traits库简介二、核心功能三、更新功能四、使用方式五、应用示例六、结论 一、num-traits库简介 num-traits是Rust编程语言中的一个开源库，专注于为数值类型提供一系列的数学运算特性和接口。它支持泛型数学计算，允许开发者在不指定具…...

编程日记 2024/12/20 9:18:51

jdk和cglib动态代理区别

目标类不同 jdk目标类需要实现接口。 cglib不需要。 代理类生成方式不同 jdk内部字节码生成代理类。 cglib使用ASM字节码生成库生成代理类。 代理类和目标类关系不同 jdk代理类实现目标类接口，jdk无法代理目标类中static或private的方法。 cglib 代理类继承目标类…...

编程日记 2024/12/20 9:16:49

部署Mysql、镜像和容器、常见命令

目录 部署Mysql 镜像和容器 常见命令 部署Mysql 可以有多个容器 docker run -d \--name mysql \-p 3306:3306 \-e TZAsia/Shanghai \-e MYSQL_ROOT_PASSWORD123 \mysql docker run -d \--name mysql2 \-p 3307:3307 \-e TZAsia/Shanghai \-e MYSQL_ROOT_PASSWORD123 \mys…...

编程日记 2024/12/20 9:15:48

【数学】P2671 [NOIP2015 普及组] 求和

题目背景 NOIP2015 普及组 T3、深入浅出进阶1-5 题目描述 一条狭长的纸带被均匀划分出了 n n n 个格子，格子编号从 1 1 1 到 n n n。每个格子上都染了一种颜色 c o l o r i color_i colori​ 用 [ 1 , m ] [1,m] [1,m] 当中的一个整数表示）&…...

编程日记 2024/12/20 9:14:46