传统RAG流程；密集检索器，稀疏检索器：中文的M3E
目录
传统RAG流程
相似性搜索中：神经网络的密集检索器，稀疏检索器
密集检索器
BGE系列模型
text-embedding-ada-002模型
M3E模型
稀疏检索器
示例一：基于TF-IDF的稀疏检索器
示例二：基于BM25的稀疏检索器
稀疏检索器的特点与优势
传统RAG流程
相似性搜索中：神经网络的密集检索器，稀疏检索器
密集检索器
BGE系列模型、text-embedding-ada-002模型、M3E模型确实是现今流行的模型，以下是对这三个模型的详细介绍：
BGE系列模型
-
研发背景与意义：检索增强（RAG）是自然语言处理与人工智能领域的一项重要技术，通过借助搜索引擎等信息检索工具，语言模型得以与外部数据库连通，从而实现推理能力与世界知识的整合。向量检索因其使用的便捷性而广受开发者欢迎，借助向量模型（embedding model）与向量数据库，用户可
相关文章：
传统RAG流程；密集检索器，稀疏检索器：中文的M3E
目录 传统RAG流程 相似性搜索中：神经网络的密集检索器，稀疏检索器 密集检索器 BGE系列模型 text-embedding-ada-002模型 M3E模型 稀疏检索器 示例一：基于TF-IDF的稀疏检索器 示例二：基于BM25的稀疏检索器 稀疏检索器的特点与优势 传统RAG流程 相似性搜索中：神经…...
基于统计方法的语言模型
基于统计方法的语言模型 基于统计方法的语言模型主要是指利用统计学原理和方法来构建的语言模型，这类模型通过分析和学习大量语料库中的语言数据，来预测词、短语或句子出现的概率。 N-gram模型：这是最基础的统计语言模型之一，它基…...
Flux comfyui 部署笔记，整合包下载
目录 comfyui启动： 1、下载 Flux 模型 2、Flux 库位置 工作流示例： Flux学习资料免费分享 comfyui启动： # 配置下载模型走镜像站 export HF_ENDPOINT="https://hf-mirror.com" python3 main.py --listen 0.0.0.0 --port 8188 vscode 点击 port 映射到本地，…...
高性能分布式缓存Redis-数据管理与性能提升之道
一、持久化原理 Redis是内存数据库，数据都是存储在内存中，为了避免进程退出导致数据的永久丢失，需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘；当下次Redis重启时，利用持久化文件实现数据恢复。除此…...
BO-CNN-LSTM回归预测 | MATLAB实现BO-CNN-LSTM贝叶斯优化卷积神经网络-长短期记忆网络多输入单输出回归预测
BO-CNN-LSTM回归预测 | MATLAB实现BO-CNN-LSTM贝叶斯优化卷积神经网络-长短期记忆网络多输入单输出回归预测 目录 BO-CNN-LSTM回归预测 | MATLAB实现BO-CNN-LSTM贝叶斯优化卷积神经网络-长短期记忆网络多输入单输出回归预测效果一览基本介绍模型搭建程序设计参考资料 效果一览 …...
DataWind将字符串数组拆出多行的方法
摘要： 可视化建模中先将字符串split为array再用explode(array)即可 可视化建模 进入“可视化建模”页面 1.1 新建任务 如果团队内没有可视化建模任务。请点击“新建任务”，输入名称并确定。 1.2 建立数据连接 在左边栏中选择“数据连接”，…...
try...catch 和then...catch的异同点分析
try…catch 和 then…catch 的异同点分析 在现代 JavaScript 编程中，异常处理和 Promise 的处理是非常常见的两种方式。try...catch 语句主要用于同步代码的异常处理，而 .then().catch() 是 Promise 中的异步处理方法。 1. 基础概念 1.1 try…catch …...
Mit6.S081-实验环境搭建
Mit6.S081-实验环境搭建 注：大家每次做一些操作的时候觉得不太保险就先把虚拟机克隆一份 前言 qemu（quick emulator）：这是一个模拟硬件环境的软件，利用它可以运行我们编译好的操作系统。 准备一个Linux系统…...
以太网交换安全：MAC地址漂移
一、什么是MAC地址漂移？ MAC地址漂移是指设备上一个VLAN内有两个端口学习到同一个MAC地址，后学习到的MAC地址表项覆盖原MAC地址表项的现象。 MAC地址漂移的定义与现象 基本定义：MAC地址漂移发生在一个VLAN内的两个不同端口学习到相同的MAC地…...
STM32实现串口接收不定长数据
原理 STM32实现串口接收不定长数据，主要靠的就是串口空闲（idle）中断,此中断的触发条件与接收的字节数无关，只有当Rx引脚无后续数据进入时（串口空闲时），认为这时候代表一个数据包接收完成了&…...
AAA 数据库事务隔离级别及死锁
目录 一、事务的四大特性（ACID） 1. 原子性(atomicity)： 2. 一致性(consistency)： 3. 隔离性(isolation)： 4. 持久性(durability)： 二、死锁的产生及解决方法 三、事务的四种隔离级别 0 .封锁协议 …...
外接数据库给streamlit等web APP带来的变化
之前我采用sreamlit制作了一个调查问卷的APP， 又使用MongoDB作为外部数据存储，隐约觉得外部数据库对于web APP具有多方面的意义，代表了web APP发展的趋势之一，似乎是作为对这种趋势的响应，streamlit官方近期开发了st.c…...
Gitpod: 我们正在离开 Kubernetes
原文：Christian Weichel - 2024.10.31 Kubernetes 似乎是构建远程、标准化和自动化开发环境的显而易见选择。我们也曾这样认为，并且花费了六年时间，致力于打造最受欢迎的云开发环境平台，并达到了互联网级的规模。我们的用户数量达…...
1.每日SQL----2024/11/7
题目： 计算用户次日留存率,即用户第二天继续登录的概率 表： iddevice_iddate121382024-05-03232142024-05-09332142024-06-15465432024-08-13523152024-08-13623152024-08-14723152024-08-15832142024-05-09932142024-08-151065432024-08-131123152024-…...
普通一本大二学生，软件工程，想考研985，想知道哪个大学的软件工程好，又不至于完全考不起的？
竞争难度适中：相较于顶尖985院校，重庆大学作为实力派985高校，其竞争烈度较为温和，考研难度适中偏易，为追求高性价比深造路径的考生提供了理想之选。 考试难度友好：重庆地区考研评分标准相对宽松࿰…...
「QT」几何数据类 之 QMatrix4x4 4x4矩阵类
✨博客主页何曾参静谧的博客📌文章专栏「QT」QT5程序设计📚全部专栏「VS」Visual Studio「C/C」C/C程序设计「UG/NX」BlockUI集合「Win」Windows程序设计「DSA」数据结构与算法「UG/NX」NX二次开发「QT」QT5程序设计「File」数据文件格式「PK」Parasolid…...
让Apache正确处理不同编码的文件避免中文乱码
安装了apache2.4.39以后，默认编码是UTF-8，不管你文件是什么编码，统统按这个来解析，因此 GB2312编码文件内的中文将显示为乱码。 <!doctype html> <html> <head><meta http-equiv"Content-Type" c…...
人员密集场所遇到突发火灾事故该如何应对
0引言 在繁华喧嚣的都市中，人员密集场所如购物中心、电影院、办公楼等，是人们日常生活不可或缺的一部分。然而，在这些看似繁华的背后，隐藏着不可忽视的安全隐患——火灾。火灾无情，往往在不经意间爆发，瞬间…...
使用QtWebEngine的Mac应用如何发布App Store
前言 因为QtWebEngine时第三方包，苹果并不直接支持进行App Store上签名和发布，所以构建和发布一个基于使用QtWebEngine的应用程序并不容易，这里我们对Qt 5.8稍微做一些修改，以便让我们的基于QtWeb引擎的应用程序并让签名能够得到苹果的许可。 QtWebEngine提供了C++和Qml的…...
微机原理与接口技术——中断系统与可编中断控制芯片8259A
目录 一、8259A 芯片介绍 二、8259A 的内部结构和引脚 三、8259A 的中断工作过程 四、8259A 的工作方式 五、8259A 的编程 六、外部中断服务程序 一、8259A 芯片介绍 Intel 8259A 是可编程中断控制器，可用于管理 Intel 8080/8085、8086/8088、80286/80386 的…...
Chapter03-Authentication vulnerabilities
文章目录 1. 身份验证简介1.1 What is authentication1.2 difference between authentication and authorization1.3 身份验证机制失效的原因1.4 身份验证机制失效的影响 2. 基于登录功能的漏洞2.1 密码爆破2.2 用户名枚举2.3 有缺陷的暴力破解防护2.3.1 如果用户登录尝试失败次…...
相机Camera日志实例分析之二：相机Camx【专业模式开启直方图拍照】单帧流程日志详解
【关注我，后续持续新增专题博文，谢谢！！！】 上一篇我们讲了： 这一篇我们开始讲： 目录 一、场景操作步骤 二、日志基础关键字分级如下 三、场景日志如下： 一、场景操作步骤 操作步…...
Cesium1.95中高性能加载1500个点
一、基本方式： 图标使用.png比.svg性能要好 <template><div id"cesiumContainer"></div><div class"toolbar"><button id"resetButton">重新生成点</button><span id"countDisplay&qu…...
从深圳崛起的“机器之眼”：赴港乐动机器人的万亿赛道赶考路
进入2025年以来，尽管围绕人形机器人、具身智能等机器人赛道的质疑声不断，但全球市场热度依然高涨，入局者持续增加。 以国内市场为例，天眼查专业版数据显示，截至5月底，我国现存在业、存续状态的机器人相关企…...
Matlab | matlab常用命令总结
常用命令 一、 基础操作与环境二、 矩阵与数组操作（核心）三、 绘图与可视化四、 编程与控制流五、 符号计算 (Symbolic Math Toolbox)六、 文件与数据 I/O七、 常用函数类别重要提示这是一份 MATLAB 常用命令和功能的总结，涵盖了基础操作、矩阵运算、绘图、编程和文件处理等…...
《基于Apache Flink的流处理》笔记
思维导图 1-3 章 4-7章 8-11 章 参考资料 源码： https://github.com/streaming-with-flink 博客 https://flink.apache.org/bloghttps://www.ververica.com/blog 聚会及会议 https://flink-forward.orghttps://www.meetup.com/topics/apache-flink https://n…...
数据库分批入库
今天在工作中，遇到一个问题，就是分批查询的时候，由于批次过大导致出现了一些问题，一下是问题描述和解决方案： 示例： // 假设已有数据列表 dataList 和 PreparedStatement pstmt int batchSize 1000; // …...
Caliper 配置文件解析：config.yaml
Caliper 是一个区块链性能基准测试工具，用于评估不同区块链平台的性能。下面我将详细解释你提供的 fisco-bcos.json 文件结构，并说明它与 config.yaml 文件的关系。 fisco-bcos.json 文件解析 这个文件是针对 FISCO-BCOS 区块链网络的 Caliper 配置文件，主要包含以下几个部…...
python执行测试用例，allure报乱码且未成功生成报告
allure执行测试用例时显示乱码：‘allure’ �����ڲ����ⲿ���Ҳ���ǿ�&am…...
大语言模型（LLM）中的KV缓存压缩与动态稀疏注意力机制设计
随着大语言模型（LLM）参数规模的增长，推理阶段的内存占用和计算复杂度成为核心挑战。传统注意力机制的计算复杂度随序列长度呈二次方增长，而KV缓存的内存消耗可能高达数十GB（例如Llama2-7B处理100K token时需50GB内存&a…...