在MySQL中为啥引入批量键访问(Batch Key Access, BKA)
批量键访问(Batch Key Access, BKA) 是 MySQL 在某些情况下用于优化 JOIN 操作的一种技术,特别是在通过索引进行 JOIN 时,它能有效减少查询的随机 I/O。批量键访问优化通过将一批主键或索引键一次性发送给存储引擎来查找匹配的行,而不是逐行处理。这种方式可以有效利用数据库的缓存和减少 I/O 开销。
一、BKA 的原理
在传统的 Nested Loop Join(嵌套循环连接)中,MySQL 会逐行处理外部表的每一行,并针对每一行去内部表查找对应的匹配记录。这样会导致很多随机 I/O 操作,从而影响性能。
BKA 改进了这个过程,通过先收集一批外部表的键,然后将这些键一次性发送到存储引擎进行批量查找,这样就减少了内部表的查找次数,从而提升了性能。
二、BKA 的工作流程
- 外部表扫描:MySQL 首先从外部表中扫描多行记录,并收集这些记录的键值。
- 批量键访问:将这些键值传递给内部表的存储引擎,进行批量的索引查找。
- 匹配结果返回:内部表的匹配记录返回给外部表进行连接操作。
三、Java 模拟 BKA 的过程
在 Java 中,我们可以通过模拟数据库表和索引来展示 BKA 的工作流程,假设我们有两个表,outerTable 和 innerTable,它们之间通过某个键进行关联查询。我们将通过一次性批量获取外部表的键来进行批量查询内部表的记录。
1. 设计思路
- 我们首先模拟两个表的数据。
- 实现一个批量键访问的查询流程,通过批量获取外部表的键并查询内部表的匹配记录。
2. Java 代码实现
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;class Record {int id;String data;public Record(int id, String data) {this.id = id;this.data = data;}@Overridepublic String toString() {return "ID: " + id + ", Data: " + data;}
}public class BatchKeyAccessSimulator {// 模拟外部表private List<Record> outerTable = new ArrayList<>();// 模拟内部表private Map<Integer, Record> innerTable = new HashMap<>();// 初始化数据public BatchKeyAccessSimulator() {// 插入外部表数据outerTable.add(new Record(1, "Outer1"));outerTable.add(new Record(2, "Outer2"));outerTable.add(new Record(3, "Outer3"));outerTable.add(new Record(4, "Outer4"));// 插入内部表数据innerTable.put(1, new Record(1, "Inner1"));innerTable.put(2, new Record(2, "Inner2"));innerTable.put(3, new Record(3, "Inner3"));innerTable.put(5, new Record(5, "Inner5")); // 不匹配外部表}// 模拟批量键访问的 JOIN 操作public List<String> batchKeyAccessJoin() {List<String> result = new ArrayList<>();// Step 1: 批量获取外部表的键(ID)List<Integer> outerKeys = new ArrayList<>();for (Record outerRecord : outerTable) {outerKeys.add(outerRecord.id); // 假设以 ID 作为 JOIN 键}// Step 2: 批量访问内部表,查找对应键的记录Map<Integer, Record> matchedInnerRecords = new HashMap<>();for (Integer key : outerKeys) {if (innerTable.containsKey(key)) {matchedInnerRecords.put(key, innerTable.get(key)); // 内部表的匹配记录}}// Step 3: 将外部表和内部表的数据进行关联并返回for (Record outerRecord : outerTable) {if (matchedInnerRecords.containsKey(outerRecord.id)) {Record innerRecord = matchedInnerRecords.get(outerRecord.id);result.add("Outer: " + outerRecord + " <-> Inner: " + innerRecord);} else {result.add("Outer: " + outerRecord + " <-> No Match");}}return result;}public static void main(String[] args) {BatchKeyAccessSimulator simulator = new BatchKeyAccessSimulator();// 运行批量键访问的 JOIN 操作List<String> joinResult = simulator.batchKeyAccessJoin();// 输出 JOIN 结果for (String record : joinResult) {System.out.println(record);}}
}
四、代码解析
-
外部表和内部表的设计:
outerTable是模拟的外部表,存储一组记录。innerTable是模拟的内部表,用HashMap来模拟索引,其中键为id,值为对应的记录。
-
批量键访问的实现:
batchKeyAccessJoin()方法模拟了批量键访问的过程。- 首先批量收集外部表的键(即
id)。 - 然后通过这些键批量查找内部表中匹配的记录,并将外部表和内部表的数据进行关联。
-
运行结果:
输出结果展示了批量键访问的JOIN操作:Outer: ID: 1, Data: Outer1 <-> Inner: ID: 1, Data: Inner1 Outer: ID: 2, Data: Outer2 <-> Inner: ID: 2, Data: Inner2 Outer: ID: 3, Data: Outer3 <-> Inner: ID: 3, Data: Inner3 Outer: ID: 4, Data: Outer4 <-> No Match可以看到,
outerTable中的记录与innerTable中的记录根据id进行了关联,第四条记录在内部表中没有匹配的记录。
五、BKA 的优点和适用场景
优点:
- 减少随机 I/O:传统的嵌套循环连接会对每个外部表的记录进行一次内部表查询,导致大量的随机 I/O 操作,而 BKA 技术通过批量查找减少了随机 I/O。
- 提高缓存利用率:BKA 可以让存储引擎将一批键的相关记录加载到缓存中,从而更好地利用缓存,提升查询效率。
适用场景:
- 大表连接查询:在进行大表连接时,BKA 能够减少随机 I/O 提高性能。
- 索引存在的情况下:当内部表有合适的索引时,BKA 可以充分利用索引进行高效的批量查找。
六、BKA 的缺点
- 批量大小控制:如果批量大小选择不合适,可能会导致过多的数据加载到内存中,反而影响性能。
- 适用索引情况:BKA 主要适用于索引存在的场景,如果内部表没有合适的索引,效果会大打折扣。
七、总结
- 批量键访问(BKA) 是一种 MySQL 优化技术,通过批量收集外部表的键并一次性查找内部表的匹配记录,从而减少随机 I/O,提升查询性能。
- 在 Java 中,我们通过模拟外部表和内部表的关联查询展示了 BKA 的工作原理。
- 该技术在大表
JOIN查询和存在索引的情况下能显著提高性能,但需要合理控制批量大小以避免内存开销过大。
相关文章:
在MySQL中为啥引入批量键访问(Batch Key Access, BKA)
批量键访问(Batch Key Access, BKA) 是 MySQL 在某些情况下用于优化 JOIN 操作的一种技术,特别是在通过索引进行 JOIN 时,它能有效减少查询的随机 I/O。批量键访问优化通过将一批主键或索引键一次性发送给存储引擎来查找匹配的行&…...
912.排序数组(归并排序)
目录 题目解法初始数组1. 分解阶段2. 合并阶段结果 为什么要创建长整型ll mid l ((r - l) >> 1);其中的>>是什么意思 题目 给你一个整数数组 nums,请你将该数组升序排列。 你必须在 不使用任何内置函数 的情况下解决问题,时间复杂度为 O…...
使用 cmake 在 x86 系统中为 arm 系统交叉编译程序
原理: 在 x86 系统里使用交叉编译工具链(arm 版 gcc/g)编译程序,然后放在 arm 系统里运行。 arm 版本 使用 lscpu 查看 cpu 架构 版本说明armv732 bitarmv8/arrch6464 bit 安装交叉编译工具链 # 针对 armv7 sudo apt install…...
软考(网工)——网络规划设计
文章目录 🕐综合布线1️⃣结构化布线系统2️⃣综合布线六大子系统3️⃣综合布线物理结构图 🕑网络分析与设计1️⃣网络规划设计模型2️⃣网络流量分析3️⃣网络安全技术措施表4️⃣技术评价 🕒网络结构与功能1️⃣局域网结构类型2️⃣三层架构…...
即插即用特征融合模块,即用即涨点!
特征融合(Feature Fusion)是深度学习中的一种重要技术,它可以帮助模型更好地理解数据的内在结构和规律,提高模型的性能和泛化能力。 另外,特征融合还可以提高模型的分类准确率,减少过拟合风险,…...
蓝桥算法双周赛 第 19 场 小白入门赛
打开石门 只要有相连的一样字母就可以消成一个 string s; int ans;void solve() {cin >> s;int len 0;for (int i 0;i < s.size();i ){if (s[i] L) len ;else //遇到Q{ans (len ? 1 : 0); //消除累计的Llen 0;ans ;//遇到Q}}//QLLLL时,最后遇不到Q让累计的L消…...
Cursor零基础小白教程系列「进阶」 - Cursor 智能代码补全详解(Tab)
最适合小白零基础的Cursor教程 网站lookai.top相同作者,最新文章会在网站更新,欢迎收藏书签 Cursor 智能代码补全详解(Tab) 概述 Cursor的智能代码补全,也就是快捷键Tab,是其最强大和独特的AI辅助编程工具之一。本教程将详细介绍…...
数据结构《顺序表》
文章目录 前言一、什么是顺序表?1.1 顺序表的概念1.2 顺序表的建立 二、MyArrayList的实现三、顺序表的方法四、关于顺序表的例子总结 前言 提示:这里涉及到的ArrayList类是一个泛型类,同时后面的很多内容都会涉及到泛型,如果不了…...
视频分享网站毕业设计基于SpringBootSSM框架
目录 1.摘要 2.引言 2.1 研究意义 3 功能描述 3.1功能图展示 3.2非功能需求 4. 需求分析 4.1前端技术 4.2后端技术 4.3视频处理技术 4.4内容分发网络(CDN) 4.5其他关键技术 计算机毕业设计/springboot/javaWEB/J2EE/MYSQL数据库/vue前后…...
Python多进程学习与使用:全面指南
Python多进程学习与使用:全面指南 目录 引言什么是多进程?为什么使用多进程?Python中的多进程模块:multiprocessing创建进程的基本方法进程间通信进程池多进程与多线程的比较常见问题和解决方案最佳实践和性能优化实战项目&…...
HTTP Proxy环境下部署Microsoft Entra Connect和Health Agents
在企业环境中,时常需要通过使用HTTP Proxy访问Internet,在使用HTTP Proxy访问Internet的环境中部署Microsoft Entra Connect和Microsoft Entra Connect Health Agents可能会遇到一些额外的配置步骤,以便这些服务能够正常连接到Internet。 一…...
基于单片机的 OLED 显示终端设计分析与研究
摘要: 我国的经济发展速度正在不断加快,经济体制也在经历着一系列的改革,工业发展也正是受到了它的影响,逐步发生变化。在这样的背景下,传统的 LCD 显示技术,逐渐被显示效果更好,功耗更低的 OLED 代替。本文主要介绍了基于单片机的 OLED 显示终端设计,该设计目前具有很…...
基于Multisim压力报警器电路设计(含仿真和报告)
【全套资料.zip】压力报警器电路设计Multisim仿真设计数字电子技术 文章目录 功能一、Multisim仿真源文件二、原理文档报告资料下载【Multisim仿真报告讲解视频.zip】 功能 压力报警器包括:压力检测、信号放大、声光报警当电路检测到系统压力正常时,不进行声、光报…...
基于Springboot的在线考试与学习交流平台的设计与实现
基于Springboot的在线考试与学习交流平台 开发语言:Java 框架:springboot JDK版本:JDK1.8 数据库:mysql 5.7 数据库工具:Navicat11 开发软件:idea 源码获取:https://download.csdn.net/downlo…...
“避免序列化灾难:掌握实现 Serializable 的真相!(二)”
文章目录 一、什么是序列化?二、Serializable 是如何起作用的?三、为什么不自动序列化所有对象?四、Java 序列化的底层原理序列化的核心步骤: 五、反序列化的原理六、总结:为什么必须实现 Serializable 才能序列化&…...
中国工商银行智能运维体系建设
随着信息技术的快速发展,分布式架构已经成为主流的系统架构形式。基于分布式架构的系统具有资源利用率高、可扩展性好等优点,已广泛应用于各类企业信息系统之中。分布式监控系统应运而生,它通过在各个节点部署轻量级代理程序,实现对分布式系统的监控数据采集和分析,有效地解决…...
如何将logism电路转为verilog(一)
好长时间没写博客了 下文中提到的文件可在此仓库下载:https://github.com/deadfffool/HUST-Computer-Organization-Big-Homework/tree/main 在转换为verilog之前,需要对logisim电路做以下几点改动: 首先将下载的logisim_change.jar放在与log…...
【论文笔记】X-Former: Unifying Contrastive and Reconstruction Learning for MLLMs
🍎个人主页:小嗷犬的个人主页 🍊个人网站:小嗷犬的技术小站 🥭个人信条:为天地立心,为生民立命,为往圣继绝学,为万世开太平。 基本信息 标题: X-Former: Unifying Contr…...
带权并查集注意事项
食物链 #include<bits/stdc.h> using namespace std; const int N5e410; int p[N],d[N]; int find(int x) {if(p[x]!x){int rootfind(p[x]);d[x]d[p[x]];p[x]root;}return p[x]; } int main() {int n,k;cin>>n>>k;for(int i1;i<n;i)p[i]i;int ans0;while…...
No.18 笔记 | XXE(XML 外部实体注入)漏洞原理、分类、利用及防御整理
一、XXE 漏洞概述 (一)定义 XXE(XML 外部实体注入)漏洞源于 XML 解析器对外部实体的不当处理,攻击者借此注入恶意 XML 实体,可实现敏感文件读取、远程命令执行和内网渗透等危险操作。 (二&am…...
使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式
一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明:假设每台服务器已…...
生成xcframework
打包 XCFramework 的方法 XCFramework 是苹果推出的一种多平台二进制分发格式,可以包含多个架构和平台的代码。打包 XCFramework 通常用于分发库或框架。 使用 Xcode 命令行工具打包 通过 xcodebuild 命令可以打包 XCFramework。确保项目已经配置好需要支持的平台…...
深入剖析AI大模型:大模型时代的 Prompt 工程全解析
今天聊的内容,我认为是AI开发里面非常重要的内容。它在AI开发里无处不在,当你对 AI 助手说 "用李白的风格写一首关于人工智能的诗",或者让翻译模型 "将这段合同翻译成商务日语" 时,输入的这句话就是 Prompt。…...
应用升级/灾备测试时使用guarantee 闪回点迅速回退
1.场景 应用要升级,当升级失败时,数据库回退到升级前. 要测试系统,测试完成后,数据库要回退到测试前。 相对于RMAN恢复需要很长时间, 数据库闪回只需要几分钟。 2.技术实现 数据库设置 2个db_recovery参数 创建guarantee闪回点,不需要开启数据库闪回。…...
树莓派超全系列教程文档--(61)树莓派摄像头高级使用方法
树莓派摄像头高级使用方法 配置通过调谐文件来调整相机行为 使用多个摄像头安装 libcam 和 rpicam-apps依赖关系开发包 文章来源: http://raspberry.dns8844.cn/documentation 原文网址 配置 大多数用例自动工作,无需更改相机配置。但是,一…...
.Net框架,除了EF还有很多很多......
文章目录 1. 引言2. Dapper2.1 概述与设计原理2.2 核心功能与代码示例基本查询多映射查询存储过程调用 2.3 性能优化原理2.4 适用场景 3. NHibernate3.1 概述与架构设计3.2 映射配置示例Fluent映射XML映射 3.3 查询示例HQL查询Criteria APILINQ提供程序 3.4 高级特性3.5 适用场…...
《Playwright:微软的自动化测试工具详解》
Playwright 简介:声明内容来自网络,将内容拼接整理出来的文档 Playwright 是微软开发的自动化测试工具,支持 Chrome、Firefox、Safari 等主流浏览器,提供多语言 API(Python、JavaScript、Java、.NET)。它的特点包括&a…...
关于iview组件中使用 table , 绑定序号分页后序号从1开始的解决方案
问题描述:iview使用table 中type: "index",分页之后 ,索引还是从1开始,试过绑定后台返回数据的id, 这种方法可行,就是后台返回数据的每个页面id都不完全是按照从1开始的升序,因此百度了下,找到了…...
转转集团旗下首家二手多品类循环仓店“超级转转”开业
6月9日,国内领先的循环经济企业转转集团旗下首家二手多品类循环仓店“超级转转”正式开业。 转转集团创始人兼CEO黄炜、转转循环时尚发起人朱珠、转转集团COO兼红布林CEO胡伟琨、王府井集团副总裁祝捷等出席了开业剪彩仪式。 据「TMT星球」了解,“超级…...
【ROS】Nav2源码之nav2_behavior_tree-行为树节点列表
1、行为树节点分类 在 Nav2(Navigation2)的行为树框架中,行为树节点插件按照功能分为 Action(动作节点)、Condition(条件节点)、Control(控制节点) 和 Decorator(装饰节点) 四类。 1.1 动作节点 Action 执行具体的机器人操作或任务,直接与硬件、传感器或外部系统…...
