【MySQL性能优化】- 一文了解MVCC机制
MySQL理解MVCC
😄生命不息,写作不止
🔥 继续踏上学习之路,学之分享笔记
👊 总有一天我也能像各位大佬一样
🏆 博客首页 @怒放吧德德 To记录领地
🌝分享学习心得,欢迎指正,大家一起学习成长!
转发请携带作者信息 @怒放吧德德 @一个有梦有戏的人
文章目录
- MySQL理解MVCC
- 简介
- 理解MVCC
- undo日志版本链
- read-view机制
- 版本链对比规则
- 案例理解
- 可重复读
- 时刻6查询
- 时刻9查询
- 时刻13查询
- 时刻14查询
- 读已提交
- 时刻9查询
- 时刻13查询
- 总结
转发请携带作者信息 @怒放吧德德 @一个有梦有戏的人
简介
多版本并发控制(MVCC,Multi-Version Concurrency Control)是一种常用于数据库管理系统的并发控制方法,MySQL数据库中的InnoDB存储引擎就实现了这种技术。MVCC通过在每个事务中对数据进行版本控制来实现多个事务的高效并发执行,增强了数据库的读写性能,并且减少了锁的需求。
理解MVCC
在MySQL的可重复读的隔离级别中,同样的SQL查询语句在同一个事务中,查出来的数据是一致的,其他事务对这些数据进行修改,当前事务是不可见的。
这个隔离级别就是由MVCC机制来实现的。对一行数据并不会通过对读和写加互斥锁来保证隔离性,避免了频繁加锁互斥,而串行化隔离级别是通过读写互斥实现。
MySQL中读以提交和可重复读隔离级别都是通过MVCC。
undo日志版本链
undo日志版本链是指一行数据被多个事务依次修改后,为了保持数据修改之前版本的可访问性,InnoDB不会直接覆盖旧数据。会将数据的旧版本保存到undo日志中,并且用隐藏字段trx_id(事务id)和roll_pointer(回滚指针)将这些日志串联起来成为一组历史版本链。
这个undo日志不只是保存单个版本,而是随着时间推移和更多事务的执行,可能保存同一数据项的多个历史版本。这些历史版本形成一个链条,称为版本链。当需要某个记录的历史状态时,可以通过回滚undo日志中的操作来获取旧版本数据,或者在不同隔离级别的读取事务中适当地提供旧数据,以此来保证一致性读取。
如下图,可以很好的理解什么是undo日志版本链
如上图,我们在插入数据的时候,会开启事务,所以会带着一个事务id,接着对这条数据进行修改,MySQL也会将修改的数据加上事务id以及回滚指针(roll_pointer),并且由这个回滚指针来指向上一个事务的旧数据版本,这样就构成了日志版本链。
read-view机制
read-view机制是InnoDB存储引擎实现MVCC的一种来创建一致性读取视图的技术。主要作用是用来确保可重复读和读已提交的隔离级别下,事务能够读到一致的数据快照,即使其他事务在对数据进行修改。
当一个事务想要执行一致性读取操作时候,InnoDB通过多版本并发控制(MVCC)来保存数据的多个版本,每个版本都有一个唯一的事务ID(trx_id)与之关联。read-view机制就会创建一个视图,这个视图是由执行查询时所有未提交的事务id数组组成(数组最小的事务id为min_trx_id)和已创建事务最大id为max_trx_id组成,还有一个creator_trx_id,用来表示生成该read-view的事务ID。
以上图示read-view机制的区间。
版本链对比规则
1、如果trx_id<min_trx_id,表示生成该版本的事务在事务开始之前已经提交,则该版本对事务可见。
2、如果trx_id>max_trx_id,表示生成该版本的事务在事务开始后才开始,则该版本对事务不可见。
3、如果min_trx_id≤trx_id≤max_trx_id,则需要判断是否在视图数组trx_ids中。
- 1)、如果trx_id在视图中,表示生成该版本是还没提交的事务,因此该版本对事务不可见。
- 2)、如果trx_id不在视图中,表示生成该版本的事务是已提交的,因此该版本对事务可见。
对于删除的情况,会将版本链的最新数据复制一份,然后将trx_id修改成删除操作的trx_id,同时会在记录的头信息的标记位(delete_flag)上设置true,用来表示已经删除,在查询时,如果对应记录的delete_flag为true,则表示已经被删除,就不会返回数据。
案例理解
接下来我们通过一个案例来理解。(本次通过上篇文章所用到的数据表来作为案例)
我们假设有三个事务,根据时间顺序会执行不同操作(这里在如下的excel图中会有时刻来标记),以及提交的时间点不同,由此案例来了解MVCC机制是如何通过undo日志版本链和read-view机制工作的。并且介绍可重复读以及读已提交的MVCC机制。
可重复读
首先,假设我们插入一条新的数据(id=12)。然后我们有几个事务在执行各种操作,并且都有相应的事务id,具体的执行过程如下的excel图,用来明确表示各个事务在时间戳的执行流程。
注:这里需要注意一下,begin/start transation命令并不是一个事务的起点,具体真正开启事务是在执行到第一个修改操作InnoDB表的语句,这时候才会有事务id,MySQL内部是按照事务的启动顺序来分配事务id的。
时刻6查询
首先来看一种情况,事务id:100和101执行了更新操作,但是没提交,事务id:102对id=12进行了更新,并且提交事务,我们通过另一个会话进行查询id=12的这条记录,可见查出的first_name是102更新的数据。
我们来深入了解这MVCC机制,是如何从undo日志版本链中进行比对获取这个102所更新的数据。
如下图,首先我们需要知道read-view所选中的min_trx_id和max_trx_id。通过当前系统中活跃的最小事务id,从表格中可以看出min_trx_id是事务100,已创建事务最大id为max_trx_id是事务102,100,101是未提交的活跃事务。read-view:[100, 101], 102。
read-view {m_ids: [100, 101], // 事务100和事务101均未提交min_trx_id: 100, // 活跃未提交事务中最小的事务IDmax_trx_id: 102, // 已创建事务最大事务的IDcreator_trx_id: 102 // 创建这个read-view的当前事务的ID
}
从日志版本链中看出事务102修改后会将回滚指针指向事务id为60上。然后就是进行版本链比对,当前row的trx_id=102,刚好是等于max_trx_id,接着需要判断这个102事务id是否在视图上,显然102是不在[100,101]中,所以就会认为这条数据是可见的,于是输出的值就是102这个事务的数据。
时刻9查询
我们接着往下走,事务id为100的事务执行了两次对id为12的记录进行更新,两次更新之后,事务还没提交,此时select 1会话又进行了一次查询。此时的查出来的数据依然是Liyongde,依旧是事务102更新的数据。
我们再来分析这个过程。此时如下图,read-view:[100,101], 102。
根据版本链,最新的数据是事务100更新的数据“Li2”,但是根据版本链规则判断,事务id=100属于视图数组里面,并且是没有提交的,于是就往版本链指向的版本进行判断,直到到达事务id=102的这条记录,不属于视图数组中,认为是可见的,因此返回的数据是“Liyongde”。
时刻13查询
接着看下一种情况,事务100提交了,随即事务101进行了一次更新,并且不提交,此时数据库的数据肯定是“Li2”,之后select 1进行查询id=12的记录,此时的read-view又是否会发生变化呢?得到的结果又是什么呢?
可见查出来的数据还是“Liyongde”,这是符合可重复读隔离级别的。还是需要通过undo日志版本链的规则来进行研究为什么得到的数据还是事务102提交的数据。
先确定视图数组,在可重复读级别下,同事务中的read-view是不会发生变化。所以依然是[100,101], 102。
此时数据库id=12是“Li2”,但是查出来的数据还是“Liyongde”,这是MVCC机制通过日志版本链的比对规则,从而达到可重复读的隔离机制。首先当前的trx_id=101,而101处于min_trx_id与max_trx_id之间,进一步判断是在视图里面,所以不可见,依此类推直到102不在视图中,则得到的记录是“Liyongde”。因为一致性视图在同事务并不会发生变化,因此,即便直到100,101,102三个事务全部都提交之后,Select 1查询得到的数据依旧是“Liyongde”。
注:在可重复读级别下,同事务中的read-view是不会发生变化。
这是因为可重复读的设计原则就是确保在同一个事务执行过程中,所看到的数据总是与事务在启动时看到的数据保持一致。当事务启动时,它会创建一个read-view,这个read-view在事务的整个生命周期内都是固定的,不会随着其他事务的提交或修改而改变。这样,即使在事务执行期间有其他事务修改了数据,当前事务所看到的数据仍然与启动时一致,从而保证了数据的可重复读性。因此,在可重复读的隔离级别下,同一个事务的read-view是不会变化的。
时刻14查询
如果此时有个新的事务Select 2,这个事务也是没有分配事务id,一直下来也没有执行查询操作,直到100,102都提交之后在执行了查询。那么此时的查询结果会是什么?
一致性视图(read-view)的状态取决于事务的启动时刻。根据excel图,我们可以知道创建的read-view数据以及日志版本链,如下图。
根据版本连的对比,可以得出此时事务查出的数据是“Li2”。当数据库事务开启之后的头一次查询,实际上read-view就已经创建了。我们通过以下例子来测试这个结果。
因为1是在修改之前进行了查询,此时就已经创建了一致性视图,接着进行修改值,哪怕已经提交了,查出来的结果依然是之前的数据;而2是在修改提交之后才进行的查询,此时创建的一致性视图就已经是更新过的事务数据。
读已提交
如上的案例,我们知道,在可重复读的隔离机制下,read-view是在开启事务的第一次查询就已经创建了,并且是直到事务的结束之前是不会发生变化。而接下来要介绍的读已提交隔离级别就有点不同,主要是read-view的创建,在读已提交的隔离级别下,read-view会在每次的查询的时候进行变化。
时刻9查询
根据上面的excel图,在时刻9的查询中,我们可以得出此时创建的read-view,事务102是提交的,事务100和101都是活跃未提交的事务,所以活跃数组则是[100, 101],当前事务为102,min_trx_id=100,max_trx_id=102。
接着就是一样的进行日志版本对比,对比规则与上文提到的方式是一致的,102不在视图中,所以数据可见,最后返回的是“Liyongde”。
时刻13查询
接着再来看看时刻13的情况,这个时候事务100也提交了,因为读已提交的read-view会在每次的查询发生变化,那么此时活跃事务就剩下了101,所以数组是[101],当前事务为102,min_trx_id=101,max_trx_id=102。
接着就是判断了,根据规则进行比对,最新的版本链中是事务id101,其是落在视图中,所以是不可见的数据,接着往上个版本看,事务id100是小于min_trx_id,因此此条数据是可见的。
总结
MVCC是一种用于解决数据库并发问题的乐观锁技术,多版本并发控制通过保存数据在某个时间点的快照来实现。换句话说,读操作不会阻塞写操作,写操作也不会阻塞读操作,以此来提高数据库性能。在每次对数据的操作,都用在undo日志版本链中进行。
👍创作不易,如有错误请指正,感谢观看!记得点赞哦!👍
转发请携带作者信息 @怒放吧德德 @一个有梦有戏的人
相关文章:

【MySQL性能优化】- 一文了解MVCC机制
MySQL理解MVCC 😄生命不息,写作不止 🔥 继续踏上学习之路,学之分享笔记 👊 总有一天我也能像各位大佬一样 🏆 博客首页 怒放吧德德 To记录领地 🌝分享学习心得,欢迎指正ÿ…...
性能测试-Redis
一、测试注意点 1、缓存预热 如果程序初次运行,此时由于数据尚未加载到缓存,则程序的响应时间会明显变长 注意事项: 性能测试的时候 出现 非常不稳定的现象程序刚启动,它的性能 明显 低于 已经运行一段时间的 1.1 测试缓存没…...
浅析C++的指针与引用
浅析C的指针与引用 文章目录 浅析C的指针与引用一、对比引用与指针二、引用左值引用右值引用引用折叠 三、指针与引用的性能差距总结 一、对比引用与指针 总论: 引用指针必须初始化可以不初始化不能为空可以为空不能更换目标可以更换目标 引用必须初始化ÿ…...

【消息队列开发】 实现消息删除逻辑
文章目录 🍃前言🌲实现步骤🚩检验参数的合法性🚩读取Message数据🚩二进制转为message🚩isValid 设置为无效🚩写入文件🚩更新统计文件🚩特别注意🚩完整代码 ⭕…...

【golang】28、用 httptest 做 web server 的 controller 的单测
文章目录 一、构建 HTTP server1.1 model.go1.2 server.go1.3 curl 验证 server 功能1.3.1 新建1.3.2 查询1.3.3 更新1.3.4 删除 二、httptest 测试2.1 完整示例2.2 实现逻辑2.3 其他示例2.4 用 TestMain 避免重复的测试代码2.5 gin 框架的 httptest 一、构建 HTTP server 1.1…...
296.【华为OD机试】污染水域 (图的多源BFS—JavaPythonC++JS实现)
🚀点击这里可直接跳转到本专栏,可查阅顶置最新的华为OD机试宝典~ 本专栏所有题目均包含优质解题思路,高质量解题代码(Java&Python&C++&JS分别实现),详细代码讲解,助你深入学习,深度掌握! 文章目录 一. 题目-污染水域二.解题思路三.题解代码Python题解代码…...

C语言——动态内存分配
前言:通过前面的学习,我们知道C语言中在内存中开辟空间的方法有:变量和数组。既然拥有了开辟空间的方法,我们为什么还要学习动态内存分配呢? int val 20; //在内存中开辟四个字节的空间 int arr[10] { 0 }; //在内…...

瑞_23种设计模式_策略模式
文章目录 1 策略模式(Strategy Pattern)★1.1 介绍1.2 概述1.3 策略模式的结构1.4 策略模式的优缺点1.5 策略模式的使用场景 2 案例一2.1 需求2.2 代码实现 3 案例二3.1 需求3.2 代码实现 4 JDK源码解析(Comparator) 🙊…...

使用 OpenAI 的 text-embedding 构建知识向量库并进行相似搜索
OpenAI的embedding模型的使用 首先第一篇文章中探讨和使用了ChatGPT4的API-Key实现基础的多轮对话和流式输出,完成了对GPT-API的一个初探索,那第二步打算使用OpenAI的embedding模型来构建一个知识向量库,其实知识向量库本质上就是一个包含着一…...

设计模式学习笔记 - 规范与重构 - 5.如何通过封装、抽象、模块化、中间层解耦代码?
前言 《规范与重构 - 1.什么情况下要重构?重构什么?又该如何重构?》讲过,重构可以分为大规模高层重构(简称 “大型重构”)和小规模低层次重构(简称 “小型重构”)。大型重构是对系统…...

YOLOv9实例分割教程|(二)验证教程
专栏地址:目前售价售价59.9,改进点30个 专栏介绍:YOLOv9改进系列 | 包含深度学习最新创新,助力高效涨点!!! 一、验证 打开分割验证文件,填入数据集配置文件、训练好的权重文件&…...

python 基础知识点(蓝桥杯python科目个人复习计划63)
今日复习内容:做题 例题1:蓝桥骑士 问题描述: 小蓝是蓝桥王国的骑士,他喜欢不断突破自我。 这天蓝桥国王给他安排了N个对手,他们的战力值分别为a1,a2,...,an,且按顺序阻挡在小蓝的前方。对于这些对手小…...

IAB视频广告标准《数字视频和有线电视广告格式指南》之 简介、目录及视频配套广告 - 我为什么要翻译介绍美国人工智能科技公司IAB系列(2)
写在前面 谈及到中国企业走入国际市场,拓展海外营销渠道的时候,如果单纯依靠一个小公司去国外做广告,拉渠道,找代理公司,从售前到售后,都是非常不现实的。我们可以回想一下40年前,30年前&#x…...

Python网络基础爬虫-python基本语法
文章目录 逻辑语句if,else,elifforwhile异常处理 函数与类defpassclass 逻辑语句 熟悉C/C语言的人们可能很希望Python提供switch语句,但Python中并没有这个关键词,也没有这个语句结构。但是可以通过if-elif-elif-…这样的结构代替,或者使用字…...

产品推荐 - 基于星嵌 OMAPL138+国产FPGA的DSP+ARM+FPGA三核开发板
1 评估板简介 基于TI OMAP-L138(定点/浮点DSP C674xARM9) FPGA处理器的开发板; OMAP-L138是TI德州仪器的TMS320C6748ARM926EJ-S异构双核处理器,主频456MHz,高达3648MIPS和2746MFLOPS的运算能力; FPGA…...

【微服务学习笔记(一)】Nacos、Feign、Gateway基础使用
【微服务学习笔记(一)】Nacos、Feign、Gateway基础使用 总览Nacos安装配置Nacos注册中心服务多级存储模型负载均衡规则环境隔离 配置管理配置拉取配置热更新多服务共享配置 Feign远程调用配置性能优化Fegin使用 统一网关Gateway搭建网关路由断言工厂&…...

使用maven打生产环境可执行包
一、程序为什么要打包 程序打包的主要目的是将项目的源代码、依赖库和其他资源打包成一个可执行的文件或者部署包,方便程序的发布和部署。以下是一些打包程序的重要理由: 方便部署和分发:打包后的程序可以作为一个独立的实体,方便…...

springboot+ssm基于vue.js的客户关系Crm管理系统
系统包含两种角色:管理员、用户,主要功能如下。 ide工具:IDEA 或者eclipse 编程语言: java 数据库: mysql5.7 框架:ssmspringboot都有 前端:vue.jsElementUI 详细技术:springbootSSMvueMYSQLMAVEN 数据库…...

github 中的java前后端项目整合到本地运行
前言: 本文章中所有内容仅供学习交流使用,不用于其他任何目的,不提供完整代码,抓包内容、敏感网址、数据接口等均已做脱敏处理,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关! 本文章未…...
分布式ID(7):Zookeeper实现分布式ID生成
1 原理 实现方式有两种,一种通过节点,一种通过节点的版本号 节点的特性持久顺序节点(PERSISTENT_SEQUENTIAL) 他的基本特性和持久节点是一致的,额外的特性表现在顺序性上。在ZooKeeper中,每个父节点都会为他的第一级子节点维护一份顺序,用于记录下每个子节点创建的先后顺序…...
day52 ResNet18 CBAM
在深度学习的旅程中,我们不断探索如何提升模型的性能。今天,我将分享我在 ResNet18 模型中插入 CBAM(Convolutional Block Attention Module)模块,并采用分阶段微调策略的实践过程。通过这个过程,我不仅提升…...
深入浅出:JavaScript 中的 `window.crypto.getRandomValues()` 方法
深入浅出:JavaScript 中的 window.crypto.getRandomValues() 方法 在现代 Web 开发中,随机数的生成看似简单,却隐藏着许多玄机。无论是生成密码、加密密钥,还是创建安全令牌,随机数的质量直接关系到系统的安全性。Jav…...

Opencv中的addweighted函数
一.addweighted函数作用 addweighted()是OpenCV库中用于图像处理的函数,主要功能是将两个输入图像(尺寸和类型相同)按照指定的权重进行加权叠加(图像融合),并添加一个标量值&#x…...
CRMEB 框架中 PHP 上传扩展开发:涵盖本地上传及阿里云 OSS、腾讯云 COS、七牛云
目前已有本地上传、阿里云OSS上传、腾讯云COS上传、七牛云上传扩展 扩展入口文件 文件目录 crmeb\services\upload\Upload.php namespace crmeb\services\upload;use crmeb\basic\BaseManager; use think\facade\Config;/*** Class Upload* package crmeb\services\upload* …...

学习STC51单片机32(芯片为STC89C52RCRC)OLED显示屏2
每日一言 今天的每一份坚持,都是在为未来积攒底气。 案例:OLED显示一个A 这边观察到一个点,怎么雪花了就是都是乱七八糟的占满了屏幕。。 解释 : 如果代码里信号切换太快(比如 SDA 刚变,SCL 立刻变&#…...

智能分布式爬虫的数据处理流水线优化:基于深度强化学习的数据质量控制
在数字化浪潮席卷全球的今天,数据已成为企业和研究机构的核心资产。智能分布式爬虫作为高效的数据采集工具,在大规模数据获取中发挥着关键作用。然而,传统的数据处理流水线在面对复杂多变的网络环境和海量异构数据时,常出现数据质…...

JVM虚拟机:内存结构、垃圾回收、性能优化
1、JVM虚拟机的简介 Java 虚拟机(Java Virtual Machine 简称:JVM)是运行所有 Java 程序的抽象计算机,是 Java 语言的运行环境,实现了 Java 程序的跨平台特性。JVM 屏蔽了与具体操作系统平台相关的信息,使得 Java 程序只需生成在 JVM 上运行的目标代码(字节码),就可以…...
Go 语言并发编程基础:无缓冲与有缓冲通道
在上一章节中,我们了解了 Channel 的基本用法。本章将重点分析 Go 中通道的两种类型 —— 无缓冲通道与有缓冲通道,它们在并发编程中各具特点和应用场景。 一、通道的基本分类 类型定义形式特点无缓冲通道make(chan T)发送和接收都必须准备好࿰…...
腾讯云V3签名
想要接入腾讯云的Api,必然先按其文档计算出所要求的签名。 之前也调用过腾讯云的接口,但总是卡在签名这一步,最后放弃选择SDK,这次终于自己代码实现。 可能腾讯云翻新了接口文档,现在阅读起来,清晰了很多&…...

基于Springboot+Vue的办公管理系统
角色: 管理员、员工 技术: 后端: SpringBoot, Vue2, MySQL, Mybatis-Plus 前端: Vue2, Element-UI, Axios, Echarts, Vue-Router 核心功能: 该办公管理系统是一个综合性的企业内部管理平台,旨在提升企业运营效率和员工管理水…...