MySQL MVCC工作流程详解
MySQL MVCC工作流程详解
1. 基础概念
MVCC(多版本并发控制)是通过在每行记录后面保存多个版本来实现并发控制的技术,主要用于提供并发事务访问数据库时的读一致性。
2. 核心要素
2.1 事务ID(DB_TRX_ID)
- 每个事务都有一个唯一的事务ID
- 事务ID是自增的
- 事务开始时分配事务ID
2.2 快照读与当前读
-
快照读(Snapshot Read):
- 普通的SELECT操作
- 读取的是快照数据
- 不加锁,不阻塞其他事务
-
当前读(Current Read):
- SELECT … FOR UPDATE
- SELECT … LOCK IN SHARE MODE
- INSERT/UPDATE/DELETE
- 读取最新数据,需要加锁
3. 实现机制
3.1 隐藏字段
每行记录都包含三个隐藏字段:
1. DB_TRX_ID(事务ID):最后一次修改该行的事务ID
2. DB_ROLL_PTR(回滚指针):指向这条记录的上一个版本
3. DB_ROW_ID(行ID):如果没有主键,InnoDB自动生成
3.2 Undo Log版本链
记录1 (trx_id=50)↓ roll_ptr
记录1历史版本 (trx_id=30)↓ roll_ptr
记录1历史版本 (trx_id=10)↓ roll_ptrNULL
3.3 ReadView组成
creator_trx_id: 创建该ReadView的事务ID
trx_ids: 活跃的事务ID列表
up_limit_id: 活跃事务中最小的事务ID
low_limit_id: 下一个将被分配的事务ID
4. 可见性判断流程
4.1 判断规则
1. 如果记录的trx_id < up_limit_id- 该版本在ReadView创建前已提交- 结论:可见2. 如果记录的trx_id >= low_limit_id- 该版本在ReadView创建后才生成- 结论:不可见3. 如果up_limit_id <= trx_id < low_limit_id- 如果trx_id在活跃事务列表中:不可见- 如果trx_id不在活跃事务列表中:可见
4.2 ReadView创建时机
-- READ COMMITTED:每次读取都创建新ReadView
SELECT * FROM table; -- 创建新ReadView
SELECT * FROM table; -- 再次创建新ReadView-- REPEATABLE READ:首次读取创建ReadView并复用
START TRANSACTION;
SELECT * FROM table; -- 创建ReadView
SELECT * FROM table; -- 复用已有ReadView
5. 具体案例分析
5.1 READ COMMITTED下的案例
-- 事务A
START TRANSACTION; -- trx_id = 100
UPDATE user SET name = 'Tom' WHERE id = 1;
COMMIT;-- 事务B
START TRANSACTION; -- trx_id = 101
SELECT * FROM user WHERE id = 1; -- 创建ReadView1
-- 此时看不到Tom,因为创建ReadView时事务A在活跃列表中SELECT * FROM user WHERE id = 1; -- 创建ReadView2
-- 此时能看到Tom,因为新的ReadView中事务A已经不在活跃列表中
5.2 REPEATABLE READ下的案例
-- 事务A
START TRANSACTION; -- trx_id = 100
SELECT * FROM user WHERE id = 1; -- 创建ReadView
-- 记录name = 'Jack'-- 事务B执行并提交:UPDATE user SET name = 'Tom' WHERE id = 1;SELECT * FROM user WHERE id = 1; -- 复用之前的ReadView
-- 仍然看到name = 'Jack',因为使用的是同一个ReadView
6. 注意事项
6.1 MVCC的局限性
- 只在RC和RR隔离级别生效
- 只对DML语句有效
- 不能解决幻读的所有场景
6.2 性能优化建议
-
避免长事务
- 长事务会保留过多的历史版本
- 增加存储空间开销
- 影响并发性能
-
合理使用隔离级别
- 一般建议使用RR级别
- 特殊场景可以考虑RC级别
-
定期清理Undo Log
- 避免Undo表空间过大
- 及时释放无用的历史版本
7. 总结
不同的隔离级别中,生成read-view的策略不同:
读已提交:每次执行查询sql时都会重新生成最新的read-view
可重复读:执行事务中第一条查询sql时生成read-view,并且事务结束之前都不会发生变化
作用:支持数据并发修改场景下的快照读
实现原理:
readview 和 undolog 记录的数据进行匹配,对得上就去读 undolog 记录的最新数据
undolog 版本链 (行数据维度):
undolog版本链是指一行数据被多个事务依次修改过后,在每个事务修改完后,MySQL会保留修改前的数据到undo回滚日志,并且用trx_id(事务id)和roll_pointer(回滚指针)两个隐藏字段把这些undolog串联起来形成一个历史记录版本链
readview 机制 (事务维度):
4个标志位:
m_ids:当前活跃的事务id列表
min_trx_id:当前活跃事务列表中最小的事务id
max_trx_id:下一个将被分配的事务id
creator_trx_id:创建当前readview的事务id
readview 的作用:判断当前事务能看见哪个版本的数据,可见性算法:
如果数据被删除,那么该数据的undolog中roll_pointer指向的undo log
记录就是当前事务能看见的该数据的历史版本
如果数据没有被删除,那么该数据的undolog中roll_pointer指向的undo log
MVCC 如何根据 readview 结合行数据的 undolog 版本链过滤数据的?
先明确定义:行数据的最新 undolog 事务 id
按照顺序判断:
比最小的小,一定读:行数据的最新undolog事务id比min_trx_id还小,说明这个产生这条undolog的事务在readview产生时刻已经被提交了。如果行数据的最新undolog事务id和当前事务id相等,那说明是当前事务修改的数据,那肯定可读。
如果行数据的最新undolog事务id在当前活跃事务id列表内,那也一定读不到,因为活跃事务id列表都是readview生成的一瞬间还没有提交的事务,没提交当然不能读比最大的大,一定不读:行数据的最新undolog事务id比最大事务id还大说明产生这条undolog的事务在readview产生时刻都还没有开启,那肯定读不到
如果最终判断行数据的最新undolog事务id读取不到数据,那么就会根据undolog版本链继续往前一个节点,获取新的事务id重新对比,继续过滤,直到找到一个符合规则的数据
RR 隔离级别下,采用当前读是否会重复生成 ReadView?
不会,RR隔离级别下,事务中第一次执行当前读时,会生成ReadView并一直复用,直到事务结束。
相关文章:
MySQL MVCC工作流程详解
MySQL MVCC工作流程详解 1. 基础概念 MVCC(多版本并发控制)是通过在每行记录后面保存多个版本来实现并发控制的技术,主要用于提供并发事务访问数据库时的读一致性。 2. 核心要素 2.1 事务ID(DB_TRX_ID) 每个事务都…...
Web3技术下数字资产数据保护的实践探索
在这个信息爆炸的时代,数字资产已经成为我们生活中不可或缺的一部分。随着Web3技术的兴起,它以其去中心化、透明性和安全性的特点,为数字资产的管理和保护提供了新的解决方案。本文将探讨Web3技术在数字资产数据保护方面的实践探索࿰…...
从PPT到PNG:Python实现的高效PPT转图工具
从PPT到PNG:Python实现的高效PPT转图工具 在日常工作中,PPT(PowerPoint)文件是我们常用的演示工具。然而,有时候我们需要将PPT的内容提取为图片格式(如PNG)以便于展示或保存。手动将每一页PPT保…...
使用 Java 8 Stream实现List重复数据判断
import java.util.*; import java.util.stream.Collectors;public class DeduplicateStreamExample {static class ArchiveItem {// 字段定义与Getter/Setter省略(需根据实际补充)private String mATNR;private String lIFNR;private String suppSpecMod…...
状态模式详解与真实场景案例(Java实现)
模式定义 状态模式(State Pattern) 允许对象在其内部状态改变时改变它的行为,使对象看起来像是修改了它的类。属于行为型设计模式,核心思想是将状态抽象为独立对象,不同状态下行为封装在不同状态类中。 解决的问题 …...
BitMap和RoaringBitmap:极致高效的大数据结构
目录 1、引言 2、BitMap:基础 2.1、核心原理 2.2、BitMap的优势 2.3、BitMap的局限性 3、RoaringBitmap:进化 3.1、分段策略 3.2、三种容器类型 3.2.1. ArrayContainer(数组容器) 3.2.2. BitMapContainer(位图容器) 3.2.3. RunContainer(行程容器) 3.3、行…...
【Java基础】Java集合遍历方式
前言 在Java编程中,集合(Collection)是存储和操作对象的核心工具。遍历集合是开发者最频繁的操作之一,但不同场景下选择合适的遍历方式至关重要。 一、基础遍历方式 1. 基本for循环 适用场景:仅适用于List等有序集…...
Rust-引用借用规则
目录 一、概述 二、借用规则 三、详细解释 3.1 第一条规则 3.2 第二条规则 3.3 第三条规则 四、总结 Welcome to Code Blocks blog 本篇文章主要介绍了 [Rust-引用借用规则] ❤博主广交技术好友,喜欢文章的可以关注一下❤ 一、概述 Rust为确保程序在运行时不…...
如何保障企业数据的安全?软件开发中的数据安全防护措施
引言 随着数字化转型的推进,数据已经成为企业最重要的资产之一。然而,随着数据量的增长,数据泄露、丢失和滥用的风险也不断增加。如何保障企业数据的安全,成为企业在进行软件开发时必须重点关注的问题。本文将介绍软件开发中的一些…...
Linux安装开源版MQTT Broker——EMQX服务器环境从零到一的详细搭建教程
零、EMQX各个版本的区别 EMQX各个版本的功能对比详情https://docs.emqx.com/zh/emqx/latest/getting-started/feature-comparison.html...
【软件工程大系】净室软件工程
净室软件工程(Cleanroom Software Engineering)是一种以缺陷预防(正确性验证)为核心的软件开发方法,旨在通过严格的工程规范和数学验证,在开发过程中避免缺陷的产生,而非依赖后期的测试和调试。…...
软考 系统架构设计师系列知识点之杂项集萃(49)
接前一篇文章:软考 系统架构设计师系列知识点之杂项集萃(48) 第76题 某文件管理系统在磁盘上建立了位视图(bitmap),记录磁盘的使用情况。若磁盘上物理块的编号依次为:0、1、2、……;…...
Day(21)--网络编程
网络编程 在网络通信协议下,不同计算机上运行的程序,进行的数据传输 应用场景:即使通信、网友对战、金融证券等等,不管是什么场景,都是计算机和计算机之间通过网络进行的数据传输 java.net 常见的软件架构 C/S&am…...
JVM 调优不再难:AI 工具自动生成内存优化方案
在 Java 应用程序的开发与运行过程中,Java 虚拟机(JVM)的性能调优一直是一项极具挑战性的任务,尤其是内存优化方面。不合适的 JVM 内存配置可能会导致应用程序出现性能瓶颈,甚至频繁抛出内存溢出异常,影响业…...
封装Tcp Socket
封装Tcp Socket 0. 前言1. Socket.hpp2. 简单的使用介绍 0. 前言 本文中用到的Log.hpp在笔者的历史文章中都有涉及,这里就不再粘贴源码了,学习地址如下:https://blog.csdn.net/weixin_73870552/article/details/145434855?spm1001.2014.3001…...
5.1 GitHub订阅监控系统实战:FastAPI+SQLAlchemy高效架构设计与核心源码揭秘
GitHub Sentinel Agent 分析报告功能设计与实现 关键词:订阅管理 API 设计、GitHub API 集成、SQLAlchemy ORM、JWT 认证、单元测试框架 1. 订阅管理功能架构设计 订阅管理模块采用分层架构设计,通过 FastAPI 构建 RESTful 接口,结合 SQLAlchemy ORM 实现数据持久化: #me…...
2025年推荐使用的开源大语言模型top20:核心特性、选择指标和开源优势
李升伟 编译 随着人工智能技术的持续发展,开源大型语言模型(LLMs)正变得愈发强大,使最先进的AI能力得以普及。到2025年,开源生态系统中涌现出多个关键模型,它们在各类应用场景中展现出独特优势。 大型语言…...
Linux 入门九:Linux 进程间通信
概述 进程间通信(IPC,Inter-Process Communication)是指在不同进程之间传递数据和信息的机制。Linux 提供了多种 IPC 方式,包括管道、信号、信号量、消息队列、共享内存和套接字等。 方式 一、管道(Pipe)…...
Spark-SQL核心编程实战:自定义函数与聚合函数详解
在大数据处理领域,Spark-SQL是极为重要的工具。今天和大家分享一下在Spark-SQL开发中的自定义函数和聚合函数的使用,这些都是基于实际项目开发经验的总结。 在Spark-SQL开发时,第一步是搭建开发环境。在IDEA中创建Spark-SQL子模块,…...
[Mysql][Mybatis][Spring]配置文件未能正确给驱动赋值,.properties文件username值被替换
这是最初的.properties配置文件: drivercom.mysql.cj.jdbc.Driver urljdbc:mysql://localhost:3306/qykf usernameroot password123456 在Mybatis中引入后进行赋值: <environments default"development"><environment id"deve…...
go 指针接收者和值接收者的区别
go 指针接收者和值接收者的区别 指针接收者和值接收者的区别主要有两点: Go 中函数传参是传值,因此指针接收者传递的是接收者的指针拷贝,值接收者传递的是接收者的拷贝---在方法中指针接收者的变量会被修改,而值接收者的成员变量…...
Redis之缓存更新策略
缓存更新策略 文章目录 缓存更新策略一、策略对比二、常见的缓存更新策略三、如何选择策略四、实际应用示例五、使用 Cache-Aside TTL 的方式,实现缓存商铺信息详情1.引入StringRedisTemplate2.将查询商铺信息加入缓存3.更新商铺信息时移除缓存总结 六、注意事项 一…...
【leetcode100】杨辉三角
1、题目描述 给定一个非负整数 numRows,生成「杨辉三角」的前 numRows 行。 在「杨辉三角」中,每个数是它左上方和右上方的数的和。 示例 1: 输入: numRows 5 输出: [[1],[1,1],[1,2,1],[1,3,3,1],[1,4,6,4,1]]示例 2: 输入: numRows 1 输出: [[1]…...
git reset详解
一、git reset 的核心作用 用于 移动当前分支的 HEAD 指针 到指定的提交,并可选择是否修改工作区和暂存区。 ⚠️ 注意:若提交已被推送到远程仓库,强制重置(--hard)后需谨慎操作,避免影响协作。 二、三种模…...
Selenium2+Python自动化:利用JS解决click失效问题
文章目录 前言一、遇到的问题二、点击父元素问题分析解决办法实现思路 三、使用JS直接点击四、参考代码 前言 在使用Selenium2和Python进行自动化测试时,我们有时会遇到这样的情况:元素明明已经被成功定位,代码运行也没有报错,但…...
OpenStack Yoga版安装笔记(十九)启动一个实例(Self-service networks)
1、概述 1.1 官方文档 Launch an instancehttps://docs.openstack.org/install-guide/launch-instance.html 《OpenStack Yoga版安装笔记(十四)启动一个实例》文档中,已经按照Option1: Provider networks创建网络。 本文按照Option2&#…...
数据结构(java)栈与队列
栈:(先进后出) 入栈: 1.普通栈一定要放、最小栈放的原则是: *如果最小栈是空的,那么放 *如果最小栈的栈顶元素没有当前的元素小,则放 2.如果要放的的元素小于等于最小栈栈顶元素可以放吗?放 出栈: 需要…...
Flask+Plotly结合动态加载图形页面实践
1. DeepSeek帮我实践 1.1. 我的提问既设计方案 原有如下主页:dashboard.html,现增加“预测模型学习”,对感知机神经网络描述如下: 1、输入与输出为固定值,例如输入层215,输出层48; 2、模型为回归神经网络; 3、中层是可动态调整的,例如定义如下:第二层,200,第三层…...
数学教学通讯杂志数学教学通讯杂志社数学教学通讯编辑部2025年第6期目录
课程教材教法 “课程思政”视域下的高中数学教学探索与实践——以“函数概念的发展历程”为例 赵文博; 3-617 PBL教学模式下高中统计教学的探索与实践——以“随机抽样(第一课时)”为例 陈沛余; 7-10 “三新”背景下的高中数学教学困境与应对…...
整活 kotlin + springboot3 + sqlite 配置一个 SQLiteCache
要实现一个 SQLiteCache 也是很简单的只需要创建一个 cacheManager Bean 即可 // 如果配置文件中 spring.cache.sqlite.enable false 则不启用 Bean("cacheManager") ConditionalOnProperty(name ["spring.cache.sqlite.enable"], havingValue "t…...
