当前位置: 首页 > article >正文

MySQL MVCC工作流程详解

MySQL MVCC工作流程详解

1. 基础概念

MVCC(多版本并发控制)是通过在每行记录后面保存多个版本来实现并发控制的技术,主要用于提供并发事务访问数据库时的读一致性。

2. 核心要素

2.1 事务ID(DB_TRX_ID)

  • 每个事务都有一个唯一的事务ID
  • 事务ID是自增的
  • 事务开始时分配事务ID

2.2 快照读与当前读

  1. 快照读(Snapshot Read)

    • 普通的SELECT操作
    • 读取的是快照数据
    • 不加锁,不阻塞其他事务
  2. 当前读(Current Read)

    • SELECT … FOR UPDATE
    • SELECT … LOCK IN SHARE MODE
    • INSERT/UPDATE/DELETE
    • 读取最新数据,需要加锁

3. 实现机制

3.1 隐藏字段

每行记录都包含三个隐藏字段:

1. DB_TRX_ID(事务ID):最后一次修改该行的事务ID
2. DB_ROLL_PTR(回滚指针):指向这条记录的上一个版本
3. DB_ROW_ID(行ID):如果没有主键,InnoDB自动生成

3.2 Undo Log版本链

记录1 (trx_id=50)↓ roll_ptr
记录1历史版本 (trx_id=30)↓ roll_ptr
记录1历史版本 (trx_id=10)↓ roll_ptrNULL

3.3 ReadView组成

creator_trx_id: 创建该ReadView的事务ID
trx_ids: 活跃的事务ID列表
up_limit_id: 活跃事务中最小的事务ID
low_limit_id: 下一个将被分配的事务ID

4. 可见性判断流程

4.1 判断规则

1. 如果记录的trx_id < up_limit_id- 该版本在ReadView创建前已提交- 结论:可见2. 如果记录的trx_id >= low_limit_id- 该版本在ReadView创建后才生成- 结论:不可见3. 如果up_limit_id <= trx_id < low_limit_id- 如果trx_id在活跃事务列表中:不可见- 如果trx_id不在活跃事务列表中:可见

4.2 ReadView创建时机

-- READ COMMITTED:每次读取都创建新ReadView
SELECT * FROM table;  -- 创建新ReadView
SELECT * FROM table;  -- 再次创建新ReadView-- REPEATABLE READ:首次读取创建ReadView并复用
START TRANSACTION;
SELECT * FROM table;  -- 创建ReadView
SELECT * FROM table;  -- 复用已有ReadView

5. 具体案例分析

5.1 READ COMMITTED下的案例

-- 事务A
START TRANSACTION;  -- trx_id = 100
UPDATE user SET name = 'Tom' WHERE id = 1;
COMMIT;-- 事务B
START TRANSACTION;  -- trx_id = 101
SELECT * FROM user WHERE id = 1;  -- 创建ReadView1
-- 此时看不到Tom,因为创建ReadView时事务A在活跃列表中SELECT * FROM user WHERE id = 1;  -- 创建ReadView2
-- 此时能看到Tom,因为新的ReadView中事务A已经不在活跃列表中

5.2 REPEATABLE READ下的案例

-- 事务A
START TRANSACTION;  -- trx_id = 100
SELECT * FROM user WHERE id = 1;  -- 创建ReadView
-- 记录name = 'Jack'-- 事务B执行并提交:UPDATE user SET name = 'Tom' WHERE id = 1;SELECT * FROM user WHERE id = 1;  -- 复用之前的ReadView
-- 仍然看到name = 'Jack',因为使用的是同一个ReadView

6. 注意事项

6.1 MVCC的局限性

  1. 只在RC和RR隔离级别生效
  2. 只对DML语句有效
  3. 不能解决幻读的所有场景

6.2 性能优化建议

  1. 避免长事务

    • 长事务会保留过多的历史版本
    • 增加存储空间开销
    • 影响并发性能
  2. 合理使用隔离级别

    • 一般建议使用RR级别
    • 特殊场景可以考虑RC级别
  3. 定期清理Undo Log

    • 避免Undo表空间过大
    • 及时释放无用的历史版本

7. 总结

不同的隔离级别中,生成read-view的策略不同:
读已提交:每次执行查询sql时都会重新生成最新的read-view
可重复读:执行事务中第一条查询sql时生成read-view,并且事务结束之前都不会发生变化
作用:支持数据并发修改场景下的快照读

实现原理:
readview 和 undolog 记录的数据进行匹配,对得上就去读 undolog 记录的最新数据
undolog 版本链 (行数据维度):
undolog版本链是指一行数据被多个事务依次修改过后,在每个事务修改完后,MySQL会保留修改前的数据到undo回滚日志,并且用trx_id(事务id)和roll_pointer(回滚指针)两个隐藏字段把这些undolog串联起来形成一个历史记录版本链
readview 机制 (事务维度):
4个标志位:
m_ids:当前活跃的事务id列表
min_trx_id:当前活跃事务列表中最小的事务id
max_trx_id:下一个将被分配的事务id
creator_trx_id:创建当前readview的事务id
readview 的作用:判断当前事务能看见哪个版本的数据,可见性算法:
如果数据被删除,那么该数据的undolog中roll_pointer指向的undo log
记录就是当前事务能看见的该数据的历史版本
如果数据没有被删除,那么该数据的undolog中roll_pointer指向的undo log

MVCC 如何根据 readview 结合行数据的 undolog 版本链过滤数据的?
先明确定义:行数据的最新 undolog 事务 id
按照顺序判断:
比最小的小,一定读:行数据的最新undolog事务id比min_trx_id还小,说明这个产生这条undolog的事务在readview产生时刻已经被提交了。如果行数据的最新undolog事务id和当前事务id相等,那说明是当前事务修改的数据,那肯定可读。
如果行数据的最新undolog事务id在当前活跃事务id列表内,那也一定读不到,因为活跃事务id列表都是readview生成的一瞬间还没有提交的事务,没提交当然不能读比最大的大,一定不读:行数据的最新undolog事务id比最大事务id还大说明产生这条undolog的事务在readview产生时刻都还没有开启,那肯定读不到
如果最终判断行数据的最新undolog事务id读取不到数据,那么就会根据undolog版本链继续往前一个节点,获取新的事务id重新对比,继续过滤,直到找到一个符合规则的数据

RR 隔离级别下,采用当前读是否会重复生成 ReadView?
不会,RR隔离级别下,事务中第一次执行当前读时,会生成ReadView并一直复用,直到事务结束。

相关文章:

MySQL MVCC工作流程详解

MySQL MVCC工作流程详解 1. 基础概念 MVCC&#xff08;多版本并发控制&#xff09;是通过在每行记录后面保存多个版本来实现并发控制的技术&#xff0c;主要用于提供并发事务访问数据库时的读一致性。 2. 核心要素 2.1 事务ID&#xff08;DB_TRX_ID&#xff09; 每个事务都…...

Web3技术下数字资产数据保护的实践探索

在这个信息爆炸的时代&#xff0c;数字资产已经成为我们生活中不可或缺的一部分。随着Web3技术的兴起&#xff0c;它以其去中心化、透明性和安全性的特点&#xff0c;为数字资产的管理和保护提供了新的解决方案。本文将探讨Web3技术在数字资产数据保护方面的实践探索&#xff0…...

从PPT到PNG:Python实现的高效PPT转图工具

从PPT到PNG&#xff1a;Python实现的高效PPT转图工具 在日常工作中&#xff0c;PPT&#xff08;PowerPoint&#xff09;文件是我们常用的演示工具。然而&#xff0c;有时候我们需要将PPT的内容提取为图片格式&#xff08;如PNG&#xff09;以便于展示或保存。手动将每一页PPT保…...

使用 Java 8 Stream实现List重复数据判断

import java.util.*; import java.util.stream.Collectors;public class DeduplicateStreamExample {static class ArchiveItem {// 字段定义与Getter/Setter省略&#xff08;需根据实际补充&#xff09;private String mATNR;private String lIFNR;private String suppSpecMod…...

状态模式详解与真实场景案例(Java实现)

模式定义 状态模式&#xff08;State Pattern&#xff09; 允许对象在其内部状态改变时改变它的行为&#xff0c;使对象看起来像是修改了它的类。属于行为型设计模式&#xff0c;核心思想是将状态抽象为独立对象&#xff0c;不同状态下行为封装在不同状态类中。 解决的问题 …...

BitMap和RoaringBitmap:极致高效的大数据结构

目录 1、引言 2、BitMap:基础 2.1、核心原理 2.2、BitMap的优势 2.3、BitMap的局限性 3、RoaringBitmap:进化 3.1、分段策略 3.2、三种容器类型 3.2.1. ArrayContainer(数组容器) 3.2.2. BitMapContainer(位图容器) 3.2.3. RunContainer(行程容器) 3.3、行…...

【Java基础】Java集合遍历方式

前言 在Java编程中&#xff0c;集合&#xff08;Collection&#xff09;是存储和操作对象的核心工具。遍历集合是开发者最频繁的操作之一&#xff0c;但不同场景下选择合适的遍历方式至关重要。 一、基础遍历方式 1. 基本for循环 适用场景&#xff1a;仅适用于List等有序集…...

Rust-引用借用规则

目录 一、概述 二、借用规则 三、详细解释 3.1 第一条规则 3.2 第二条规则 3.3 第三条规则 四、总结 Welcome to Code Blocks blog 本篇文章主要介绍了 [Rust-引用借用规则] ❤博主广交技术好友&#xff0c;喜欢文章的可以关注一下❤ 一、概述 Rust为确保程序在运行时不…...

如何保障企业数据的安全?软件开发中的数据安全防护措施

引言 随着数字化转型的推进&#xff0c;数据已经成为企业最重要的资产之一。然而&#xff0c;随着数据量的增长&#xff0c;数据泄露、丢失和滥用的风险也不断增加。如何保障企业数据的安全&#xff0c;成为企业在进行软件开发时必须重点关注的问题。本文将介绍软件开发中的一些…...

Linux安装开源版MQTT Broker——EMQX服务器环境从零到一的详细搭建教程

零、EMQX各个版本的区别 EMQX各个版本的功能对比详情https://docs.emqx.com/zh/emqx/latest/getting-started/feature-comparison.html...

【软件工程大系】净室软件工程

净室软件工程&#xff08;Cleanroom Software Engineering&#xff09;是一种以缺陷预防&#xff08;正确性验证&#xff09;为核心的软件开发方法&#xff0c;旨在通过严格的工程规范和数学验证&#xff0c;在开发过程中避免缺陷的产生&#xff0c;而非依赖后期的测试和调试。…...

软考 系统架构设计师系列知识点之杂项集萃(49)

接前一篇文章&#xff1a;软考 系统架构设计师系列知识点之杂项集萃&#xff08;48&#xff09; 第76题 某文件管理系统在磁盘上建立了位视图&#xff08;bitmap&#xff09;&#xff0c;记录磁盘的使用情况。若磁盘上物理块的编号依次为&#xff1a;0、1、2、……&#xff1b…...

Day(21)--网络编程

网络编程 在网络通信协议下&#xff0c;不同计算机上运行的程序&#xff0c;进行的数据传输 应用场景&#xff1a;即使通信、网友对战、金融证券等等&#xff0c;不管是什么场景&#xff0c;都是计算机和计算机之间通过网络进行的数据传输 java.net 常见的软件架构 C/S&am…...

JVM 调优不再难:AI 工具自动生成内存优化方案

在 Java 应用程序的开发与运行过程中&#xff0c;Java 虚拟机&#xff08;JVM&#xff09;的性能调优一直是一项极具挑战性的任务&#xff0c;尤其是内存优化方面。不合适的 JVM 内存配置可能会导致应用程序出现性能瓶颈&#xff0c;甚至频繁抛出内存溢出异常&#xff0c;影响业…...

封装Tcp Socket

封装Tcp Socket 0. 前言1. Socket.hpp2. 简单的使用介绍 0. 前言 本文中用到的Log.hpp在笔者的历史文章中都有涉及&#xff0c;这里就不再粘贴源码了&#xff0c;学习地址如下&#xff1a;https://blog.csdn.net/weixin_73870552/article/details/145434855?spm1001.2014.3001…...

5.1 GitHub订阅监控系统实战:FastAPI+SQLAlchemy高效架构设计与核心源码揭秘

GitHub Sentinel Agent 分析报告功能设计与实现 关键词:订阅管理 API 设计、GitHub API 集成、SQLAlchemy ORM、JWT 认证、单元测试框架 1. 订阅管理功能架构设计 订阅管理模块采用分层架构设计,通过 FastAPI 构建 RESTful 接口,结合 SQLAlchemy ORM 实现数据持久化: #me…...

2025年推荐使用的开源大语言模型top20:核心特性、选择指标和开源优势

李升伟 编译 随着人工智能技术的持续发展&#xff0c;开源大型语言模型&#xff08;LLMs&#xff09;正变得愈发强大&#xff0c;使最先进的AI能力得以普及。到2025年&#xff0c;开源生态系统中涌现出多个关键模型&#xff0c;它们在各类应用场景中展现出独特优势。 大型语言…...

Linux 入门九:Linux 进程间通信

概述 进程间通信&#xff08;IPC&#xff0c;Inter-Process Communication&#xff09;是指在不同进程之间传递数据和信息的机制。Linux 提供了多种 IPC 方式&#xff0c;包括管道、信号、信号量、消息队列、共享内存和套接字等。 方式 一、管道&#xff08;Pipe&#xff09…...

Spark-SQL核心编程实战:自定义函数与聚合函数详解

在大数据处理领域&#xff0c;Spark-SQL是极为重要的工具。今天和大家分享一下在Spark-SQL开发中的自定义函数和聚合函数的使用&#xff0c;这些都是基于实际项目开发经验的总结。 在Spark-SQL开发时&#xff0c;第一步是搭建开发环境。在IDEA中创建Spark-SQL子模块&#xff0c…...

[Mysql][Mybatis][Spring]配置文件未能正确给驱动赋值,.properties文件username值被替换

这是最初的.properties配置文件&#xff1a; drivercom.mysql.cj.jdbc.Driver urljdbc:mysql://localhost:3306/qykf usernameroot password123456 在Mybatis中引入后进行赋值&#xff1a; <environments default"development"><environment id"deve…...

go 指针接收者和值接收者的区别

go 指针接收者和值接收者的区别 指针接收者和值接收者的区别主要有两点&#xff1a; Go 中函数传参是传值&#xff0c;因此指针接收者传递的是接收者的指针拷贝&#xff0c;值接收者传递的是接收者的拷贝---在方法中指针接收者的变量会被修改&#xff0c;而值接收者的成员变量…...

Redis之缓存更新策略

缓存更新策略 文章目录 缓存更新策略一、策略对比二、常见的缓存更新策略三、如何选择策略四、实际应用示例五、使用 Cache-Aside TTL 的方式&#xff0c;实现缓存商铺信息详情1.引入StringRedisTemplate2.将查询商铺信息加入缓存3.更新商铺信息时移除缓存总结 六、注意事项 一…...

【leetcode100】杨辉三角

1、题目描述 给定一个非负整数 numRows&#xff0c;生成「杨辉三角」的前 numRows 行。 在「杨辉三角」中&#xff0c;每个数是它左上方和右上方的数的和。 示例 1: 输入: numRows 5 输出: [[1],[1,1],[1,2,1],[1,3,3,1],[1,4,6,4,1]]示例 2: 输入: numRows 1 输出: [[1]…...

git reset详解

一、git reset 的核心作用 用于 移动当前分支的 HEAD 指针 到指定的提交&#xff0c;并可选择是否修改工作区和暂存区。 ⚠️ 注意&#xff1a;若提交已被推送到远程仓库&#xff0c;强制重置&#xff08;--hard&#xff09;后需谨慎操作&#xff0c;避免影响协作。 二、三种模…...

Selenium2+Python自动化:利用JS解决click失效问题

文章目录 前言一、遇到的问题二、点击父元素问题分析解决办法实现思路 三、使用JS直接点击四、参考代码 前言 在使用Selenium2和Python进行自动化测试时&#xff0c;我们有时会遇到这样的情况&#xff1a;元素明明已经被成功定位&#xff0c;代码运行也没有报错&#xff0c;但…...

OpenStack Yoga版安装笔记(十九)启动一个实例(Self-service networks)

1、概述 1.1 官方文档 Launch an instancehttps://docs.openstack.org/install-guide/launch-instance.html 《OpenStack Yoga版安装笔记&#xff08;十四&#xff09;启动一个实例》文档中&#xff0c;已经按照Option1: Provider networks创建网络。 本文按照Option2&#…...

数据结构(java)栈与队列

栈&#xff1a;&#xff08;先进后出&#xff09; 入栈: 1.普通栈一定要放、最小栈放的原则是: *如果最小栈是空的&#xff0c;那么放 *如果最小栈的栈顶元素没有当前的元素小&#xff0c;则放 2.如果要放的的元素小于等于最小栈栈顶元素可以放吗?放 出栈: 需要…...

Flask+Plotly结合动态加载图形页面实践

1. DeepSeek帮我实践 1.1. 我的提问既设计方案 原有如下主页:dashboard.html,现增加“预测模型学习”,对感知机神经网络描述如下: 1、输入与输出为固定值,例如输入层215,输出层48; 2、模型为回归神经网络; 3、中层是可动态调整的,例如定义如下:第二层,200,第三层…...

数学教学通讯杂志数学教学通讯杂志社数学教学通讯编辑部2025年第6期目录

课程教材教法 “课程思政”视域下的高中数学教学探索与实践——以“函数概念的发展历程”为例 赵文博; 3-617 PBL教学模式下高中统计教学的探索与实践——以“随机抽样&#xff08;第一课时&#xff09;”为例 陈沛余; 7-10 “三新”背景下的高中数学教学困境与应对…...

整活 kotlin + springboot3 + sqlite 配置一个 SQLiteCache

要实现一个 SQLiteCache 也是很简单的只需要创建一个 cacheManager Bean 即可 // 如果配置文件中 spring.cache.sqlite.enable false 则不启用 Bean("cacheManager") ConditionalOnProperty(name ["spring.cache.sqlite.enable"], havingValue "t…...