MySQL事务MVCC详解
一、概述
MVCC (MultiVersion Concurrency Control) 叫做多版本并发控制机制。主要是通过数据多版本来实现读-写分离,做到即使有读写冲突时,也能做到不加锁,非阻塞并发读,从而提高数据库并发性能。
MVCC只在已提交读(Read Committed)和可重复读(Repeatable Read)两个隔离级别下工作,其他两个隔离级别和MVCC是不兼容的。因为未提交读,总数读取最新的数据行,而不是读取符合当前事务版本的数据行。而串行化(Serializable)则会对读的所有数据多加锁。
主要思想是:InnoDB通过undo log保存每条数据的多个版本,并且能够找回数据历史版本提供给用户读,每个事务读到的数据版本可能是不一样的。在同一个事务中,用户只能看到该事务创建快照之前已经提交的修改和该事务本身做的修改。
二、当前读和快照读
- 快照读:读取的是历史数据,不加锁的简单 Select 都属于快照读。
select * from user where id = 1;
- 当前读:读取的是最新数据,而不是历史的数据,加锁的 SELECT,或者对数据进行增删改都会进行当前读。
SELECT * FROM user LOCK IN SHARE MODE;
SELECT * FROM user FOR UPDATE;
INSERT INTO user values ...
DELETE FROM user WHERE ...
UPDATE user SET ...
三、MVCC 与快照读的关系
MVCC 多版本并发控制是维持一个数据的多个版本,使得读写操作没有冲突,而这只是一个抽象概念。而快照读就是 MySQL 实现 MVCC 理想模型的其中一个非阻塞读功能,快照读所读取的就是MVCC维持的多版本数据中去某个版本数据。
四、MVCC 优点
- 提供多版本数据,在并发读写数据库时,读写操作互不影响,提高了数据库并发读写的性能。
- 可以解决脏读,幻读,不可重复读等事务隔离问题。
五、MVCC 实现原理
主要是依赖每一行记录中2个隐藏字段、undo log版本链 以及 ReadView。
1. 行记录的隐藏字段
- trx_id:操作这个数据的事务 ID,也就是最后一个对数据插入或者更新的事务 ID 。
- roll_ptr:回滚指针,指向这个记录的 Undo Log 信息。
- row_id:隐藏的行 ID ,用来生成默认的聚集索引。如果创建数据表时没指定聚集索引,这时 InnoDB 就会用这个隐藏 ID 来创建聚集索引。
2. undo log版本链
多个事务并行操作某一行数据时,不同事务对该行数据的修改会产生多个版本,然后通过回滚指针(roll_pointer),连成一个链表,这个链表就称为版本链。(其实undo log 版本链的节点在事务提交之后可能是会 purge 线程清除掉的)
(1)首先开启第一个事务,事务id为1,通过insert语句往表中插入一条新记录如下:
由于是新插入的记录,因此它的roll_pointer指向的undo log为空。
(2)接着开启第二个事务,事务id为2,更新该行记录的name为Tom。
- 在第二个事务修改该行记录时,数据库会先对该行加排他锁;
- 然后把该行数据拷贝到 undo log 中,作为旧版本记录;
- 拷贝完毕后,再修改该行name为Tom,并且修改隐藏字段trx_id为当前事务的id, 回滚指针roll_pointer指向拷贝到 undo log 的副本记录,既表示我的上一个版本就是它。
- 事务提交后,释放锁。
(3)再开启第三个事务,事务id为3,修改改行记录的age为25。
- 在第三个事务修改该行记录时,数据库会先对该行加排他锁;
- 然后把该行数据拷贝到 undo log 中,作为旧版本记录;
- 拷贝完毕后,再修改该行age为25,并且修改隐藏字段trx_id为当前事务的id, 回滚指针roll_pointer指向拷贝到 undo log 的副本记录,既表示我的上一个版本就是它。
- 事务提交后,释放锁。
3.ReadView
Read View 就是事务进行 “快照读” 操作时候生产的 “读视图”,在该事务执行的快照读的那一刻,会生成数据库系统当前的一个快照,记录并维护系统当前活跃事务的 ID。主要是用来做可见性判断的,即当我们某个事务执行快照读的时候,当前事务能够看到undo log版本链上的哪个版本数据。
(1)ReadView中主要属性
- trx_ids:当前系统中那些活跃(未提交)的读写事务ID,它数据结构为一个List。(trx_ids中的活跃事务不包括:当前事务自己)。
- min_trx_id:trx_ids中最小的事务id。
- max_trx_id:预分配事务编号,MySQL即将为下一个事务分配的事务id。
- creator_trx_id: 表示生成该 ReadView 的事务的 事务id。
(2)ReadView可见性判断规则
- 判断 trx_id = creator_trx_id,如果条件成立,则说明当前事务与进行select快照读的事务是同一个事务,那么该select是可以读取到该trx_id对应的版本;如果条件不成立,继续往下判断其他条件。
- 判断 trx_id < min_trx_id,如果条件成立,则说明当前事务是在进行select快照读的事务之前就已经提交了,那么该select是可以读取到该trx_id对应的版本;如果条件不成立,继续往下判断其他条件。
- 判断 trx_id > max_trx_id,如果条件成立,则说明当前事务是在进行select快照读的事务之后才创建的,那么该select是肯定读取不到该trx_id对应的版本;如果条件不成立,则继续往下判断其他条件。
- 判断 min_trx_id < trx_id < max_trx_id,如果条件成立,则说明当前事务可能在活跃的事务中,需要再判断下trx_id是否在trx_ids中,如果不在,则说明当前事务已经提交过了,那么该select就可以读取到该trx_id对应的版本;否则说明当前事务还未提交,该select也就无法读取到该trx_id对应的版本。
(3)已提交读(RC)与可重复读(RR)级别下的快照读
RC 隔离级与RR隔离级生成Read View 的时机是不同的,因为也造成了两者快照读的结果的不同。在 RC 隔离级别下,是每个快照读都会生成并获取最新的 Read View;而在 RR 隔离级别下,则是同一个事务中的第一个快照读才会创建 Read View, 之后的快照读获取的都是同一个 Read View。
undo log版本链:
ReadView创建实时机:
解析:
(1)RC级别下:
在事务D中的第一个select语句执行时,生成的ReadView中,当前系统中那些活跃(未提交)的读写事务有{3,4},创建ReadView的事务id为5,活跃事务中最新事务id为3,预分配的事务id为6。再根据undo log版本链依次与ReadView的可见性判断规则进行对比,判断哪个版本是可见的。例如:
- 先对版本链最新的一个版本trx_id = 4进行判断:
1.先判断 trx_id = creator_trx_id:creator_trx_id = 5,trx_id = 4,条件不成立,暂时无法证明该版本相对于当前select可见,则继续根据其他规则进行判断。
2.继续判断 trx_id < min_trx_id:min_trx_id = 3,trx_id = 4,条件不成立,也暂时无法证明该版本相对于当前select可见,则继续根据其他规则进行判断。
3.继续判断 trx_id > max_trx_id:max_trx_id = 6,trx_id = 4,条件不成立,也暂时无法证明该版本相对于当前select可见,则需要继续据其他规则进行判断。(如果该条件成立,则可以证明该版本相对于当前select肯定是不可见的)
4.继续判断 min_trx_id < trx_id < max_trx_id:条件成立,说明当前事务可能在活跃的事务中,需要再判断下trx_id是否在trx_ids中,trx_id = 4在活跃的事务中,也就是当前事务还未提交,那么该select也就无法读取到该版本的数据。
所有可见性规则判断完毕,最终得出版本链中最新的一个事务C这个版本在事务D中的第一个select语句是不可见的。 - 再对版本链中trx_id = 3 按照上述的可见性规则依次判断:最终得出该版本在事务D中的第一个select语句也是不可见的。
- 再对版本链中trx_id = 2 按照上述的可见性规则依次判断:最终得出该版本在事务D中的第一个select语句也是可见的。
在事务D中的第二个select语句执行时,会重新生成一个新的ReadView,此时系统中那些活跃(未提交)的读写事务有{4},创建ReadView的事务id为5,活跃事务中最新事务id为4,预分配的事务id为6。再根据undo log版本链依次与ReadView的可见性判断规则进行对比,可以得出最终该select语句的可见版本为 trx_id = 3 和 trx_id = 2,与第一个select语句查询的可见版本不一样。这也是为什RC隔离级别下,同一事务中多次使用快照读查询时会产生查询结果不一致的问题。
(2)RR级别下:
在事务D中的第一个select语句执行时,生成一个ReadView与RC级别是一样的,所以最终得到的可见版本也是只有 trx_id = 2。但是在事务D中的第二个select语句执行时,RR级别不会再生成新的ReadView,而是直接复用第一次生的的那个ReadView,所以最终判断下来,第二个select语句的可见版本也只有 trx_id = 2。这也就是为什么RR级别下同一事务中多次使用快照读查询时结果都是相同的原因。如何在事务中使用了当前读,则后面的快照读不会再复用之前的ReadView,而是重新生成一个新的ReadView,这也RR级别下无法解决幻读的原因。
相关文章:

MySQL事务MVCC详解
一、概述 MVCC (MultiVersion Concurrency Control) 叫做多版本并发控制机制。主要是通过数据多版本来实现读-写分离,做到即使有读写冲突时,也能做到不加锁,非阻塞并发读,从而提高数据库并发性能。 MVCC只在已提交读(…...
SQL RDBMS 概念
SQL RDBMS 概念 RDBMS是关系数据库管理系统(Relational Database Management System)的缩写。 RDBMS是SQL的基础,也是所有现代数据库系统(如MS SQL Server、IBMDB2、Oracle、MySQL和MicrosoftAccess)的基础。 关系数据库管理系统(Relational Database Management Sy…...

onlyoffice的介绍搭建、集成过程。Windows、Linux
文章目录 什么是onlyoffice功能系统要求安装必备组件 windows搭建资源下载安装数据库onlyoffice安装测试 Linux搭建dockerdocker-compose 项目中用到的技术,做个笔记哈~ 什么是onlyoffice 在本地服务器上安装ONLYOFFICE Docs Community Edition Community Edition…...

37. 解数独
编写一个程序,通过填充空格来解决数独问题。 数独的解法需 遵循如下规则: 数字 1-9 在每一行只能出现一次。数字 1-9 在每一列只能出现一次。数字 1-9 在每一个以粗实线分隔的 3x3 宫内只能出现一次。(请参考示例图) 数独部分空…...

git cherry-pick 合并某次提交
一、无冲突的情况 1、合并其它分支某次提交 切换到主分支,想把其他分支的某次commit修改 合并到主分支上, 可以用 git cherry-pick 命令 比如,其它分支,某次提交的commit Hash 是30e48158badc39801f1ce3cb375a07b872d6f220 &a…...
【面试HOT100】子串普通数组矩阵
系列综述: 💞目的:本系列是个人整理为了秋招面试的,整理期间苛求每个知识点,平衡理解简易度与深入程度。 🥰来源:材料主要源于LeetCodeHot100进行的,每个知识点的修正和深入主要参考…...

XPSpeak软件教程-科学指南针
在做X 射线光电子能谱(XPS)测试时,科学指南针检测平台工作人员在与很多同学沟通中了解到,好多同学仅仅是通过文献或者师兄师姐的推荐对XPS测试有了解,但是对于其软件操作还属于小白阶段,针对此,科学指南针检测平台团队…...

NLP算法面经 | 腾讯 VS 美团
作者 | 曾同学 编辑 | NewBeeNLP 面试锦囊之面经分享系列,持续更新中 后台回复『面试』加入讨论组交流噢 lz从3月初脚因打球扭伤了开始,投递简历,接二连三的面试鞭尸又面试,昨天才终于上岸了,分享经验~ 腾讯PCG看点&…...

【广州华锐互动】塔吊多人安拆VR互动培训系统
塔吊多人安拆VR互动培训系统由广州华锐互动制作,是一种基于VR技术的模拟实训系统,专门用于培训塔吊驾驶员和操作员。 在现实生活中,塔吊操作具有一定的危险性,尤其是在培训过程中容易发生意外。而使用VR互动实训系统,学…...

Linux性能优化--性能工具:特定进程内存
5.0 概述 本章介绍的工具使你能诊断应用程序与内存子系统之间的交互,该子系统由Linux内核和CPU管理。由于内存子系统的不同层次在性能上有数量级的差异,因此,修复应用程序使其有效地使用内存子系统会对程序性能产生巨大的影响。 阅读本章后&…...

MyLife - Docker安装rabbitmq
Docker安装rabbitmq 个人觉得像rabbitmq之类的基础设施在线上环境直接物理机安装使用可能会好些。但是在开发测试环境用docker容器还是比较方便的。这里学习下docker安装rabbitmq使用。 1. rabbitmq 镜像库地址 rabbitmq 镜像库地址:https://hub.docker.com/_/rabbi…...

Leetcode刷题详解——长度最小的子数组
1. 题目链接:209. 长度最小的子数组 2. 题目描述: 给定一个含有 n 个正整数的数组和一个正整数 target 。 找出该数组中满足其总和大于等于 target 的长度最小的 连续子数组 [numsl, numsl1, ..., numsr-1, numsr] ,并返回其长度**。**如果不…...

客流人数管理新趋势:景区客流采集分析系统的功能特点
随着旅游业的蓬勃发展,越来越多的人选择前往景区进行休闲和旅游。然而,人流量的增加也给景区管理带来了一系列的挑战。为了更好地管理和运营景区,景区客流采集分析系统应运而生。 一、案例展示 二、产品卖点 该系统利用先进的人工智能算法和…...

【仙逆】王林极限跑酷,藤厉自食恶果,仙逆战斗获好评,张虎命运被改写
Hello,小伙伴们,我是小郑继续为大家深度解析国漫资讯。 最新一集《仙逆》已经更新,相信很多小伙伴都已经先睹为快,在击杀了白展之后,张虎和王林担心其师傅即墨老人报复,因此躲到看似安全的藤家城,以为那里有…...

想要精通算法和SQL的成长之路 - 前缀和的应用
想要精通算法和SQL的成长之路 - 前缀和的应用 前言一. 区域和检索 - 数组不可变二. 二维区域和检索 - 矩阵不可变2.1 前缀和的计算2.2 用前缀和计算二维区域和 三. 矩形区域不超过 K 的最大数值和 前言 想要精通算法和SQL的成长之路 - 系列导航 一. 区域和检索 - 数组不可变 原…...

如何让大模型自由使用外部知识与工具
本文将分享为什么以及如何使用外部的知识和工具来增强视觉或者语言模型。 全文目录: 1. 背景介绍 OREO-LM: 用知识图谱推理来增强语言模型 REVEAL: 用多个知识库检索来预训练视觉语言模型 AVIS: 让大模型用动态树决策来调用工具 技术交流群 建了技术交流群&a…...

关注用户信息卡片
效果展示 CSS 知识点 box-shadow 属性回顾CSS 变量回顾 实现页面整体布局 <div class"card"><div class"box"><!-- 视频 --><div class"vide_box"><video src"user.mp4" type"video/mp4" aut…...

【Java基础面试十八】、说一说重写与重载的区别
文章底部有个人公众号:热爱技术的小郑。主要分享开发知识、学习资料、毕业设计指导等。有兴趣的可以关注一下。为何分享? 踩过的坑没必要让别人在再踩,自己复盘也能加深记忆。利己利人、所谓双赢。 面试官:说一说重写与重载的区别…...

Linux文件管理(上)
一、VIM编辑器 1、vi概述 vi(visual editor)编辑器通常被简称为vi,它是Linux和Unix系统上最基本的文本编辑器,类似于Windows 系统下的notepad(记事本)编辑器。 2、vim编辑器 Vim(Vi improved)是vi编辑器…...

docker 复习
文章目录 1. docker 基础1.1 docker 安装配置镜像加速器拉取镜像的仓库: docker 部署Mysql 镜像docker 命令的详细解释docker 常见命令docker 数据卷docker 相关命令总结 2.自定义镜像2.1 dockerfile2.2 try 构建一个Java镜像,并部署2.3 总结: 3. docker…...

调用支付宝接口响应40004 SYSTEM_ERROR问题排查
在对接支付宝API的时候,遇到了一些问题,记录一下排查过程。 Body:{"datadigital_fincloud_generalsaas_face_certify_initialize_response":{"msg":"Business Failed","code":"40004","sub_msg…...
C++:std::is_convertible
C++标志库中提供is_convertible,可以测试一种类型是否可以转换为另一只类型: template <class From, class To> struct is_convertible; 使用举例: #include <iostream> #include <string>using namespace std;struct A { }; struct B : A { };int main…...

《Qt C++ 与 OpenCV:解锁视频播放程序设计的奥秘》
引言:探索视频播放程序设计之旅 在当今数字化时代,多媒体应用已渗透到我们生活的方方面面,从日常的视频娱乐到专业的视频监控、视频会议系统,视频播放程序作为多媒体应用的核心组成部分,扮演着至关重要的角色。无论是在个人电脑、移动设备还是智能电视等平台上,用户都期望…...

【快手拥抱开源】通过快手团队开源的 KwaiCoder-AutoThink-preview 解锁大语言模型的潜力
引言: 在人工智能快速发展的浪潮中,快手Kwaipilot团队推出的 KwaiCoder-AutoThink-preview 具有里程碑意义——这是首个公开的AutoThink大语言模型(LLM)。该模型代表着该领域的重大突破,通过独特方式融合思考与非思考…...
macOS多出来了:Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用
文章目录 问题现象问题原因解决办法 问题现象 macOS启动台(Launchpad)多出来了:Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用。 问题原因 很明显,都是Google家的办公全家桶。这些应用并不是通过独立安装的…...

srs linux
下载编译运行 git clone https:///ossrs/srs.git ./configure --h265on make 编译完成后即可启动SRS # 启动 ./objs/srs -c conf/srs.conf # 查看日志 tail -n 30 -f ./objs/srs.log 开放端口 默认RTMP接收推流端口是1935,SRS管理页面端口是8080,可…...
什么是EULA和DPA
文章目录 EULA(End User License Agreement)DPA(Data Protection Agreement)一、定义与背景二、核心内容三、法律效力与责任四、实际应用与意义 EULA(End User License Agreement) 定义: EULA即…...

PL0语法,分析器实现!
简介 PL/0 是一种简单的编程语言,通常用于教学编译原理。它的语法结构清晰,功能包括常量定义、变量声明、过程(子程序)定义以及基本的控制结构(如条件语句和循环语句)。 PL/0 语法规范 PL/0 是一种教学用的小型编程语言,由 Niklaus Wirth 设计,用于展示编译原理的核…...
关于 WASM:1. WASM 基础原理
一、WASM 简介 1.1 WebAssembly 是什么? WebAssembly(WASM) 是一种能在现代浏览器中高效运行的二进制指令格式,它不是传统的编程语言,而是一种 低级字节码格式,可由高级语言(如 C、C、Rust&am…...

Android 之 kotlin 语言学习笔记三(Kotlin-Java 互操作)
参考官方文档:https://developer.android.google.cn/kotlin/interop?hlzh-cn 一、Java(供 Kotlin 使用) 1、不得使用硬关键字 不要使用 Kotlin 的任何硬关键字作为方法的名称 或字段。允许使用 Kotlin 的软关键字、修饰符关键字和特殊标识…...