MySQL InnoDB引擎 MVCC
MVCC(Multi-Version Concurrency Control)即多版本并发控制,是 MySQL 的 InnoDB 存储引擎实现并发控制的一种重要技术。它在很多情况下避免了加锁操作,从而提高了数据库的并发性能。
一、原理
MVCC 的核心思想是通过保存数据在某个时间点的快照来实现并发控制。
在 MVCC 模型下,每个事务在启动时会看到一个数据库的一致性视图,该视图是由事务启动时数据库中所有已提交事务的状态决定的。
事务只能看到在其启动之前,已经提交的事务所做的更改,而看不到在其启动之后其他事务的未提交更改或新插入的数据,这样就避免了脏读、不可重复读等问题。
二、实现方式
InnoDB 存储引擎通过几个关键要素来实现 MVCC,包括隐藏列、回滚段(undo log)、事务 ID 和一致性视图(Read View)。
1. 隐藏列
InnoDB 为表中的每一行记录添加了三个隐藏列:
-
DB_TRX_ID:记录最近一次对该记录进行修改(INSERT、UPDATE)的事务 ID。当一个事务对记录进行插入操作时,会将自己的事务 ID 赋值给该记录的
DB_TRX_ID
列。 -
DB_ROLL_PTR:回滚指针,指向该记录的上一个版本所在的回滚段(undo log)。当对记录进行修改时,会将修改前的记录版本信息存储在回滚段中,并通过
DB_ROLL_PTR
指针指向该版本。 -
DB_ROW_ID:如果表中没有定义主键且没有唯一的非空索引,InnoDB 会自动为表添加一个隐藏的自增主键
DB_ROW_ID
。
2. 回滚段(undo log)
回滚段用于存储记录的旧版本信息。当一个事务对记录进行修改时,会将修改前的记录版本信息存储在回滚段中,并通过 DB_ROLL_PTR
指针将当前记录与旧版本记录连接起来,形成一个版本链。通过版本链,我们可以找到记录在不同时间点的所有版本。
在 MySQL InnoDB 引擎中,回滚段(undo log)的合理配置对于数据库的性能、事务处理以及数据恢复等方面都至关重要。
关键配置参数
1.
innodb_undo_logs
作用:该参数用于设置 InnoDB 存储引擎中回滚段的数量。在 MySQL 5.6 及以后的版本中,默认值通常为 128 个。增加回滚段的数量可以提高并发事务处理能力,因为多个事务可以同时使用不同的回滚段,减少了回滚段的竞争。
配置示例:若要将回滚段数量设置为 256,可以在 MySQL 配置文件(通常是
my.cnf
或my.ini
)中添加或修改如下配置:[mysqld] innodb_undo_logs = 256
2.
innodb_undo_tablespaces
作用:此参数用于指定回滚段所在的表空间数量。从 MySQL 5.6 开始,InnoDB 支持将回滚段存储在独立的表空间中,这样可以更好地管理回滚段的空间。设置多个回滚段表空间可以分散 I/O 负载,提高性能。
配置示例:假设要将回滚段存储在 3 个独立的表空间中,可在配置文件中添加:
[mysqld] innodb_undo_tablespaces = 3
3.
innodb_max_undo_log_size
作用:该参数限制了单个回滚段文件的最大大小。当回滚段文件达到这个大小后,InnoDB 会尝试回收不再使用的 undo log 空间。如果无法回收足够的空间,可能会导致事务等待或报错。
配置示例:若要将单个回滚段文件的最大大小设置为 2GB,可以在配置文件中添加:
[mysqld] innodb_max_undo_log_size = 2G
4.
innodb_undo_log_truncate
作用:这是一个布尔型参数,用于控制是否启用回滚段文件的截断功能。当设置为
ON
时,InnoDB 会在合适的时机自动截断回滚段文件,释放不再使用的空间。默认值为OFF
。配置示例:若要启用回滚段文件截断功能,可在配置文件中添加:
[mysqld] innodb_undo_log_truncate = ON
配置建议
根据并发情况调整回滚段数量:如果数据库中有大量的并发事务,适当增加
innodb_undo_logs
的值可以减少回滚段的竞争,提高并发性能。但过多的回滚段也会增加系统管理的开销,需要根据实际情况进行权衡。使用独立的回滚段表空间:将回滚段存储在独立的表空间中(通过设置
innodb_undo_tablespaces
)可以提高 I/O 性能,尤其是在高并发场景下。合理设置回滚段文件大小:
innodb_max_undo_log_size
的设置需要考虑数据库的事务大小和频率。如果事务较大或频繁,可适当增大该值;反之,则可以减小。启用回滚段文件截断功能:对于长期运行的数据库,启用
innodb_undo_log_truncate
可以有效地管理回滚段的空间,避免回滚段文件无限增长。
3. 事务 ID
每个事务在启动时会被分配一个唯一的事务 ID,事务 ID 是一个单调递增的整数。通过比较事务 ID 的大小,我们可以判断事务的先后顺序。
4. 一致性视图(Read View)
一致性视图是 MVCC 的关键机制之一,它是一个事务在启动时生成的,用于判断当前事务可以看到哪些版本的记录。一致性视图中包含了以下几个重要信息:
-
低水位(trx_ids_min):当前所有活跃事务中最小的事务 ID。
-
高水位(trx_ids_max):生成该视图时系统分配的下一个事务 ID。
-
活跃事务列表(trx_ids):生成该视图时所有活跃事务的事务 ID 列表。
5. 工作流程
MVCC 的工作流程主要涉及读操作和写操作:
读操作
当一个事务要读取某条记录时,会根据记录的 DB_TRX_ID
和一致性视图的信息来判断是否可以看到该记录的当前版本。具体规则如下:
-
如果
DB_TRX_ID < trx_ids_min
,即最近修改数据的事务 ID 小于 当前所有活跃事务的最小事务 ID,表示该记录的修改事务在当前事务启动之前已经提交,当前事务可以看到该记录的当前版本。 -
如果
DB_TRX_ID >= trx_ids_max
,即最近修改数据的事务 ID 大于等于 生成该视图时系统分配的下一个事务 ID,表示该记录的修改事务在当前事务启动之后才启动,当前事务看不到该记录的当前版本,需要通过DB_ROLL_PTR
指针查找旧版本。 -
如果
trx_ids_min <= DB_TRX_ID < trx_ids_max
,需要判断DB_TRX_ID
是否在活跃事务列表trx_ids
中:-
如果在列表中,表示该记录的修改事务在当前事务启动时还未提交,当前事务看不到该记录的当前版本,需要通过
DB_ROLL_PTR
指针查找旧版本。 -
如果不在列表中,表示该记录的修改事务在当前事务启动时已经提交,当前事务可以看到该记录的当前版本。
-
写操作
当一个事务要对某条记录进行修改时,会将修改前的记录版本信息存储在回滚段中,并更新记录的 DB_TRX_ID
和 DB_ROLL_PTR
列。具体步骤如下:
-
将修改前的记录版本信息复制到回滚段中。
-
更新记录的
DB_TRX_ID
列,将其设置为当前事务的事务 ID。 -
更新记录的
DB_ROLL_PTR
指针,使其指向回滚段中存储的旧版本记录。 -
对记录进行实际的修改操作。
通过这种方式,写操作会创建一个新的数据版本,而不会影响其他事务对旧版本的读取。不同事务可以在不同的版本上进行操作,从而实现了读写操作的并发执行。
综上所述,MVCC 通过隐藏列、回滚段、事务 ID 和一致性视图等机制,实现了读写操作的并发执行,提高了数据库的并发性能,同时保证了数据的一致性。不同的事务隔离级别会影响一致性视图的生成和使用方式,从而实现不同程度的数据隔离。
三、对比
MVCC(多版本并发控制)和传统的锁机制都是数据库中用于实现并发控制的重要技术,它们各自具有独特的优缺点,以下是详细对比:
优点对比
MVCC
-
高并发性能
-
MVCC 允许多个事务在不同版本的数据上进行读写操作,避免了大部分情况下的读写锁冲突。读操作可以直接读取数据的历史版本,无需等待写操作释放锁,写操作也不会阻塞读操作,从而显著提高了数据库的并发处理能力。例如,在一个高并发的电商系统中,大量用户同时进行商品信息的查询(读操作)和订单的创建(写操作),MVCC 可以让这些操作并行执行,减少用户的等待时间。
-
-
实现事务隔离
-
能够方便地实现不同的事务隔离级别,如读已提交(Read Committed)和可重复读(Repeatable Read)。通过一致性视图(Read View),事务可以看到特定时间点的数据快照,保证了数据的一致性和隔离性。在可重复读隔离级别下,一个事务在整个生命周期内多次读取同一数据时,会看到相同的结果,避免了不可重复读和部分幻读问题。
-
-
减少死锁概率
-
由于读操作通常不需要加锁,减少了锁的使用,从而降低了死锁发生的可能性。死锁是传统锁机制中常见的问题,当多个事务相互等待对方释放锁时,就会导致死锁的发生。MVCC 的使用使得事务之间的锁竞争减少,系统的稳定性得到提高。
-
传统锁机制
-
强一致性保证
-
传统锁机制可以提供严格的一致性保证,确保在同一时间只有一个事务可以访问或修改数据。在串行化隔离级别下,通过对数据加锁,保证了事务的串行执行,避免了任何并发问题,如脏读、不可重复读和幻读,适用于对数据一致性要求极高的场景,如金融交易系统。
-
-
精确控制并发
-
可以精确地控制事务对数据的访问权限,根据不同的业务需求选择不同类型的锁(如共享锁、排他锁)和加锁粒度(如行锁、表锁)。例如,在某些情况下,需要对整个表进行锁定以确保数据的完整性,传统锁机制可以很方便地实现这一点。
-
缺点对比
MVCC
-
占用额外存储空间
-
为了保存数据的多个版本,MVCC 需要使用回滚段(undo log)来存储旧版本信息,这会占用额外的磁盘空间。随着数据的不断更新和版本的增加,回滚段的空间开销会逐渐增大,需要进行定期的清理和管理。
-
-
回滚段管理开销
-
对回滚段的管理需要额外的系统资源和时间开销。包括回滚段的分配、回收以及过期版本的清理等操作,都会影响数据库的性能。如果回滚段管理不当,可能会导致性能下降或空间浪费。
-
-
不支持完全序列化隔离
-
MVCC 不能完全实现序列化隔离级别,在某些情况下可能会出现幻读问题。虽然在可重复读隔离级别下可以避免大部分幻读,但在极端情况下,仍然可能需要使用额外的锁机制来解决幻读问题。
-
传统锁机制
-
低并发性能
-
传统锁机制会导致读写操作之间的锁竞争,当多个事务同时访问相同的数据时,会出现大量的锁等待现象,降低了数据库的并发性能。例如,一个写操作对数据加了排他锁,其他事务的读操作和写操作都需要等待该锁释放,从而导致系统响应时间变长。
-
-
死锁风险高
-
由于锁的使用,多个事务之间可能会形成循环等待锁的情况,从而导致死锁的发生。死锁的检测和处理需要额外的系统开销,并且会影响事务的正常执行,降低系统的可靠性。
-
-
锁粒度选择困难
-
选择合适的锁粒度是一个难题。如果锁粒度太粗(如表锁),会导致并发性能下降;如果锁粒度太细(如行锁),会增加锁的管理开销和死锁的风险。在实际应用中,需要根据具体的业务场景和数据访问模式来选择合适的锁粒度。
-
相关文章:
MySQL InnoDB引擎 MVCC
MVCC(Multi-Version Concurrency Control)即多版本并发控制,是 MySQL 的 InnoDB 存储引擎实现并发控制的一种重要技术。它在很多情况下避免了加锁操作,从而提高了数据库的并发性能。 一、原理 MVCC 的核心思想是通过保存数据在某…...
服务器使用centos7.9操作系统前需要做的准备工作
文章目录 前言1.操作记录 总结 前言 记录一下centos7.9操作系统的服务器在部署业务服务之前需要做的准备工作。 大家可以复制到自己的编辑器里面,有需求的注释一些步骤。 备注:有条件的项目推荐使用有长期支持的操作系统版本。 1.操作记录 # 更换阿里云…...

【Prometheus】prometheus结合cAdvisor监控docker容器运行状态,并且实现实时告警通知
✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全…...

【Stable Diffusion模型测试】测试ControlNet,没有线稿图?
相信很多小伙伴跟我一样,在测试Stable Diffusion的Lora模型时,ControlNet没有可输入的线稿图,大家的第一反应就是百度搜,但是能从互联网上搜到的高质量线稿图,要么收费,要么质量很差。 现在都什么年代了&a…...
算法刷题-数组系列-卡码网.区间和
题目描述 给定一个整数数组 Array,请计算该数组在每个指定区间内元素的总和。 示例: 输入: 5 1 2 3 4 5 0 1 1 3 输出: 3 9 要点 本题目以ACM的形式输入输出,与力扣的形式不一样,考察头文件的书写、数据结构的书写、…...
Druid GetConnectionTimeoutException解决方案之一
> Druid版本:v1.2.18 最近项目中经常出现:com.alibaba.druid.pool.GetConnectionTimeoutException: wait millis 120000, active 0, maxActive 128, creating 0, createErrorCount 2,但是其他平台连接这个数据源正常的 于是做了一个实验复…...

【JavaScript爬虫记录】记录一下使用JavaScript爬取m4s流视频过程(内含ffmpeg合并)
前言 前段时间发现了一个很喜欢的视频,可惜网站不让下载,简单看了一下视频是被切片成m4s格式的流文件,初步想法是将所有的流文件下载下来然后使用ffmpeg合并成一个完整的mp4,于是写了一段脚本来实现一下,电脑没有配python环境,所以使用JavaScript实现,合并功能需要安装ffmpeg,…...

CSDN2024年度总结|乾坤未定你我皆是黑马|2025一起为了梦想奋斗加油少年!!!
CSDN2024年我的创作纪念日1024天|不忘初心|努力上进|积极向前 一、前言:二、2024个人成长经历:HarmonyOS鸿蒙应用生态构建与扩展——杭州站AGI创新工坊&神经网络大模型——杭州站 三、2024年度创作总结:2024创作数据总结:博客…...

【前端】 react项目使用bootstrap、useRef和useState之间的区别和应用
一、场景描述 我想写一个轮播图的程序,只是把bootstrap里面的轮播图拉过来就用上感觉不是很合适,然后我就想自己写自动轮播,因此,这篇文章里面只是自动轮播的部分,没有按键跟自动轮播的衔接部分。 Ps: 本文用的是函数…...

联想电脑如何进入BIOS?
打开设置 下滑找到更新与安全 点击恢复和立即重新启动 选择疑难解答 选择UEFI固件设置 然后如果有重启点击重启 重启开机时一直点击FNF10进入BIOS界面...
蓝桥杯单片机大模板(西风)
#include <REGX52.H> #include "Key.h" #include "Seg.h" //变量声明区 unsigned char Key_Val,Key_Down,Key_Old;//按键扫描专用变量 unsigned char Key_Slow_Down;//按键减速专用变量 10ms unsigned int Seg_Slow_Down;//按键扫描专用变量 500ms …...

20250213刷机飞凌的OK3588-C_Linux5.10.209+Qt5.15.10_用户资料_R1
20250213刷机飞凌的OK3588-C_Linux5.10.209Qt5.15.10_用户资料_R1 2025/2/13 15:10 缘起:OK3588-C_Linux5.10.66Qt5.15.2的R5都出来了。但是公司一直在R4上面开发的,不想动了。 不过我的原则,只要是有新的系统SDK/BSP放出来,都先在…...

2.13学习记录
web ezSSTI 根据题意,这题考察ssti漏洞,查询有关信息得知这是一种模版攻击漏洞。这种题目可以利用工具进行解决,用焚靖,这是一个针对CTF比赛中Jinja SSTI绕过WAF的全自动脚本 根据教程安装工具和对应的依赖就可以了这个脚本会自…...
【DeepSeek】Deepseek辅组编程-通过卫星轨道计算终端距离、相对速度和多普勒频移
引言 笔者在前面的文章中,介绍了基于卫星轨道参数如何计算终端和卫星的距离,相对速度和多普勒频移。 【一文读懂】卫星轨道的轨道参数(六根数)和位置速度矢量转换及其在终端距离、相对速度和多普勒频移计算中的应用 Matlab程序 …...

JavaEE架构
一.架构选型 1.VM架构 VM架构通常指的是虚拟机(Virtual Machine)的架构。虚拟机是一种软件实现的计算机系统,它模拟了物理计算机的功能,允许在单一物理硬件上运行多个操作系统实例。虚拟机架构主要包括以下几个关键组件ÿ…...
Docker 网络的几种常见类型
目录 Docker 网络类型 桥接网络(Bridge) 通俗解释 特点 使用场景 示例 主机网络(Host) 通俗解释 特点 使用场景 示例 None 网络 通俗解释 特点 使用场景 示例 Overlay 网络 通俗解释 特点 使用场景 示例 Ma…...
C++ 常用的设计模式
1:单例模式:首先能想到的,最为重要的一个设计模式。确保一个类仅有一个实例,提供一个 全局访问点,惯用做法是屏蔽构造数访问(设为private),通过static 权限达到间接访问调用的目的…...

【设计模式】01- 一文理解常用设计模式-“创建型模式”篇
一、前言 最近在复习设计模式,撰写、整理了内容和代码片段,和大家一起交流学习。 设计模式是软件设计中常见问题的典型解决方案。 修改记录 更新内容更新时间第一版 250212 更新了对文章中的模式代码示范的解释250214 二、模式分类 模式可以根据其意图…...

在ArcGIS JS API中使用WebGL实现波纹扩散特效
在现代WebGIS开发中,ArcGIS JS API 是一个非常强大的工具,它允许开发者创建丰富的地理信息应用。结合WebGL技术,我们可以实现更加复杂和炫酷的可视化效果。本文将介绍如何使用ArcGIS JS API结合WebGL实现一个波纹扩散特效。 波纹扩散效果 1 概…...

我用AI做数据分析之四种堆叠聚合模型的比较
我用AI做数据分析之四种堆叠聚合模型的比较 这里AI数据分析不仅仅是指AI生成代码的能力,我想是测试AI数据分析方面的四个能力,理解人类指令的能力、撰写代码的能力、执行代码的能力和解释结果的能力。如果这四个能力都达到了相当的水准,才可…...

css实现圆环展示百分比,根据值动态展示所占比例
代码如下 <view class""><view class"circle-chart"><view v-if"!!num" class"pie-item" :style"{background: conic-gradient(var(--one-color) 0%,#E9E6F1 ${num}%),}"></view><view v-else …...
FFmpeg 低延迟同屏方案
引言 在实时互动需求激增的当下,无论是在线教育中的师生同屏演示、远程办公的屏幕共享协作,还是游戏直播的画面实时传输,低延迟同屏已成为保障用户体验的核心指标。FFmpeg 作为一款功能强大的多媒体框架,凭借其灵活的编解码、数据…...

【OSG学习笔记】Day 16: 骨骼动画与蒙皮(osgAnimation)
骨骼动画基础 骨骼动画是 3D 计算机图形中常用的技术,它通过以下两个主要组件实现角色动画。 骨骼系统 (Skeleton):由层级结构的骨头组成,类似于人体骨骼蒙皮 (Mesh Skinning):将模型网格顶点绑定到骨骼上,使骨骼移动…...

Android15默认授权浮窗权限
我们经常有那种需求,客户需要定制的apk集成在ROM中,并且默认授予其【显示在其他应用的上层】权限,也就是我们常说的浮窗权限,那么我们就可以通过以下方法在wms、ams等系统服务的systemReady()方法中调用即可实现预置应用默认授权浮…...

华为云Flexus+DeepSeek征文|DeepSeek-V3/R1 商用服务开通全流程与本地部署搭建
华为云FlexusDeepSeek征文|DeepSeek-V3/R1 商用服务开通全流程与本地部署搭建 前言 如今大模型其性能出色,华为云 ModelArts Studio_MaaS大模型即服务平台华为云内置了大模型,能助力我们轻松驾驭 DeepSeek-V3/R1,本文中将分享如何…...

Spring Cloud Gateway 中自定义验证码接口返回 404 的排查与解决
Spring Cloud Gateway 中自定义验证码接口返回 404 的排查与解决 问题背景 在一个基于 Spring Cloud Gateway WebFlux 构建的微服务项目中,新增了一个本地验证码接口 /code,使用函数式路由(RouterFunction)和 Hutool 的 Circle…...

手机平板能效生态设计指令EU 2023/1670标准解读
手机平板能效生态设计指令EU 2023/1670标准解读 以下是针对欧盟《手机和平板电脑生态设计法规》(EU) 2023/1670 的核心解读,综合法规核心要求、最新修正及企业合规要点: 一、法规背景与目标 生效与强制时间 发布于2023年8月31日(OJ公报&…...
go 里面的指针
指针 在 Go 中,指针(pointer)是一个变量的内存地址,就像 C 语言那样: a : 10 p : &a // p 是一个指向 a 的指针 fmt.Println(*p) // 输出 10,通过指针解引用• &a 表示获取变量 a 的地址 p 表示…...

数学建模-滑翔伞伞翼面积的设计,运动状态计算和优化 !
我们考虑滑翔伞的伞翼面积设计问题以及运动状态描述。滑翔伞的性能主要取决于伞翼面积、气动特性以及飞行员的重量。我们的目标是建立数学模型来描述滑翔伞的运动状态,并优化伞翼面积的设计。 一、问题分析 滑翔伞在飞行过程中受到重力、升力和阻力的作用。升力和阻力与伞翼面…...
Spring Security 认证流程——补充
一、认证流程概述 Spring Security 的认证流程基于 过滤器链(Filter Chain),核心组件包括 UsernamePasswordAuthenticationFilter、AuthenticationManager、UserDetailsService 等。整个流程可分为以下步骤: 用户提交登录请求拦…...