当前位置: 首页 > news >正文

MySQL的并发控制与MVCC机制深度解析

目录

    • 1. MySQL中的并发问题
    • 2. 数据库的隔离级别
    • 3. MVCC(多版本并发控制)机制
      • 3.1 MVCC的实现原理
      • 3.2 Read View详解
      • 3.3 当前读与快照读
    • 4. MVCC在不同隔离级别下的工作方式
    • 5. MVCC解决幻读问题
    • 6. MVCC的优缺点
      • 优点:
      • 缺点:
    • 7. MVCC在实际应用中的注意事项

1. MySQL中的并发问题

在多用户数据库系统中,并发操作是不可避免的。然而,并发操作可能会导致一些问题,主要包括:

  1. 脏读:一个事务读取了另一个未提交事务修改过的数据:

    A事务读取B事务修改后的数据返回,然而B事务发生了回滚

脏读

  1. 不可重复读:在同一事务内,多次读取同一数据返回的结果有所不同:

​ A事务多次读取同一个数据,B事务修改了该数据,A事务读到的数据不一样

不可重复读

  1. 幻读:在同一事务内,多次查询返回的结果集不一致:

​ A事务多次读取某些数据(比如查询表的数据总数),B事务插入或者删除了数据,A读取的数据数量发生了变更,像幻觉一样

幻读

注意区分幻读和不可重复读

为了解决这些问题,数据库系统引入了事务隔离级别的概念。

2. 数据库的隔离级别

SQL标准定义了四种隔离级别,从低到高分别是:

  1. 读未提交(Read Uncommitted)
  2. 读已提交(Read Committed)
  3. 可重复读(Repeatable Read)
  4. 串行化(Serializable)

让我们用一个图表来展示这些隔离级别如何解决并发问题:
隔离

MySQL的InnoDB存储引擎默认使用**可重复读(Repeatable Read)**隔离级别。他引入了MVCC来解决这个不可重复读的问题(读已提交也有MVCC,两者之间只是创建快照的时机不同,后面再提)

3. MVCC(多版本并发控制)机制

MVCC是MySQL InnoDB存储引擎用于提高并发性能的一种机制。它的核心思想是:

保存数据在某个时间点的快照,形成一个版本链,使得事务可以看到在事务开始时数据的一致性视图。

3.1 MVCC的实现原理

InnoDB的MVCC主要通过以下几个部分来实现:

  1. 隐藏列:每行数据都有两个隐藏列

    1. DB_TRX_ID:最后一次插入或更新该行的事务ID
    2. DB_ROLL_PTR:回滚指针,指向该行的上一个版本(存储在undo log中)
  2. Undo Log:保存了数据被修改前的旧值,用于回滚和MVCC的数据读取。可以认为undo log存储数据的历史版本,通过指针会形成一个版本链。

  3. Read View:事务进行快照读操作时产生的读视图,用于判断当前事务能够看到哪个版本的数据。

让我们用一个图表来展示MVCC的基本结构:
MVCC

3.2 Read View详解

Read View是MVCC实现的核心,它包含以下重要信息:

  • m_ids:活跃事务列表,在生成Read View时活跃的读写事务ID列表,就是记录当前还未提交的事务列表
  • m_low_limit_id/(m_min_limit_id):活跃事务的最小事务id,就是活跃列表的最小值
  • m_up_limit_id/(m_max_limit_id):下一个事务应该被分配的事务id
  • m_creator_trx_id:生成该Read View的事务ID

注意:事务id是递增分配的

当一个事务要读取一行数据时,InnoDB会将该行的DB_TRX_ID(前面提到的,表示这行数据最近一次发生修改的事务id)与Read View中的信息进行比较,以决定是否可以看到该版本的数据:
1. DB_TRX_ID == m_creator_trx_id:当前读取的事务就是创建快照读的事务,说明就是该事务最近修改了这条数据,因此是可读的;
2. DB_TRX_ID < m_low_limit_id:当这条数据最新更改的事务id小于最小活跃事务id,就说明该事务id是已经提交的事务id,该条数据就可读
3. DB_TRX_ID >= m_up_limit_id:这条数据的最新记录是在快照建立之后执行的,显然属于不可读,根据回滚指针找到合适的历史版本数据进行返回
4. m_low_limit_id < DB_TRX_ID < m_up_limit_id:这条数据最新更改的事务id在最小活跃事务id和最大事务id(下一次分配的事务id)之间,那就需要去扫描活跃事务列表,判断是否有这个id存在:

  1. 有就说明该数据还没有被提交是不可读的,那么他就会根据DB_ROLL_PTR去找到该数据的历史版本,同样会进行判断,直至找到符合可读条件的数据返回
  2. 如果列表没有就表明该事务已经被提交了,就是可读的

快照可读

3.3 当前读与快照读

在InnoDB中,我们有两种读取数据的方式:

  1. 当前读(Current Read)

    1. 读取的是记录的最新版本
    2. 会对读取的记录进行加锁
    3. 常见的当前读操作:SELECT ... FOR UPDATE, SELECT ... LOCK IN SHARE MODE, UPDATE, DELETE
  2. 快照读(Snapshot Read)

    1. 读取的是记录的快照版本
    2. 不会对读取的记录进行加锁
    3. 常见的快照读操作:不带锁的SELECT

让我们用一个图表来说明当前读和快照读的区别:

快照读VS当前读

4. MVCC在不同隔离级别下的工作方式

MVCC主要工作在读已提交可重复读这两个隔离级别下:

  1. 读已提交

    1. 每次读取数据前都会生成一个新的Read View
    2. 能看到其他事务已经提交的修改
  2. 可重复读

    1. 在事务开始时生成一个Read View,并在整个事务过程中使用这个Read View
    2. 保证在同一事务中多次读取数据时结果一致

让我们用一个例子来说明这两种隔离级别下MVCC的工作方式:

MVCC2

5. MVCC解决幻读问题

虽然MVCC可以有效解决不可重复读问题,但对于幻读,它只能提供部分解决方案。在可重复读隔离级别下,MVCC可以防止"快照读"出现幻读,但无法完全阻止"当前读"的幻读问题。

为了进一步解决幻读问题,InnoDB引入了Next-Key Lock(临键锁)机制,它是记录锁(Record Lock)和间隙锁(Gap Lock)的组合。
临键锁

Next-Key Lock不仅锁定查询涉及的索引记录,还锁定这些记录之间的间隙,有效防止了其他事务在查询范围内插入新记录,从而解决了幻读问题。

6. MVCC的优缺点

优点:

  1. 提高并发性:允许读写并发,读操作不会阻塞写操作,写操作也不会阻塞读操作。
  2. 解决一致性问题:提供了一致性的数据视图,避免了脏读和不可重复读问题。
  3. 降低锁竞争:通过版本链和快照读,减少了锁的使用范围,从而提高了系统的整体性能。
  4. 支持时间点查询:可以查询某个时间点的历史数据,对于某些应用场景非常有用。

缺点:

  1. 存储开销:需要额外的存储空间来保存多个版本的数据。
  2. 复杂性:实现和维护MVCC机制相对复杂,增加了数据库系统的复杂度。
  3. 清理问题:需要定期清理无用的历史版本,否则可能导致存储空间的浪费。
  4. 事务大小限制:长事务可能会导致版本链过长,影响性能。

7. MVCC在实际应用中的注意事项

  1. 合理设置隔离级别:根据应用需求选择适当的隔离级别,避免过度使用高隔离级别带来的性能开销。
  2. 控制事务大小:尽量使用短事务,避免长事务导致的版本链过长问题。
  3. 定期维护:对于频繁更新的表,需要定期进行维护操作,如优化表结构、清理无用的历史版本等。
  4. 索引优化:合理设计索引可以提高MVCC的效率,减少不必要的版本链遍历。
  5. 监控与调优:定期监控系统性能,关注MVCC相关的指标,如undo log的大小、长事务的数量等,及时进行调优。

相关文章:

MySQL的并发控制与MVCC机制深度解析

目录 1. MySQL中的并发问题2. 数据库的隔离级别3. MVCC&#xff08;多版本并发控制&#xff09;机制3.1 MVCC的实现原理3.2 Read View详解3.3 当前读与快照读 4. MVCC在不同隔离级别下的工作方式5. MVCC解决幻读问题6. MVCC的优缺点优点&#xff1a;缺点&#xff1a; 7. MVCC在…...

Qt编译MySQL数据库驱动

目录 Qt编译MySQL数据库驱动 测试程序 Qt编译MySQL数据库驱动 &#xff08;1&#xff09;先找到MySQL安装路径以及Qt安装路径 C:\Program Files\MySQL\MySQL Server 8.0 D:\qt\5.12.12 &#xff08;2&#xff09;在D:\qt\5.12.12\Src\qtbase\src\plugins\sqldrivers\mysql下…...

uniapp地址类 方法

关于点击没反应 manifest.json 检查是否添加了对应的权限 /* 小程序特有相关 */"mp-weixin" : {"appid" : "wxc481f10754f1d9df","setting" : {"urlCheck" : false,"es6" : true,"postcss" : true,&qu…...

使用Idea自带的git功能进行分支合并

文章目录 1.背景描述2.分支切换3.分支合并的具体操作4.将在local环境下&#xff0c;从dev合并到qas分支上的代码&#xff0c;推送到远端 1.背景描述 目前在开发的当前项目有四个分支&#xff0c;master(主分支)、pre(预生产分支)、qas(测试分支)、dev(开发分支)&#xff1b; …...

酷盾安全:Edge SCDN边缘安全内容分发网络

在当今数字化迅猛发展的时代&#xff0c;互联网内容分发的高效与安全成为了企业不可忽视的重要课题。为了满足这一需求&#xff0c;酷盾安全推出了创新的Edge Secure Content Delivery Network&#xff08;Edge Scdn&#xff09;解决方案&#xff0c;它不仅融合了分布式DDoS防护…...

H5 中 van-popup 的使用以及题目的切换

H5 中 van-popup 的使用以及题目的切换 在移动端开发中&#xff0c;弹窗组件是一个常见的需求。vant 是一个轻量、可靠的移动端 Vue 组件库&#xff0c;其中的 van-popup 组件可以方便地实现弹窗效果。本文将介绍如何使用 van-popup 实现题目详情的弹窗展示&#xff0c;并实现…...

Liinux下VMware Workstation Pro的安装,建议安装最新版本17.61

建议安装最新版本17.61&#xff0c;否则可能有兼容性问题 下载VMware Workstation安装软件 从官网网站下载 https://support.broadcom.com/group/ecx/productdownloads?subfamilyVMwareWorkstationPro 选择所需版本 现在最新版本是17.61&#xff0c;否则可能有兼容性问题…...

WebRTC服务质量(05)- 重传机制(02) NACK判断丢包

WebRTC服务质量&#xff08;01&#xff09;- Qos概述 WebRTC服务质量&#xff08;02&#xff09;- RTP协议 WebRTC服务质量&#xff08;03&#xff09;- RTCP协议 WebRTC服务质量&#xff08;04&#xff09;- 重传机制&#xff08;01) RTX NACK概述 WebRTC服务质量&#xff08;…...

修改ubuntu apt 源及apt 使用

视频教程:修改ubuntu apt 源和apt 使用方法_哔哩哔哩_bilibili 1 修改apt源 1.1 获取阿里云ubuntu apt 源 https://developer.aliyun.com/mirror/ubuntu?spma2c6h.13651102.0.0.3e221b11mqqLBC 1.2 修改apt 源 vim /etc/apt/sources.list deb https://mirrors.aliyun.com/ub…...

深入解析 `DataFrame.groupby` 和 `agg` 的用法及使用场景

深入解析 DataFrame.groupby 和 agg 的用法及使用场景 1. groupby 的基本用法语法&#xff1a;示例&#xff1a; 2. agg 的基本用法语法&#xff1a;示例&#xff1a; 3. first、sum、lambda 的用法3.1 first示例&#xff1a; 3.2 sum示例&#xff1a; 3.3 lambda示例&#xff…...

MySQL 的锁

MySQL有哪些锁?各种锁的作用与使用场景全局锁表级锁表锁元素锁意向锁AUTO-INC 锁 行级锁记录锁间隙锁临键锁 其他共享锁排他锁乐观锁悲观锁 MySQL有哪些锁? 全局锁表级锁 a. 表锁 b. 元素锁 c. 意向锁 d. AUTO-INC 锁行级锁 a. 记录锁 b. 间隙锁 c. 临键锁 各种锁的作用与使…...

二、使用langchain搭建RAG:金融问答机器人--数据清洗和切片

选择金融领域的专业文档作为源文件 这里选择 《博金大模型挑战赛-金融千问14b数据集》&#xff0c;这个数据集包含若干公司的年报&#xff0c;我们将利用这个年报搭建金融问答机器人。 具体下载地址 这里 git clone https://www.modelscope.cn/datasets/BJQW14B/bs_challenge_…...

【Linux】-- linux 配置用户免密登录本机

比如我们要配置用户 app_tom 免密登录本机&#xff08;SSH 登录自己机器时无需输入密码&#xff09;&#xff0c;你可以按照以下步骤操作&#xff1a; 步骤 1&#xff1a;切换到 app_tom 用户 首先&#xff0c;确保你已经以 app_tom 用户登录&#xff0c;或者切换到该用户&…...

泷羽sec学习打卡-brupsuite8伪造IP和爬虫审计

声明 学习视频来自B站UP主 泷羽sec,如涉及侵权马上删除文章 笔记的只是方便各位师傅学习知识,以下网站只涉及学习内容,其他的都 与本人无关,切莫逾越法律红线,否则后果自负 关于brupsuite的那些事儿-Brup-FaskIP 伪造IP配置环境brupsuite导入配置1、扩展中先配置python环境2、安…...

【uniapp蓝牙】基于native.js链接ble和非ble蓝牙

【uniapp蓝牙】基于native.js链接ble和非ble蓝牙 uniapp不是仅支持低功耗蓝牙&#xff08;基础蓝牙通讯不支持&#xff09;&#xff0c;有些可能需要基础蓝牙。我现在同步我的手机蓝牙列表低功耗&#xff0c;基础蓝牙都支持 /*** author wzj* 通用蓝牙模块封装* 搜索 ble 和非…...

.NET Core 各版本特点、差异及适用场景详解

随着 .NET Core 的不断发展&#xff0c;微软推出了一系列版本来满足不同场景下的开发需求。这些版本随着时间的推移逐渐演变为统一的 .NET 平台&#xff08;从 .NET 5 开始&#xff09;。本文将详细说明每个版本的特点、差异以及适用场景&#xff0c;帮助开发者更好地选择和使用…...

Linux中自动检测并定时关闭KDialog程序

自动检测并关闭对话框的程序示例 创建并打开KDialog的脚本自动检测并定时关闭KDialog的脚本 创建并打开KDialog的脚本 #!/bin/bash kdialog --msgbox "demo"自动检测并定时关闭KDialog的脚本 #!/bin/bash# Continuously check for kdialog dialog while true; do# …...

CSS学习记录12

CSS浮动 CSSfloat属性规定元素如何浮动 CSSclear属性规定哪些元素可以在清除的元素旁边以及在哪一侧浮动。 float属性 float属性用于定位和格式化内容&#xff0c;例如让图像向左浮动到容器的文本那里。 float属性可以设置以下值之一&#xff1a; left - 元素浮动到其容器…...

【Java基础面试题016】JavaObject类中有什么主要方法,作用是什么?

equals() 作用&#xff1a;用于比较两个对象是否相等。默认实现比较对象的内存地址&#xff0c;即判断两个引用是否指向同一个对象 使用&#xff1a;通常会重写此方法来比较对象的内容 hashCode() 作用&#xff1a;返回对象的哈希值&#xff0c;用整数表示对象。 使用&…...

实践环境-docker安装mysql8.0.40步骤

一、docker安装mysql 8.0.40版本 1、检索镜像版本 docker search mysql:8.0.40 NAME DESCRIPTION STARS OFFICIAL mysql MySQL is a widely used, open-source relation… …...

边缘智能创新应用大赛获奖作品系列一:智能边缘计算✖软硬件一体化,开启全场景效能革命新征程

边缘智能技术快速迭代&#xff0c;并与行业深度融合。它正重塑产业格局&#xff0c;催生新产品、新体验&#xff0c;带动终端需求增长。为促进边缘智能技术的进步与发展&#xff0c;拓展开发者的思路与能力&#xff0c;挖掘边缘智能应用的创新与潜能&#xff0c;高通技术公司联…...

决策树的生成与剪枝

决策树的生成与剪枝 决策树的生成生成决策树的过程决策树的生成算法 决策树的剪枝决策树的损失函数决策树的剪枝算法 代码 决策树的生成 生成决策树的过程 为了方便分析描述&#xff0c;我们对上节课中的训练样本进行编号&#xff0c;每个样本加一个ID值&#xff0c;如图所示…...

蓝桥杯算法训练 黑色星期五

题目描述 有些西方人比较迷信&#xff0c;如果某个月的13号正好是星期五&#xff0c;他们就会觉得不太吉利&#xff0c;用古人的说法&#xff0c;就是“诸事不宜”。请你编写一个程序&#xff0c;统计出在某个特定的年份中&#xff0c;出现了多少次既是13号又是星期五的情形&am…...

MySQL存储引擎-存储结构

Innodb存储结构 Buffer Pool(缓冲池)&#xff1a;BP以Page页为单位&#xff0c;页默认大小16K&#xff0c;BP的底层采用链表数据结构管理Page。在InnoDB访问表记录和索引时会在Page页中缓存&#xff0c;以后使用可以减少磁盘IO操作&#xff0c;提升效率。 ○ Page根据状态可以分…...

理解torch函数bmm

基本信息 功能描述 torch.bmm 是 PyTorch 中的一个函数&#xff0c;用于执行批量矩阵乘法&#xff08;Batch Matrix Multiplication&#xff09;。它适用于处理一批矩阵的乘法操作&#xff0c;特别适合于深度学习任务中的场景&#xff0c;比如卷积神经网络中的某些层。 参数…...

2024 年的科技趋势

2024 年在科技领域有着诸多重大进展与突破。从人工智能、量子计算到基因组医学、可再生能源以及新兴技术重塑了众多行业。随着元宇宙等趋势的兴起以及太空探索取得的进步&#xff0c;未来在接下来的岁月里有望继续取得进展与突破。让我们来探讨一下定义 2024 年的一些关键趋势&…...

win服务器的架设、windows server 2012 R2 系统的下载与安装使用

文章目录 windows server 2012 R2 系统的下载与安装使用1 windows server 2012 的下载2 打开 VMware 虚拟机软件&#xff08;1&#xff09;新建虚拟机&#xff08;2&#xff09;设置虚拟机&#xff08;3&#xff09;打开虚拟机 windows server 2012&#xff08;4&#xff09;进…...

leetcode45.跳跃游戏II

标签&#xff1a;动态规划 给定一个长度为 n 的 0 索引整数数组 nums。初始位置为 nums[0]。每个元素 nums[i] 表示从索引 i 向前跳转的最大长度。换句话说&#xff0c;如果你在 nums[i] 处&#xff0c;你可以跳转到任意 nums[i j] 处:返回到达 nums[n - 1] 的最小跳跃次数。…...

边缘智能创新应用大赛获奖作品系列三:边缘智能强力驱动,机器人天团花式整活赋能千行百业

边缘智能技术快速迭代&#xff0c;并与行业深度融合。它正重塑产业格局&#xff0c;催生新产品、新体验&#xff0c;带动终端需求增长。为促进边缘智能技术的进步与发展&#xff0c;拓展开发者的思路与能力&#xff0c;挖掘边缘智能应用的创新与潜能&#xff0c;高通技术公司联…...

基于语义的NLP任务去重:大语言模型应用与实践

引言 在自然语言处理&#xff08;NLP&#xff09;任务中&#xff0c;数据质量是模型性能的关键因素之一。重复或冗余的数据会导致模型过度拟合或浪费计算资源&#xff0c;特别是在大语言模型&#xff08;如 BERT、GPT 系列等&#xff09;训练和推理阶段。传统的基于字符匹配的…...