亚信安慧AntDB-T数据库内核之MVCC机制
本文主要介绍AntDB数据库内核中的一个很重要的机制——MVCC机制。
MVCC简介
MVCC(多版本并发控制)是AntDB数据库中实现事务隔离级别的一种机制。它允许多个事务同时对数据进行读写和修改操作,而不会相互干扰。在MVCC中,每个数据库事务在读取数据时会看到一个特定的版本,这使得事务之间可以同时进行读写操作,而不会相互冲突。每个事务可以操作自己的数据版本,从而实现了更高的并发性和更好的性能。
MVCC的核心思想是,对于每个修改操作,不是直接在原始数据上进行修改,而是创建一个新的数据版本,并将修改操作应用于新版本。这样,其他事务仍然可以访问旧版本的数据,而不会受到正在进行的修改的影响。只有在事务提交时,新版本的数据才会替代旧版本,从而实现数据的一致性。
MVCC实现原理
1、隐藏字段
了解MVCC之前,需要先介绍一下数据库内核中几个隐藏的字段,MVCC机制通过这些隐藏的标记字段来协同实现。
-
oid: 对象标识符,生成的值是全局唯一的,表、索引、视图都带有oid
-
ctid: 每条记录(称为一个tuple)在表中的物理位置标识。
-
xmin: 创建一条记录(tuple)时,记录此值为当前事务ID。
-
xmax: 创建tuple时,默认为0,删除tuple时,记录此值为当前事务ID。
-
cmin/cmax: 标识在同一个事务中多个语句命令的序列值,从0开始,用于同一个事务中实现版本可见性判断
2、数据版本
在AntDB中,每个数据项都包含一个唯一的版本号,称为xmin。每个数据项还包含一个删除版本号,称为xmax。这些版本号用于记录行版本的创建和删除事务。当一个事务读取或修改数据时,它将在内存中创建一个新的数据版本,并分配一个唯一的版本号。这个版本号将与事务ID相关联,用于跟踪事务对数据的修改。
3、事务状态
每个事务都有一个唯一的事务ID,称为xid。事务ID用于标识事务的状态。当事务开始时,它将分配一个唯一的事务ID,并将其记录在事务状态日志文件中,事务状态日志文件用于记录事务的状态信息。通过事务状态日志文件,AntDB可以跟踪每个事务的状态,并根据事务ID选择适当的数据版本。
4、并发控制
在并发控制中,AntDB使用了一种称为“读-写偏斜”的技术。这种技术的基本思想是:当一个事务正在修改数据时,其他事务不能同时读取或修改该数据。通过限制并发事务对数据的访问,AntDB可以避免读写冲突。
当一个事务需要读取数据时,AntDB会检查该数据的最新版本号(即xmax)。如果最新版本号等于当前事务的事务ID,则表示该数据正在被修改,当前事务不能读取该数据。如果最新版本号小于当前事务的事务ID,则表示该数据已经提交,当前事务可以读取该数据。如果最新版本号介于两个事务ID之间,则表示该数据处于中间状态,当前事务需要等待该数据变为可用状态后再进行读取。
当一个事务需要修改数据时,AntDB会将新数据版本写入磁盘,并将新版本的事务ID更新到事务状态日志文件中。其他事务在读取数据时,将检查该数据的事务ID是否与它们的事务ID相同。如果相同,则读取该版本的数据;如果不同,则读取更高版本的数据。通过这种方式,AntDB实现了并发控制,避免了读写冲突。
5、可见性判定
在并发控制中,可见性判定是一个重要的环节。它用于确定一个事务能否看到另一个事务提交的数据。在AntDB中,可见性判定是通过检查事务ID来实现的。如果一个事务的提交顺序在另一个事务之后,那么前一个事务就可以看到后一个事务提交的数据。反之,如果一个事务的提交顺序在前一个事务之前,那么前一个事务就看不到后一个事务提交的数据。通过这种方式,AntDB实现了可见性的判定。
MVCC的优点
-
并发优化
读写不会相互阻塞,写操作并没有堵塞其他事务的读,在写事务未提交前,读取的都是之前的版本,提高了并发的访问效率。
-
快速回滚
事务可以快速回滚,操作后的tuple都带有当前事务ID,直接标记事务状态日志文件中对应事务的状态就可达到回滚的目的。
MVCC的缺点
-
索引维护消耗
当对表执行 UPDATE 查询时,数据库还必须更新该表的所有索引以将条目添加到新版本。这些索引更新增加了内存压力和磁盘 I/O,特别是对于具有大量索引的表,随着表中索引数量的增加,更新元组时产生的开销也会增加。
-
事务回卷问题
事务ID回卷问题会影响到事务的并发访问和提交顺序,可能会导致死锁和幻像读等问题。具体来说,当新的事务ID回卷到旧的事务ID时,可能会导致旧的事务无法正常提交,因为新的事务会覆盖旧的事务的数据版本。
-
垃圾数据问题
根据MVCC机制,更新和删除的记录都不会被实际删除,操作频繁的表会积累大量的过期数据,占用磁盘空间,当扫描查询数据时,需要更多的IO,降低查询效率。但是可以通过vacuum命令操作来清理过期的数据。
小结
在本文中,我们详细介绍了MVCC(多版本并发控制)机制的工作原理、优点和缺点,以及它对数据库事务和并发访问的影响。MVCC是一种强大的并发控制机制,它允许多个事务同时进行读写操作,提高了数据库的并发性和性能,并解决了传统锁定机制可能带来的性能问题和并发冲突。
然而,它也存在一些缺点,所以在使用时需要注意优化。
相关文章:
亚信安慧AntDB-T数据库内核之MVCC机制
本文主要介绍AntDB数据库内核中的一个很重要的机制——MVCC机制。 MVCC简介 MVCC(多版本并发控制)是AntDB数据库中实现事务隔离级别的一种机制。它允许多个事务同时对数据进行读写和修改操作,而不会相互干扰。在MVCC中,每个数据…...
【python】socket 入门以及多线程tcp链接
Socket 入门 及 多线程tcp链接 网络基础知识三要素 Socket是套接字的意思,是网络编程的核心对象,通信两端都独有自己的Socket对象, 数据在两个Socket之间通过 字节流(TCP协议) 或者 数据报包(UDP协议)的形式进行传输. 本文主要针对tcp流程进行讲解 socket-tcp流程图 1.创建服…...
【ZYNQ MPSoC开发】lwIP TCP发送用于数据缓存的软件FIFO设计
设计背景 任务是在ZYNQ的PS上使用裸机运行lwIP协议栈使用TCP把PL端通过AXI DMA传来的将近100K采样率的ADC数据发送出去,但由于数据带宽很大,有853.3mbps,所以在每一次AXI DMA简单传输结束后,lwIP未必有足够的发送buffer立即把数据…...
【TVM 教程】在 Relay 中使用外部库
Apache TVM 是一个端到端的深度学习编译框架,适用于 CPU、GPU 和各种机器学习加速芯片。更多 TVM 中文文档可访问 → https://tvm.hyper.ai/ 作者:Masahiro Masuda,Truman Tian 本文介绍如何将 cuDNN 或 cuBLAS 等外部库与 Relay 一起使用。…...
2024最新大厂面试:汇川嵌入式面试题及参考答案
目录 结合汇川业务,谈谈你对嵌入式开发的理解。 你使用过哪些芯片?请介绍它们的架构,例如 CORTEX-M3。 请描述项目的软件架构及其难点。 请介绍 SPI 的驱动和时序,包括 CS 拉低后到 CLK 第一个跳变沿的时间。同时,也请简要介绍数据链路层的相关知识。 栈溢出的原理是…...
tcp 流量控制
TCP流量控制是TCP/IP协议中用于控制发送方和接收方之间数据传输速率的一种机制,以防止网络拥塞和确保网络资源的有效利用。流量控制主要通过调整TCP窗口大小来实现,确保发送方不会发送超出接收方处理能力的数据量。以下是TCP流量控制的关键概念和工作原理…...
linux离线安装nacos
1、打开 Nacos-GitHub ,点击 Release 可以看到 Nacos 的各版本跟新信息和安装包之类的 点击下载nacos-server-2.4.1.tar.gz,在linux创建nacos文件夹,把下载好的文件上传到nacos文件夹,并通过命令解压:tar -zxvf nacos-server-2.4.…...
云原生 | 在 Kubernetes 中使用 Cilium 替代 Calico 网络插件实践指南!
[ 知识是人生的灯塔,只有不断学习,才能照亮前行的道路 ] 0x00 简述介绍 什么是 Cilium? Cilium 是一款开源软件,它基于一种名为eBPF的新的Linux内核技术提供动力,用于透明地保护使用 Docker 和 Kubernetes 等Linux 容器管理平台中部署的应用程序服务之间的网络连接,Ciliu…...
【重学 MySQL】十一、SQL 概述
【重学 MySQL】十一、SQL 概述 SQL 背景知识产生与发展主要特点主要应用SQL语言的发展趋势 SQL 语言排行榜SQL 分类数据查询语言(DQL, Data Query Language)数据操纵语言(DML, Data Manipulation Language)数据定义语言࿰…...
(一)模式识别——基于SVM的道路分割实验(附资源)
写在前面:本报告所有代码公开在附带资源中,无法下载代码资源的伙伴私信留下邮箱,小编24小时内回复 一、实验目的 1、实验目标 学习掌握SVM(Support Vector Machine)算法思想,利用MATLAB的特定工具箱和库函…...
Python | Leetcode Python题解之第391题完美矩形
题目: 题解: class Solution:def isRectangleCover(self, rectangles: List[List[int]]) -> bool:area, minX, minY, maxX, maxY 0, rectangles[0][0], rectangles[0][1], rectangles[0][2], rectangles[0][3]cnt defaultdict(int)for rect in rec…...
Rust模块std::thread
【图书介绍】《Rust编程与项目实战》-CSDN博客 《Rust编程与项目实战》(朱文伟,李建英)【摘要 书评 试读】- 京东图书 (jd.com) Rust到底值不值得学,之一 -CSDN博客 Rust到底值不值得学,之二-CSDN博客 Rust多线程编程概述-CSDN博客 12.…...
Leetcode Day20 打家劫舍
198 最基础 class Solution:def rob(self, nums: List[int]) -> int:dp1 [0] * len(nums)dp2 [0] * len(nums)# dp1指第i天偷了, dp2指第i天没有偷dp1[0] nums[0]for i in range(1, len(nums)):dp1[i] dp2[i - 1] nums[i]dp2[i] max(dp1[i - 1], dp2[i - 1])return m…...
云计算之数据库
目录 一、RDS产品介绍及排障思路 1.1 云RDS数据库及其特点 1.2 云RDS数据库-规格 1.3 云RDS数据库-存储 1.4 云RDS数据库-安全 1.5 云RDS数据库-整体架构 1.6 RDS常见问题排查 1.6.1 如何解决无法链接RDS实例的问题 1.6.2 RDS实例存储空间使用率高,怎…...
开发软件,什么类型的重要信息的日志要存到数据库表里面
在开发软件时,选择将哪些类型的重要信息日志存储到数据库表里面,主要取决于这些日志的用途、查询需求、性能考虑以及系统架构。以下是一些通常会选择存储到数据库表中的重要信息日志类型: 1. 业务日志: 交易记录:记录…...
websocket和轮询的区别?
问: websocket和轮询的区别? 回答: WebSocket 和定时轮询(每隔几秒发送一次请求)是两种不同的实时通信方法,各有优缺点,适用于不同的场景。以下是它们的主要区别及适用场景: WebSo…...
2024 年全国大学生数学建模竞赛(国赛)浅析
需要完整资料,请关注WX:“小何数模”! (需要完整B、C和E题资料请关注WX:“小何数模”,获取资料链接!) 本次万众瞩目的全国大学生数学建模赛题已正式出炉,无论是赛题难度…...
持续集成与持续部署(CI/CD)的深入探讨
在现代软件开发中,持续集成(CI)和持续部署(CD)已成为不可或缺的实践。这些方法旨在加快软件交付的速度,同时提高软件的质量和稳定性。通过CI/CD,开发团队可以频繁地将代码更改集成到主分支&…...
hyperf json-rpc
安装 安装docker hyperf 安装 hyperf-rpc-server-v8 (服务端) docker run --name hyperf-rpc-server-v8 \ -v /www/docker/hyperf-rpc-server:/data/project \ -w /data/project \ -p 9508:9501 -it \ --privileged -u root \ --entrypoint /bin/sh \…...
基于SpringBoot的外卖点餐系统
你好呀,我是计算机学姐码农小野!如果有相关需求,可以私信联系我。 开发语言:Java 数据库:MySQL 技术:SpringBootJSP 工具:IDEA/Eclipse、Navicat、Maven、Tomcat 系统展示 首页 用户管理界…...
LangChain教程-、Langchain基础来
简介 AI Agent 不仅仅是一个能聊天的机器人(如普通的 ChatGPT),而是一个能够感知环境、进行推理、自主决策并调用工具来完成特定任务的智能系统,更够完成更为复杂的AI场景需求。 AI Agent 功能 根据查阅的资料,agent的…...
嵌入式文件传输协议选型与优化实践
1. 嵌入式文件传输协议概述在嵌入式系统开发中,文件传输是设备间数据交换的基础功能。不同于PC环境,嵌入式设备往往受限于资源(内存、CPU、存储)和网络条件(带宽、稳定性),需要专门优化的传输方…...
为什么顶尖金融科技公司集体弃用React转向Blazor?——2026真实项目ROI对比:开发效率↑41%,首屏加载↓68%,运维成本↓53%
第一章:为什么顶尖金融科技公司集体弃用React转向Blazor?——2026真实项目ROI对比:开发效率↑41%,首屏加载↓68%,运维成本↓53%过去两年,高盛、摩根士丹利、PayPal风控平台与新加坡星展银行核心交易看板等1…...
单片机时序图解析与调试实战指南
1. 时序图基础认知第一次接触单片机编程时,看到芯片手册里那些密密麻麻的时序图,我的反应和大多数新手一样——完全看不懂那些高低起伏的波形到底在表达什么。直到有一次调试I2C通信失败,花了整整三天时间才意识到是时序不匹配导致的问题&…...
【万字文档+源码】基于springboot与vue海鲜市场系统-计算机项目设计学习
基于springboot与vue海鲜市场系统1.项目简介 管理员的功能是对用户和商家的信息进行监管,使得管理员能够管理用户、商家、海鲜分类等,并可以对这些进行修改和删除等来保证系统的整体运行。 用户的功能有可以去浏览系统首页和商品的信息,查看…...
初始Flask框架
摘要Flask 作为 Python 生态中最受欢迎的轻量级 Web 框架,以其 “微内核、易扩展” 的设计理念,成为 Web 开发初学者的首选工具。本文基于 Flask 核心基础,从框架概述、环境搭建、路由视图、模板渲染、表单处理、项目结构到生产部署ÿ…...
Qwen3-Embedding-4B原理详解:Tokenization策略(QwenTokenizer)对长尾词/专有名词切分的影响
Qwen3-Embedding-4B原理详解:Tokenization策略(QwenTokenizer)对长尾词/专有名词切分的影响 1. 理解Tokenization的核心作用 1.1 什么是Tokenization Tokenization(分词)是将原始文本拆分成模型能够理解的最小单元的…...
ARM 架构 JuiceFS 性能优化:基于 MLPerf 的实践与调优阑
Qt是一个跨平台C图形界面开发库,利用Qt可以快速开发跨平台窗体应用程序,在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置,实现图形化开发极大的方便了开发效率,本笔记将重点介绍QSpinBox数值微调组件的常用方法及灵活应用。…...
OpenSSF Scorecard安全策略检查:保护代码仓库的终极完整指南
OpenSSF Scorecard安全策略检查:保护代码仓库的终极完整指南 【免费下载链接】scorecard OpenSSF Scorecard - Security health metrics for Open Source 项目地址: https://gitcode.com/gh_mirrors/sc/scorecard OpenSSF Scorecard是一款由Open Source Secu…...
CKKS 同态加密数学基础推导妥
背景 StreamJsonRpc 是微软官方维护的用于 .NET 和 TypeScript 的 JSON-RPC 通信库,以其强大的类型安全、自动代理生成和成熟的异常处理机制著称。在 HagiCode 项目中,为了通过 ACP (Agent Communication Protocol) 与外部 AI 工具(如 iflow …...
