当前位置: 首页 > news >正文

Mysql 与 磁盘交互的过程

从之前的Mysql架构可以了解到,Mysql 客户端不是直接和磁盘打交道,我们在客户端输入的sql语句会被发送给服务端,服务端对sql语句进行解析、缓存等操作,然后再交由存储引擎去读写磁盘。这其实是从 C/S 的角度去了解Mysql

站在OS的角度,Mysql 的数据保存在磁盘,本质还是文件IO,Mysql是如何跟内核(OS)打交道的呢?


          目录

1、Mysql 交互模型(站在OS的角度)

(1) Mysql 从磁盘读数据

(2) Mysql 向磁盘写数据

2、Mysql 交互的基本单位

(1) 交互的基本单位(每次IO的数据量)

(2) 为什么IO交互要以page为基本单位?


1、Mysql 交互模型(站在OS的角度)

核心理念说在最前面,Mysql 对数据所做的所有访问,无论是查询,还是增删改,都是在内存中进行的!

(1) Mysql 从磁盘读数据

早在Mysql 启动的时候,Mysql 就会向内存申请一块空间(下面统称“缓存池”)。

每次查询的时候,会预先从磁盘读取一部分相关数据到缓存池。(至于读取多少,详见“Mysql和磁盘交互的基本单位”)

每次增删改的时候,如果缓存池里存在对应的记录,那就直接在已有的记录上改;如果不存在,那就先从磁盘读取到缓存池,然后再改。

(2) Mysql 向磁盘写数据

所有的增删改查都在内存中进行,每次执行sql的时候都会在缓存池中先把数据调整好,然后再刷新到内核缓冲区。内核有自己刷新策略,会定期把数据从内核缓冲区刷新到磁盘

缓存池 ==》内核缓冲区的刷新策略有以下三种选择:

  • 有脏数据就立马刷新(脏数据是内存操作完毕以后的数据)
  • 定期刷新
  • 达到一定的数据量再刷新

内核缓冲区 ==》磁盘的刷新则是定期刷新。如果想要手动刷新内核缓冲区,可以参考系统调用接口 syncfs 。

2、Mysql 交互的基本单位

(1) 交互的基本单位(每次IO的数据量)

上面提到,查询时,Mysql 会读取一部分数据到缓存池,那么问题来了,每次到底读取多少呢?

Mysql和外设交互的基本单位是16KB,即一次IO的数据量就是16KB,站在Mysql的角度,这16KB就是一个page。读数据时,将以page为单位,把相关数据从磁盘读取到内存;写数据也是同理。

(2) 为什么IO交互要以page为基本单位?

假设每次查询都只读取一条记录,多次查询的时候,就要频繁跟数据库(简单理解为磁盘)交互。系统和磁盘的IO是比较费时的,为了提升效率,一般我们要尽量减少系统和磁盘IO的次数。

如果每次查询,我们以page(16KB)读取数据,那就相当于我们可以一次读取几百条记录到缓存池中,即便我们后续要频繁查询数据库,只要是在这个 page 里的内容,我们便无需和磁盘IO

相关文章:

Mysql 与 磁盘交互的过程

从之前的Mysql架构可以了解到,Mysql 客户端不是直接和磁盘打交道,我们在客户端输入的sql语句会被发送给服务端,服务端对sql语句进行解析、缓存等操作,然后再交由存储引擎去读写磁盘。这其实是从 C/S 的角度去了解Mysql。 站在OS的…...

Spring Cloud Gateway集成Nacos实现负载均衡

💡Nacas可以用于实现Spring Cloud Gateway中网关动态路由功能,也可以基于Nacos来实现对后端服务的负载均衡,前者利用Nacos配置中心功能,后者利用Nacos服务注册功能。接下来我们来看下Gateway集成Nacos实现负载均衡的架构图一. 环境…...

Excel图表教程_编程入门自学教程_菜鸟教程-免费教程分享

教程简介 Excel图表初学者教程 - 从简单和简单的步骤学习Excel图表从基本概念到高级概念,包括简介,创建图表,类型,柱形图,折线图,饼图,圆环图,条形图,面积图&#xff0c…...

2023最新的接口自动化测试面试题

1、请结合你熟悉的项目,介绍一下你是怎么做测试的? -首先要自己熟悉项目,熟悉项目的需求、项目组织架构、项目研发接口等 -功能 接口 自动化 性能 是怎么处理的? -第一步: 进行需求分析,需求评审&#…...

AcWing语法基础课笔记 第一章 C++入门及简单的顺序结构

第一章 C入门及简单的顺序结构 编程是一种控制计算机的方式,和我们平时双击打开文件、关机、重启没有任何区别。 ———闫学灿 C中常用的变量类型 和所占字节大小 输出变量地址符: 软件环境 作业的评测与提交 在线练习地址:www.acwing.com …...

【并发编程】【2】进程与线程

并发编程 2.进程与线程 2.1 进程与线程 进程 程序由指令和数据组成,但这些指令要运行,数据要读写,就必须将指令加载至 CPU,数据加载至内存。在 指令运行过程中还需要用到磁盘、网络等设备。进程就是用来加载指令、管理内存、管…...

MySQL获取当前时间的各种方式

1 获取当前完整时间1.1 now()函数select now();输出:2023-02-15 10:46:171.2 sysdate()函数select sysdate();输出:2023-02-15 10:47:131.3 current_timestamp或current_timestamp()current_timestamp和current_timestamp()函数的效果是一样的,只不过一个是关键字&a…...

redis持久化之AOF(Append Only File)及其总结

1.是什么? 以日志的形式来记录每个写操作,将redis执行过的所有写指令记录下来(读操作不记录),只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis重启的话就根据日志文件的…...

LeetCode 刷题之队列

5. 队列 队列(queue)是只允许在一端进行插入操作,而在另一端进行删除操作的线性表。 队列是一种先进先出的(First In First Out)的线性表,简称 FIFO。允许插入的一端为队尾,允许删除的一端为队…...

互联网摸鱼日报(2023-02-15)

互联网摸鱼日报(2023-02-15) InfoQ 热门话题 ChatGPT火爆全球后,OpenAI CEO称“它很酷,但却是个糟糕的产品” 微软发言人证实旗下LinkedIn平台开始裁员 Akamai 推出 Akamai Connected Cloud 和全新云计算服务 AI赋能元宇宙游戏…...

聊聊外包和远程项目的敏捷管理(合辑共7篇)

这是鼎叔的第五十一篇原创文章。行业大牛和刚毕业的小白,都可以进来聊聊。欢迎关注本专栏和微信公众号《敏捷测试转型》,大量原创思考文章陆续推出。第四个合辑完工了,咱们介绍了外包管理或远程项目如何敏捷交付,满足管理层预期。…...

2023-2-15 刷题情况

检查「好数组」 题目描述 给你一个正整数数组 nums,你需要从中任选一些子集,然后将子集中每一个数乘以一个 任意整数,并求出他们的和。 假如该和结果为 1,那么原数组就是一个「好数组」,则返回 True;否则…...

汉诺塔递归算法精讲

文章目录前言一、汉诺塔是个啥?二、手动解法三、解法抽象四、递归解法五、总结前言 递归算法是计算机算法中的基础算法,也是非常重要的算法,从某种程度上讲,它有一点儿AI的影子。人脑是可以完成递归思路的,但是对不起…...

vue的$nextTick的原理

参考:https://cloud.tencent.com/developer/article/1633546 总结一下:就是$nextTick将回调函数放到微任务或者宏任务当中以延迟它地执行顺序;(总结的也比较懒👶) 重要的是理解源码中它的三个参数的意思&a…...

前端学习第一阶段——第五章CSS(下)

5-9 浮动 08-浮动导读 09-传统网页布局三种方式 10-为什么需要浮动 11-什么是浮动 12-浮动特性-脱标 13-浮动特性-浮动元素一行显示 14-浮动特性-浮动元素具有行内块特性 15-浮动元素经常搭配标准流的父元素 16-浮动布局练习1 <!DOCTYPE html> <html lang"en&quo…...

基于django搭建简单的个人博客

文章目录第一步、在Ubuntu中安装虚拟环境并进入第二步、安装blog所需要的包&#xff0c;在requirements.txt中安装mysqlclient可能会报错&#xff0c;输入下列命令后在安装即可成功第三步、创建好数据库&#xff0c;把测试数据导入第四步、修改DjangoBlog包中 settings中数据库…...

JVM解释器与JIT编译器如何并存?

[1] JVM解释器 JVM设计的初衷仅仅只是为了满足Java程序实现跨平台特性&#xff0c;因此避免采用静态编译的方式直接生成本地机器指令&#xff0c;从而诞生了实现解释器在运行时采用逐行解释字节码的执行程序。 解释器真正意义上所承担的角色就是一个运行时“翻译者”&#xff0…...

生产者消费者模型

目录 一、生产者消费者模型的概念 二、生产者消费者模型的特点 三、生产者消费者模型优点 四、基于BlockingQueue的生产者消费者模型 4.1 基本认识 4.2 模拟实现 一、生产者消费者模型的概念 生产者消费者模式就是通过一个容器来解决生产者和消费者的强耦合问题 生产者和…...

mysql索引--实例

学生表&#xff1a;Student (Sno, Sname, Ssex , Sage, Sdept) 学号&#xff0c;姓名&#xff0c;性别&#xff0c;年龄&#xff0c;所在系 Sno为主键 课程表&#xff1a;Course (Cno, Cname,) 课程号&#xff0c;课程名 Cno为主键 学生选课表&#xff1a;SC (Sno, Cno, Score)…...

浅聊一下,可中断锁(ReentrantLock)

前言 今天早上上厕所&#xff0c;上的我痔疮犯了&#xff0c;屁股一坐下去就感觉一根针在刺我&#xff0c;得的是外痔&#xff0c;之前还坚持用痔疮膏来着&#xff0c;但是感觉涂药的那个姿势以及位置我实在无法忍受&#xff0c;就把它给断了&#xff0c;到头来还是屁股糟了罪&…...

利用MCP协议与Crypto APIs为AI助手集成多链交易数据查询能力

1. 项目概述&#xff1a;一个为AI助手注入区块链洞察力的MCP服务器 如果你和我一样&#xff0c;日常开发中经常需要查询不同区块链上的交易详情——比如验证一笔以太坊上的USDT转账是否成功&#xff0c;或者追溯某个比特币地址的资金来源——那你肯定体会过在十几个浏览器标签…...

别再用LoadRunner了!用JMeter+阿里云PTS搞定mPaaS网关全链路压测(附MGSJMeterExt插件实战)

从LoadRunner到JMeterPTS&#xff1a;mPaaS网关压测的高效实战指南 在移动应用性能优化的战场上&#xff0c;压力测试一直是确保系统稳定性的关键环节。传统工具如LoadRunner虽然功能强大&#xff0c;但面对mPaaS这类移动网关架构时&#xff0c;其高昂的授权成本、复杂的适配流…...

无线充电技术解析:从Qi标准到射频远距充电的现状与未来

1. 无线充电的现状与用户困境作为一名长期关注消费电子与网络通信设备的技术博主&#xff0c;我每天打交道最多的就是各种“电老虎”和“充电宝”。Rebecca Day在文章里描述的那个圣诞场景&#xff0c;我简直不能再熟悉了——在一堆新设备的包装盒里翻找线缆&#xff0c;在抽屉…...

光纤链路故障排查:从指示灯误导到光功率测量的工程实践

1. 项目概述&#xff1a;一个关于“指示灯谎言”的工程教训在电子工程和测试测量领域&#xff0c;我们习惯于依赖设备上的指示灯——那些绿色、红色或琥珀色的小灯——来快速判断系统状态。它们是我们与复杂硬件对话的直观语言。然而&#xff0c;今天我想分享一个十多年前的真实…...

为AI智能体注入人类洞察:用户研究技能全链路实践指南

1. 项目概述&#xff1a;为AI智能体注入“人类洞察层”如果你正在构建或使用AI智能体&#xff0c;无论是Claude Code、Cursor还是其他基于代码的智能助手&#xff0c;你可能会发现一个核心瓶颈&#xff1a;这些智能体虽然能处理代码、分析数据&#xff0c;但在涉及产品决策、功…...

多模态表征与生成模型:AI驱动材料发现的核心技术与实战指南

1. 多模态材料表征&#xff1a;从单一描述到信息融合的范式演进在材料科学领域&#xff0c;如何让计算机“理解”一种材料&#xff0c;是驱动一切数据驱动研究的前提。传统上&#xff0c;我们习惯于用单一视角来描述材料&#xff1a;化学家用SMILES字符串描述分子&#xff0c;晶…...

代码所有权的悖论:集体智慧与个人责任的边界

代码世界的身份迷局在软件测试的日常工作中&#xff0c;我们时常会陷入这样的困惑&#xff1a;当面对一行引发系统崩溃的代码时&#xff0c;究竟该追溯到最初编写它的开发者&#xff0c;还是问责于后续不断迭代维护的团队&#xff1f;当一个历经数十人之手、跨越数年周期的模块…...

程序员连夜带团队跑路,省了23万:这AI太贵,真的用不起了

好的&#xff0c;收到&#xff01;你说得对&#xff0c;之前的风格可能信息密度太高&#xff0c;有点“极客狂欢”的味道。 今天咱们换个姿势&#xff0c;用唠家常、说人话的方式&#xff0c;把5月11日AI圈最有趣、最魔幻的几件事儿聊明白。保证你在地铁上、蹲坑时&#xff0c;…...

Arm嵌入式多线程编程:原理、实践与优化

1. Arm嵌入式开发中的多线程编程基础在嵌入式系统开发中&#xff0c;多线程编程是提高系统响应能力和资源利用率的重要手段。Arm架构作为嵌入式领域的主流处理器架构&#xff0c;其编译器工具链对多线程编程提供了完善的支持。不同于通用计算环境&#xff0c;嵌入式系统的多线程…...

Cursor AI 编程助手配置优化:一键安装与自定义指南

1. 项目概述&#xff1a;为什么需要一套现成的 Cursor 配置&#xff1f;如果你和我一样&#xff0c;是 Cursor 的重度用户&#xff0c;那么你肯定经历过这样的阶段&#xff1a;刚上手时&#xff0c;觉得这个 AI 驱动的 IDE 简直是神器&#xff0c;但随着项目越来越复杂&#xf…...