05 mysql innodb page
前言
最近看到了 何登成 大佬的 "深入MySQL源码 -- Step By Step" 的 pdf 呵呵 似乎是找到了一些 方向
之前对于 mysql 方面的东西, 更多的仅仅是简单的使用[业务中的各种增删改查], 以及一些面试题的背诵
这里会参照 MySQL Internals Manual 来大致的看一下 innodb 里面的 page 的存储相关, 这些是深入了解 mysql 的基础
本文内容对应的是 mysql innodb record 里面的 查看一下 rec 的数据信息, 除了 rec 之外还有那些信息呢 ?
MySQL Internals Manual - 22.2 InnoDB Page Structure
以下截图参照自 MySQL Internals Manual
总的来说 Page 拆分成 FileHeader, PageHeader, Infimum & Supremum, UserRecords, FreeSpace, PageDirectory, FileTrailer
FileHeader 里面主要是包含了当前文件的相关信息, 这里面的我们需要关注的就 FIL_PAGE_OFFSET, FIL_PAGE_PREV, FIL_PAGE_NEXT
PageHeader 里面主要包含的是当前 page 的元数据信息
PAGE_N_DIR_SLOTS : 当前 page pageDirectory 的数量
PAGE_HEAP_TOP : 当前 FreeSpace 的开始的偏移
PAGE_N_HEAP : 当前 page 记录的数量(UserRecords + Infimum + Supremum)
PAGE_FREE : 当前 page 被删除的记录数量
PAGE_FREE : 当前 page 被删除的记录占用的字节数
PAGE_LAST_INSERT : 当前 page 最后一个新增的记录的偏移
PAGE_DIRECTION : 当前 page 最后一个新增的记录的偏移
PAGE_N_DIRECTION : 当前 page 最后一个新增的记录的偏移
PAGE_N_RECS : UserRecords 记录数量
PAGE_MAX_TRX_ID : 最大的 trxId
PAGE_LEVEL : pageLevel
PAGE_INDEX_ID : pageIndexId
PAGE_BTR_SEG_LEAF : btrSegLeaf
PAGE_BTR_SEG_TOP : btrSegTop
Infimum & Supremum : Page 里面两条预制的记录 infimum 和 supremum, 分别表示 record 链表逻辑上的 head 和 tail
UserRecords : 各个用户的记录信息, 可以参见 mysql innodb record
FreeSpace : 当前 page 未使用的空间
PageDirectory : key order 排序的 稀疏 record指针 列表
FilTrailer : page 的 checksum + FileHeader 的 FIL_PAGE_LSN 后四字节
22.2.2 Example 里面介绍了一个实例的案例, 剖析一个实际的记录在内存中的数据分布情况, 以及拆解每一个字节的逻辑意义, 可以移步文档看一下, 这里就不截图了, 请自行查阅文档
Page 实际案例剖析
我们这里需要着重注意的是 PageHeader 的这部分的数据信息
PAGE_N_DIR_SLOTS : 当前 page pageDirectory 的数量
PAGE_HEAP_TOP : 当前 FreeSpace 的开始的偏移
PAGE_N_HEAP : 当前 page 记录的数量(UserRecords + Infimum + Supremum)
PAGE_FREE : 当前 page 被删除的记录数量
PAGE_FREE : 当前 page 被删除的记录占用的字节数
PAGE_LAST_INSERT : 当前 page 最后一个新增的记录的偏移
PAGE_DIRECTION : 当前 page 最后一个新增的记录的偏移
PAGE_N_DIRECTION : 当前 page 最后一个新增的记录的偏移
PAGE_N_RECS : UserRecords 记录数量
PAGE_MAX_TRX_ID : 最大的 trxId
PAGE_LEVEL : pageLevel
PAGE_INDEX_ID : pageIndexId
PAGE_BTR_SEG_LEAF : btrSegLeaf
PAGE_BTR_SEG_TOP : btrSegTop
# user 对应的数据 当前页的数据信息, 拆解
(lldb) x 0x1286cc000 -c 0x120
0x1286cc000: 10 aa fb 30 00 00 00 03 ff ff ff ff ff ff ff ff .��0....��������
0x1286cc010: 00 00 00 00 00 1a a2 7d 45 bf 00 00 00 00 00 00 ......�}E�......
0x1286cc020: 00 00 00 00 00 06 00 02 00 b9 80 04 00 00 00 00 .........�......
0x1286cc030: 00 a0 00 02 00 01 00 02 00 00 00 00 00 00 00 00 .�..............
0x1286cc040: 00 00 00 00 00 00 00 00 00 16 00 00 00 06 00 00 ................
0x1286cc050: 00 02 00 f2 00 00 00 06 00 00 00 02 00 32 01 00 ...�.........2..
0x1286cc060: 02 00 1c 69 6e 66 69 6d 75 6d 00 03 00 0b 00 00 ...infimum......
0x1286cc070: 73 75 70 72 65 6d 75 6d 05 00 00 00 10 00 21 80 supremum......!.
0x1286cc080: 00 00 01 00 00 00 00 2b 07 04 00 00 01 56 04 7b .......+.....V.{
0x1286cc090: 80 00 00 1c 6a 65 72 72 79 04 00 00 00 18 ff d0 ....jerry.....��
0x1286cc0a0: 80 00 00 02 00 00 00 00 35 04 83 00 00 01 36 01 ........5.....6.
0x1286cc0b0: 10 80 00 00 16 6c 75 63 79 00 00 00 00 00 00 00 .....lucy.......
0x1286cc0c0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0x1286cc0d0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0x1286cc0e0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0x1286cc0f0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0x1286cc100: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0x1286cc110: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................# page 的记录信息
0x1286cc000: 10 aa fb 30 00 00 00 03 ff ff ff ff ff ff ff ff .��0....��������
0x1286cc010: 00 00 00 00 00 1a a2 7d 45 bf 00 00 00 00 00 00 ......�}E�......
0x1286cc020: 00 00 00 00 00 06 00 02 00 b9 80 04 00 00 00 00 .........�......
0x1286cc030: 00 a0 00 02 00 01 00 02 00 00 00 00 00 00 00 00 .�..............
0x1286cc040: 00 00 00 00 00 00 00 00 00 16 00 00 00 06 00 00 ................
0x1286cc050: 00 02 00 f2 00 00 00 06 00 00 00 02 00 32 01 00 ...�.........2..# FIL HEADERR : 38 bytes
FIL_PAGE_SPACE = 10 aa fb 30
FIL_PAGE_OFFSET = 00 00 00 03
FIL_PAGE_PREV = ff ff ff ff
FIL_PAGE_NEXT = ff ff ff ff
FIL_PAGE_LSN = 00 00 00 00 00 1a c4 cb
FIL_PAGE_TYPE = 45 bf
FIL_PAGE_FILE_FLUSH_LSN = 00 00 00 00 00 00 00 00
FIL_PAGE_ARCH_LOG_NO = 00 00 00 06# PAGE_HEADER : 56 byte
PAGE_N_DIR_SLOTS = 00 02
PAGE_HEAP_TOP = 00 b9
PAGE_N_HEAP = 80 04
PAGE_FREE = 00 00
PAGE_GARBAGE = 00 00
PAGE_LAST_INSERT = 00 a0
PAGE_DIRECTION = 00 02
PAGE_N_DIRECTION = 00 01
PAGE_N_RECS = 00 02
PAGE_MAX_TRX_ID = 00 00 00 00 00 00 00 00
PAGE_LEVEL = 00 00
PAGE_INDEX_ID = 00 00 00 00 00 00 00 16
PAGE_BTR_SEG_LEAF = 00 00 00 06 00 00 00 02 00 f2
PAGE_BTR_SEG_TOP = 00 00 00 06 00 00 00 02 00 32# Page Directory & Fil Trailer, 地址不一样是因为是不同的进程里面 inspect 的, 但是不影响数据
(lldb) x 0x12663bfe0 -c 0x20
0x12663bfe0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0x12663bff0: 00 00 00 00 00 70 00 63 ac c3 1c c6 00 1a c4 cb .....p.c��.�..��PAGE_N_DIR_SLOTS = [0x0070, 0x0063]
FIL_PAGE_END_LSN = 63 ac c3 1c c6 00 1a c4 cb
CHECK_SUM = ac c3 1c c6
FIL_PAGE_LSN = 00 1a c4 cb
UserRecords 的组织
从下面的 step2 的数据组织上来看, 我们这里的 record 列表物理上是需要 record 在 FreeSpace 里面申请 record 的空间, 但是逻辑 [以 next offset 来路由]来说 是根据 id 排序的
jerry -> lucy -> jerry5 -> jerry7 -> jerry8 -> jerry9
# 这里是 原有数据 jerry, lucy
# 物理上不是按照 id 进行排序的阿, 但是逻辑上来说 是按照 key order 排序的[根据 next 单链表]
# 1. 先新增了 jerry7, jerry8, jerry9
INSERT INTO `test`.`user`(`id`, `age`, `name`) VALUES (7, 22, 'jerry7');
INSERT INTO `test`.`user`(`id`, `age`, `name`) VALUES (8, 22, 'jerry8');
INSERT INTO `test`.`user`(`id`, `age`, `name`) VALUES (9, 22, 'jerry9');
# 2. 先新增了 jerry5
INSERT INTO `test`.`user`(`id`, `age`, `name`) VALUES (5, 22, 'jerry5');# step1
(lldb) x 0x12663807f -c 0x120
0x12663807f: 80 00 00 01 00 00 00 00 2b 07 04 00 00 01 56 04 ........+.....V.
0x12663808f: 7b 80 00 00 1c 6a 65 72 72 79 04 00 00 00 18 00 {....jerry......
0x12663809f: 20 80 00 00 02 00 00 00 00 35 04 83 00 00 01 36 ........5.....6
0x1266380af: 01 10 80 00 00 16 6c 75 63 79 06 00 00 00 20 00 ......lucy.... .
0x1266380bf: 22 80 00 00 07 00 00 00 00 3d 0b 84 00 00 01 37 "........=.....7
0x1266380cf: 01 10 80 00 00 16 6a 65 72 72 79 37 06 00 00 00 ......jerry7....
0x1266380df: 28 00 22 80 00 00 08 00 00 00 00 3d 0c 85 00 00 (."........=....
0x1266380ef: 01 38 01 10 80 00 00 16 6a 65 72 72 79 38 06 00 .8......jerry8..
0x1266380ff: 00 00 30 ff 6c 80 00 00 09 00 00 00 00 3d 0d 86 ..0�l........=..
0x12663810f: 00 00 01 39 01 10 80 00 00 16 6a 65 72 72 79 39 ...9......jerry9
0x12663811f: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0x12663812f: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0x12663813f: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0x12663814f: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0x12663815f: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0x12663816f: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0x12663817f: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0x12663818f: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
# step2
(lldb) x 0x12663807f -c 0x120
0x12663807f: 80 00 00 01 00 00 00 00 2b 07 04 00 00 01 56 04 ........+.....V.
0x12663808f: 7b 80 00 00 1c 6a 65 72 72 79 04 00 00 00 18 00 {....jerry......
0x12663809f: 86 80 00 00 02 00 00 00 00 35 04 83 00 00 01 36 .........5.....6
0x1266380af: 01 10 80 00 00 16 6c 75 63 79 06 00 00 00 20 00 ......lucy.... .
0x1266380bf: 22 80 00 00 07 00 00 00 00 3d 0b 84 00 00 01 37 "........=.....7
0x1266380cf: 01 10 80 00 00 16 6a 65 72 72 79 37 06 00 00 00 ......jerry7....
0x1266380df: 28 00 22 80 00 00 08 00 00 00 00 3d 0c 85 00 00 (."........=....
0x1266380ef: 01 38 01 10 80 00 00 16 6a 65 72 72 79 38 06 00 .8......jerry8..
0x1266380ff: 00 00 30 ff 6c 80 00 00 09 00 00 00 00 3d 0d 86 ..0�l........=..
0x12663810f: 00 00 01 39 01 10 80 00 00 16 6a 65 72 72 79 39 ...9......jerry9
0x12663811f: 06 00 00 00 38 ff 9a 80 00 00 05 00 00 00 00 3d ....8�.........=
0x12663812f: 14 8a 00 00 01 91 01 10 80 00 00 16 6a 65 72 72 ............jerr
0x12663813f: 79 35 00 00 00 00 00 00 00 00 00 00 00 00 00 00 y5..............
0x12663814f: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0x12663815f: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0x12663816f: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0x12663817f: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0x12663818f: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
参考
MySQL Internals Manual
mysql innodb record
相关文章：
05 mysql innodb page
前言 最近看到了 何登成 大佬的 "深入MySQL源码 -- Step By Step" 的 pdf 呵呵 似乎是找到了一些 方向 之前对于 mysql 方面的东西, 更多的仅仅是简单的使用[业务中的各种增删改查], 以及一些面试题的背诵 这里会参照 MySQL Internals Manual 来大致的看一下 i…...
记录一次electron打包提示文件找不到的解决方法
没有配置files选项 files的作用是配置打包到应用程序的构建资源 就是说如果你想使用项目那个目录下的文件 就得通过files配置一下不然就会报错 json文件或者yml文件会报的错 格式是这样的 "files": ["dist-electron", "dist"],electron打包配…...
《大型网站技术架构》第二篇 架构-高可用
高可用在公司中的重要性 对公司而言，可用性关系网站的生死存亡。对个人而言，可用性关系到自己的绩效升迁。 工程师对架构做了许多优化、对代码做了很多重构，对性能、扩展性、伸缩性做了很多改善，但别人未必能直观地感受到&#…...
VS Code 使用cnpm下载包失败
一、 问题如下： 网上找到的解决方法是要在powershell中执行： Set-ExecutionPolicy RemoteSigned进行更改策略。 首先我们解释下这个Set-ExecutionPolicy RemoteSigned，Set-ExecutionPolicy 是一个 PowerShell 命令，用于控制脚本…...
【图像分类】CNN + Transformer 结合系列.4
介绍两篇利用Transformer做图像分类的论文：CoAtNet（NeurIPS2021），ConvMixer（ICLR2022）。CoAtNet结合CNN和Transformer的优点进行改进，ConvMixer则patch的角度来说明划分patch有助于分类。 CoAtN…...
分享一下利用Vue表单处理实现复杂表单布局
在开发Web应用程序中，表单是非常常见的一种元素。而在某些情况下，我们需要实现一些更为复杂的表单布局，以满足业务需求。使用Vue.js作为前端框架，我们可以很方便地处理复杂表单布局，并且实现数据的双向绑定。 下面来将…...
SAP Fiori 问题收集
事务代码篇 启动工作台：/N/UI2/FLP 错误日志： /n/IWFND/ERROR_LOG 服务清单： /n/IWFND/MAINT_SERVICE 创建语义对象：/N/UI2/SEMOBJ 创建目录：/N/UI2/FLPD_CONF（cross-client）或 /N/UI2…...
econml双机器学习实现连续干预和预测
连续干预 在这个示例中，我们使用LinearDML模型，使用随机森林回归模型来估计因果效应。我们首先模拟数据，然后模型，并使用方法来effect创建不同干预值下的效应（Conditional Average Treatment Effect，CATE&…...
《甲午》观后感——GPT-3.5所写
《甲午》是一部令人深思的纪录片，通过生动的画面和真实的故事，向观众展示了中国历史上的一段重要时期。观看这部纪录片，我深受触动，对历史的认识也得到了深化。 首先，这部纪录片通过精心搜集的历史资料和珍贵的影像资料…...
Java技术整理（6）—— 微服务篇
1、服务注册发现 服务注册就是维护一个服务列表，它在管理系统内所有的服务地址，当新的服务启动后，它会向服务列表提交自己的服务地址，服务的调用法可以直接向服务列表发送服务列表获取请求，就能获得所有的服务地址&am…...
途乐证券-新股行情持续火爆，哪些因素影响首日表现？
全面注册制以来，参加打新的投资者数量全体呈现下降。打新收益下降，破发频出的布景下，投资者打新策略从逢新必打逐步向优选个股改变。 经过很多历史数据，从商场定价、参加者热度以及机构重视度维度揭秘了上市后股价体现优秀的个股具…...
在生产环境中部署Elasticsearch：最佳实践和故障排除技巧——聚合与搜索（三）
前言 「作者主页」：雪碧有白泡泡 「个人网站」：雪碧的个人网站 「推荐专栏」： ★java一站式服务 ★ ★ React从入门到精通★ ★前端炫酷代码分享 ★ ★ 从0到英雄，vue成神之路★ ★ uniapp-从构建到提升★ ★ 从0到英雄ÿ…...
基于weka手工实现KNN
一、KNN模型 K最近邻（K-Nearest Neighbors，简称KNN）算法是一种常用的基于实例的监督学习算法。它可以用于分类和回归问题，并且是一种非常直观和简单的机器学习算法。 KNN算法的基本思想是：对于一个新的样本数据&…...
Lua 闭包
一、Lua 中的函数 Lua 中的函数是第一类值。意味着和其他的常见类型的值（例如数值和字符串）具有同等权限。 举个例子，函数也可以像其他类型一样存储起来，然后调用 -- 将 a.p 指向 print 函数 a { p print } -- 使用 a.p 函数…...
Java技术整理（1）—— JVM篇
1、什么是JVM？ JVM是一个可运行Java代码的虚拟计算机，包括一套字节码指令集，一组寄存器，一个栈，一个垃圾回收，堆和一个存储方式栈。JVM 是运行在操作系统之上，并不与操作系统直接交互。 2、运行…...
bug解决：AssertionError: No inf checks were recorded for this optimizer.
这真的是最恶心的一个error（比网络回传找哪层没有传播到还要恶心！），找了好久的问题所在之处，最后偶然发现了这篇文章： 解决pytorch半精度amp训练nan问题 - 知乎 然后发现自己用的混合精度训练，发…...
Django笔记之数据库查询优化汇总
1、性能方面 1. connection.queries 前面我们介绍过 connection.queries 的用法，比如我们执行了一条查询之后，可以通过下面的方式查到我们刚刚的语句和耗时 >>> from django.db import connection >>> connection.queries [{sql: S…...
JVM内存区域
预备 为了更好的理解类加载和垃圾回收，先要了解一下JVM的内存区域（如果没有特殊说明，都是针对的是 HotSpot 虚拟机。）。 Java 源代码文件经过编译器编译后生成字节码文件，然后交给 JVM 的类加载器，加载完…...
某行业CTF一道流量分析题
今晚看了一道题，记录学习下。 给了一个hacktrace.pcapng，分析主要内容如下： 上传两个文件，一个mouse.m2s，一个mimi.zip，将其导出。 mimi.zip中存放着secret.zip和key.pcapng 不过解压需要密码ÿ…...
【Kafka】1.Kafka简介及安装
目 录 1. Kafka的简介1.1 使用场景1.2 基本概念 2. Kafka的安装2.1 下载Kafka的压缩包2.2 解压Kafka的压缩包2.3 启动Kafka服务 1. Kafka的简介 Kafka 是一个分布式、支持分区（partition）、多副本（replica）、基于 zookeeper 协调…...
ES6从入门到精通：前言
ES6简介 ES6（ECMAScript 2015）是JavaScript语言的重大更新，引入了许多新特性，包括语法糖、新数据类型、模块化支持等，显著提升了开发效率和代码可维护性。 核心知识点概览 变量声明 let 和 const 取代 var…...
Oracle查询表空间大小
1 查询数据库中所有的表空间以及表空间所占空间的大小 SELECTtablespace_name,sum( bytes ) / 1024 / 1024 FROMdba_data_files GROUP BYtablespace_name; 2 Oracle查询表空间大小及每个表所占空间的大小 SELECTtablespace_name,file_id,file_name,round( bytes / ( 1024 …...
【CSS position 属性】static、relative、fixed、absolute 、sticky详细介绍，多层嵌套定位示例
文章目录 ★ position 的五种类型及基本用法 ★ 一、position 属性概述 二、position 的五种类型详解（初学者版） 1. static（默认值） 2. relative（相对定位） 3. absolute（绝对定位） 4. fixed（固定定位） 5. sticky（粘性定位） 三、定位元素的层级关系（z-i…...
Python实现prophet 理论及参数优化
文章目录 Prophet理论及模型参数介绍Python代码完整实现prophet 添加外部数据进行模型优化 之前初步学习prophet的时候，写过一篇简单实现，后期随着对该模型的深入研究，本次记录涉及到prophet 的公式以及参数调优，从公式可以更直观…...
3403. 从盒子中找出字典序最大的字符串 I
3403. 从盒子中找出字典序最大的字符串 I 题目链接：3403. 从盒子中找出字典序最大的字符串 I 代码如下： class Solution { public:string answerString(string word, int numFriends) {if (numFriends 1) {return word;}string res;for (int i 0;i &…...
OpenPrompt 和直接对提示词的嵌入向量进行训练有什么区别
OpenPrompt 和直接对提示词的嵌入向量进行训练有什么区别 直接训练提示词嵌入向量的核心区别 您提到的代码： prompt_embedding = initial_embedding.clone().requires_grad_(True) optimizer = torch.optim.Adam([prompt_embedding...
UR 协作机器人「三剑客」：精密轻量担当（UR7e）、全能协作主力（UR12e）、重型任务专家（UR15）
UR协作机器人正以其卓越性能在现代制造业自动化中扮演重要角色。UR7e、UR12e和UR15通过创新技术和精准设计满足了不同行业的多样化需求。其中，UR15以其速度、精度及人工智能准备能力成为自动化领域的重要突破。UR7e和UR12e则在负载规格和市场定位上不断优化…...
AI，如何重构理解、匹配与决策？
AI 时代，我们如何理解消费？ 作者｜王彬 封面｜Unplash 人们通过信息理解世界。 曾几何时，PC 与移动互联网重塑了人们的购物路径：信息变得唾手可得，商品决策变得高度依赖内容。 但 AI 时代的来…...
【7色560页】职场可视化逻辑图高级数据分析PPT模版
7种色调职场工作汇报PPT，橙蓝、黑红、红蓝、蓝橙灰、浅蓝、浅绿、深蓝七种色调模版 【7色560页】职场可视化逻辑图高级数据分析PPT模版：职场可视化逻辑图分析PPT模版https://pan.quark.cn/s/78aeabbd92d1...
Aspose.PDF 限制绕过方案：Java 字节码技术实战分享（仅供学习）
Aspose.PDF 限制绕过方案：Java 字节码技术实战分享（仅供学习） 一、Aspose.PDF 简介二、说明（⚠️仅供学习与研究使用）三、技术流程总览四、准备工作1. 下载 Jar 包2. Maven 项目依赖配置 五、字节码修改实现代码&#…...