Linux文件系统（一）：从磁盘结构到文件系统基础

目录一、计算机存储体系1. 从计算机到磁盘2. 什么是磁盘二、磁盘的物理结构1. 磁盘组成2. 数据写入原理三、磁盘的存储结构1. 扇区、磁道、柱面2. 磁盘与数组单磁道展开同半径磁道展开全盘展开C / C 数组思维的线性化四、磁盘寻址方式1. CHS 寻址2. LBA 寻址CHS 与 LBA 的转换五、从磁盘到文件系统1. 为什么需要文件系统2. 块的概念3. 分区的概念六、inode 与文件本质1. 什么是文件2. inode 的概念3. inode 的作用总结一、计算机存储体系在深入探讨文件系统的核心代码前让我们先提升视角。许多开发者长期编码后容易产生一种错觉认为数据只是虚拟的内存信号。但事实上所有数据最终都存储在真实的物理介质中1. 从计算机到磁盘如果有机会走进一个大型互联网公司的数据中心扑面而来的是这样一种景象数据中心数百乃至上千平方米的恒温密闭空间机柜整齐排列的黑色金属机架形似巨型冰箱阵列服务器安装在机柜上层层叠放的扁平设备散热风扇高速运转存储设备在这些服务器内部或者专门的存储矩阵中整齐地排列着成千上万块磁盘无论业务代码逻辑多么精妙VFS 抽象得多么高级最终printf输出的字符串都要穿越主板总线最终抵达磁盘设备2. 什么是磁盘在计算机存储体系中我们通常面临一个矛盾速度 vs 容量 vs 价格磁盘这里主要指HDD机械硬盘在整个存储体系中占据着极其关键的地位。它是计算机的持久化存储设备核心特征持久性这是磁盘区别于内存最本质的特征内存往往具有易失性一旦断电所有电信号瞬间消失数据归零磁盘永久存储。它通过改变盘片上磁粉的极性来记录数据。无论你关机一个月还是搬运服务器只要磁头不物理损坏数据就会安然无损地保留其中为什么它是主力虽然现在 SSD固态硬盘风头正盛但在企业级存储和海量数据备份场景下机械硬盘仍然占据主导地位同等价位磁盘能提供比 SSD 大得多的容量磁盘的物理结构决定了它更适合长期存放冷数据二、磁盘的物理结构内存由静态半导体电路构成而机械硬盘是计算机系统中少数采用高速运动结构的精密机械部件。当机箱内部出现轻微的振动声响时即是其内部盘片以每分钟数千转的速率高速旋转所产生1. 磁盘组成拆卸机械硬盘的密闭封装壳体后可观察到其内部具备高精度的机械结构盘片通常由铝合金或玻璃支撑表面涂有一层极薄的磁性材料。作为数据存储的核心载体通常一个硬盘里会有多个盘片叠加在一起主轴贯穿所有盘片的中心轴。主轴电机会带动盘片高速旋转常见的转速有 5400 RPM每分钟转数或 7200 RPM磁头这是最精密的部分。每个盘面的上下两层各有一个磁头磁头臂像留声机的唱臂一样带动磁头在盘片半径方向上快速摆动从而定位到不同的区域永磁铁与音圈电机磁头臂尾部的强大永磁铁和线圈构成了动力源。通过控制电流大小磁头臂能以极高的精度和速度完成寻道动作2. 数据写入原理数据在计算机里是 0 和 1但在磁盘上它们表现为磁极的方向磁头微型电磁铁磁盘的写磁头本质上是一个极其微小的电磁铁写入逻辑当电流通过磁头线圈时会产生磁场。磁场会改变盘片表面磁性颗粒的排列方向比如N 极向上代表 1S 极向上代表 0读取逻辑磁头经过盘片表面时磁性颗粒的磁场会在线圈中感应出微弱的电流电路将其还原为 0 和 1为了提高存储密度磁头必须离盘片极近但又绝对不能碰到盘片。当磁盘高速旋转时盘面会形成纳米级厚度的空气层。磁头在距离盘面仅几纳米的高度悬浮滑行这也是为什么磁盘最怕剧烈震动一旦磁头触碰盘片那这一块区域的磁性物质就会被物理刮飞造成永久性的数据丢失也就是我们常说的坏道三、磁盘的存储结构物理结构决定了磁盘能动而存储结构则决定了数据该往哪放。为了让操作系统准确定位磁盘上的每一个数据位工程师在盘面上构建了一套精密的几何坐标系1. 扇区、磁道、柱面我们可以将磁盘盘面比作一个大型体育场数据的分布就像看台上的座位排列磁道Track当盘片旋转而磁头保持不动时磁头在盘面上划出的圆形轨迹就是磁道。每个盘面都包含成千上万个这样的同心圆磁道扇区Sector磁道被等分为若干段每一段圆弧就是一个扇区。扇区是磁盘存储的最小物理单位通常为 512 字节或 4KB柱面Cylinder磁盘通常有多个盘片所有盘面上半径相同的磁道在垂直方向上构成了一个虚拟的圆柱面为什么要费劲这么分这套设计的核心逻辑是减少磁头机械运动的次数。在读取大量数据时如果数据分布在同一个柱面上磁头只需要切换电信号换磁头工作而不需要移动磁头臂。由于电子信号切换的速度远快于机械臂摆动按柱面读写数据是效率最高的选择2. 磁盘与数组单磁道展开假如我们把盘面上 某一个盘面的某一个磁道Track 剪短然后拉直这个原本闭合的圆环现在变成了一条排满扇区的直线段。在这一层我们可以用一个数组来表示它Track[Sector]由此我们可以将其抽象为一维数组同半径磁道展开现在我们将目光放大到整个柱面Cylinder。一个柱面包含了所有盘面上半径相同的磁道如果我们将这些盘面上的同一磁道全部剪断并拉直然后整齐地并排摆放。我们得到一个由 磁头号Head和 扇区号Sector构成的矩形平面在这一层逻辑结构变成了Cylinder_Track[Head][Sector]由此我们可以将其抽象为二维数组全盘展开最后我们将磁盘上所有的柱面从最外圈到最内圈全部按顺序堆叠起来每一层是一个柱面的二维矩阵成千上万个矩阵堆在一起构成了一个逻辑上的立方体这就是我们常说的物理寻址结构Disk[Cylinder][Head][Sector]此时我们最终将其抽象为三维数组C / C 数组思维的线性化在 C/C 中我们知道计算机里根本没有多维数组它们本质上都是一维数组当我们定义一个三维数组 int arr[C][H][S] 时内存并不是真的叠成了一个方块而是通过线性映射把所有的元素排成了一排磁盘的线性折叠操作系统对磁盘的处理如出一辙。它按照一定的先后顺序通常是先排满一个磁道再排同一个柱面的下一个磁道最后移动磁头臂到下一个柱面将这个三维立体结构拍扁通过这种 C 语言式的数组思维整个物理磁盘最终在操作系统看来就是一个巨大的、一维的、连续的逻辑块序列逻辑块号0, 1, 2, 3, ..., N文件系统只需要关心这个数组的下标至于这个下标对应的物理位置是在哪一层盘片、哪一个圈那是底层驱动程序该操心的事四、磁盘寻址方式在理解物理结构和逻辑抽象的基础上我们终于触及核心问题操作系统如何向磁盘指定需要读取的数据位置1. CHS 寻址在早期操作系统直接按照磁盘的物理构造来找地址这就是CHS 寻址C (Cylinder)柱面号第几个圆环H (Head)磁头号哪一层盘面S (Sector)扇区号圆环上的哪一段CHS 的致命缺点随着技术的发展CHS 这种办法逐渐被淘汰容量瓶颈早期的 BIOS 留给 CHS 的位数非常有限。比如扇区号通常只有 6 位磁头 8 位柱面 10 位。这导致 CHS 寻址下磁盘容量被限制在512MB或8.4GB左右兼容性极差每次硬件结构一变比如盘片密度增加了操作系统就得跟着改代码维护成本极高计算繁琐上层软件被迫去理解机械结构这违反了计算机科学中层级解耦的原则2. LBA 寻址为了解决 CHS 的问题LBALogical Block Addressing应运而生。它是现代操作系统管理磁盘的绝对标准核心逻辑抽象为一维数组LBA 的核心思想只把整个磁盘看成一个巨大的、连续的一维数组磁盘上的每一个扇区都被分配了一个唯一的编号逻辑地址从 0 开始一直到 N这个编号被称为LBA 地址当你使用 LBA 寻址时操作系统发出的指令不再是 去第 3 柱面第 5 磁头而是读取 1024 号逻辑块CHS 与 LBA 的转换虽然操作系统只用 LBA但底层的磁盘控制器Disk Controller内部依然有一套算法把 LBA 线性地址快速转换回物理的 CHS 坐标预设参数每柱面磁头数即总盘面数每磁道扇区数1CHS转换为LBALBA的起始编号通常为 0而物理扇区 s 的编号通常从 1 开始2LBA转换为CHS通过余数和商运算可以反向求出物理坐标计算实例假设某磁盘的硬件参数如下每个柱面有 16 个磁头 (HPC 16)每个磁道有 63 个扇区 (SPT 63)实例一已知物理地址求 LBA已知一个数据块位于第 10 柱面第 5 磁头第 1 扇区即 CHS(10, 5, 1)计算过程计算柱面偏移计算磁头偏移计算扇区偏移相加得出结果结论该扇区的逻辑地址LBA为10395实例二已知 LBA 求物理地址已知操作系统要求读取 LBA 1000 的数据块求其物理位置计算过程求柱面号 c求磁头号 h求扇区号 s结论c 0h 15s 56该数据块在物理磁盘上的坐标为 CHS(0, 15, 56)通过这种线性映射操作系统可以将原本复杂的机械磁盘抽象为一个巨大的、可随机访问的一维数组五、从磁盘到文件系统磁盘在逻辑上可视为一个一维数组直接对原始数据进行读写操作则太过原始我们需要通过文件系统实现规范化、高效化的数据管理1. 为什么需要文件系统如果面对一块刚出厂的磁盘能看到的只有一个编号从0到N的逻辑块数组LBA没有文件名想存一张照片得记住它存在LBA 500到LBA 1200没有目录所有数据混在一起你根本不知道哪里是空的哪里是占用的没有权限谁都能改你的数据磁盘只负责存而不负责管数据。文件系统的出现本质上是为了解决两个问题组织数据将散乱的逻辑块抽象成文件和目录这种人类能理解的结构提供访问方式通过文件名就能定位到那一堆 LBA 块而不必去背数字坐标2. 块的概念虽然磁盘的物理单位是扇区通常是512 字节但操作系统在管理磁盘时并不会直接以扇区为单位为什么要另搞一套块单位操作系统会将连续的几个扇区通常是 8 个扇区组合在一起形成一个逻辑块Block。在现代 Linux 系统中一个块的大小通常是4 KB提高 IO 效率磁盘寻道是机械动作非常慢。一次读4 KB和一次读512 字节的机械开销相差无几。通过打包读取可以极大提升吞吐量简化管理对于几百GB的磁盘如果以512 字节为单位记录使用情况管理表格会变得异常庞大。以4 KB为单位管理负担直接减轻到八分之一在文件系统的世界里数据是按块分配的。即使你只写一个字符文件系统也会给你分配一个完整的4 KB块3. 分区的概念一块物理磁盘往往很大我们通常不希望把所有鸡蛋放在一个篮子里于是就有了分区Partition核心流程磁盘 - 分区 - 文件系统这是一个层层嵌套的关系物理磁盘实实在在的硬件分区在磁盘的开头写入一张分区表将 LBA 空间划分为不同的段比如LBA 0-1000 是 A 区1001-5000 是 B 区格式化创建文件系统在一个具体的分区内按照某种规则如 EXT4、XFS、NTFS写入文件系统的管理元数据如超级块、inode 表等六、inode 与文件本质1. 什么是文件在很多人的直观感觉里文件就是那一串文本或那张图片。但在操作系统的底层视角下文件的定义非常严谨文件 内容Data 属性内容亲手写的代码、存的图片像素点。属性文件的权限、所有者、大小、创建时间、修改时间等在 Linux 中这两部分虽然构成了一个文件但在磁盘上它们是分开存放的。这种分离设计是文件系统高效运行的基石2. inode 的概念既然属性和内容分开存那就需要一个专门的地方来存放属性。这个地方就叫inodeinode 存属性每个文件都有且仅有一个 inode它记录了除了文件名以外几乎所有的文件元数据数据块存内容文件的具体数据被切分成一个个 4KB 的块散落在磁盘的各个角落核心思想分离存储。当你创建一个文件时文件系统会在磁盘的inode 区申请一个空的 inode 填入属性并在Data 区申请若干块来存内容3. inode 的作用如果 inode 只存属性它是怎么找到分散在磁盘各处的数据块的呢1. 定位数据块inode 内部记录了一个特殊的指针数组或者是更复杂的索引树。这些指针指向了存储文件内容的 Data Block 的编号需要读文件时OS 先找到 inodeinode 提供文件数据的物理存储位置第一块在 100 号第二块在 500 号OS 按照 inode 的索引去磁盘读取并组合数据块还原完整的文件内容2. 记录信息inode 负责管理文件的元数据信息。执行ls -l 或 stat命令所显示的文件权限、链接计数、文件大小、时间戳等属性均来源于 inode 中存储的数据3. inode 编号内核将文件名视为便于人类记忆的别名真正识别文件的是inode 编号每个文件在特定的分区内都有一个唯一的inode 编号可以通过 ls -i 查看一个文件的 inode 在内核中是这样定义总结综上所述从磁盘的物理结构出发到扇区、磁道与柱面的组织方式再到 CHS 与 LBA 的寻址模型我们逐步完成了从存储数据到访问数据的认知过渡。在此基础上文件系统作为一层关键抽象将原本无序的磁盘块组织为具有结构和语义的文件与目录其中inode 机制进一步揭示了文件的本质文件并不是简单的数据集合而是由属性与内容分离存储并通过编号进行统一管理的内核对象在下一篇中我们将以 ext 文件系统为例进一步深入文件系统的具体实现重点探讨目录结构、路径解析以及文件查找过程逐步揭开文件系统内部工作的细节