深入剖析 memblock：Linux 内核早期内存管理的核心机制

1. memblockLinux内核启动时的临时工刚接触Linux内核开发的朋友可能会好奇在系统启动的最初阶段伙伴系统Buddy System还没准备好接管内存管理时内核是如何分配内存的这就不得不提到我们今天的主角——memblock。这个看似简单的内存分配器在内核启动过程中扮演着关键角色。我刚开始研究内核启动流程时发现memblock就像是个临时工。它在系统启动早期负责收集和管理物理内存等伙伴系统这个正式工上岗后就把所有工作交接出去自己功成身退。这种设计非常巧妙既解决了启动阶段的内存管理需求又不会给后续系统运行带来额外负担。memblock的工作流程可以简单概括为三个步骤收集从设备树、BIOS-e820等不同来源获取物理内存信息管理在启动阶段提供内存分配、预留等功能交接将可用内存全部释放给伙伴系统后自行退出2. memblock的接口设计简单却强大2.1 内存管理的基础操作memblock提供的接口可以分为四大类每类都有其特定的用途。让我用一个实际项目中的例子来说明在为嵌入式设备移植Linux内核时我们需要预留一段内存给专用硬件使用。这时就会用到memblock_reserve接口// 预留从0x30000000开始的16MB内存 memblock_reserve(0x30000000, 0x1000000);这个简单的调用就能确保这段内存不会被其他代码意外使用。类似的常用接口还有内存添加memblock_add内存移除memblock_remove内存分配memblock_alloc内存释放memblock_free2.2 内存分配的艺术memblock的内存分配接口设计得非常灵活。以memblock_alloc_range为例phys_addr_t memblock_alloc_range(phys_addr_t size, phys_addr_t align, phys_addr_t start, phys_addr_t end, enum memblock_flags flags);这个接口允许你指定要分配的内存大小size对齐要求align分配范围start-end特殊标志flags我曾经在一个项目中遇到需要从特定地址范围分配对齐内存的情况这个接口就派上了大用场。值得注意的是如果align参数为0内核会默认使用SMP_CACHE_BYTES在aarch64上是64字节作为对齐值并发出警告。2.3 遍历内存域memblock提供了多种遍历内存域的方法这对于系统初始化阶段的内存映射特别有用。例如#define for_each_free_mem_range(i, nid, flags, p_start, p_end, p_nid) \ for_each_mem_range(i, memblock.memory, memblock.reserved, \ nid, flags, p_start, p_end, p_nid)这个宏会遍历所有可用的内存区域自动避开预留区域。在内核启动过程中正是通过这些遍历接口完成了线性映射等重要工作。3. memblock的内部数据结构剖析3.1 核心数据结构关系memblock的内部数据结构设计得非常精妙。核心是三个层级struct memblock全局管理器struct memblock_type内存类型分类struct memblock_region具体内存区域这种层级设计使得内存管理既清晰又高效。让我用一个生活中的例子来比喻memblock就像一个大仓库struct memblock里面分成了几个区域struct memblock_type每个区域又摆放着不同大小的货物struct memblock_region。3.2 关键数据结构详解struct memblock是最高层的管理结构struct memblock { bool bottom_up; // 分配方向 phys_addr_t current_limit; // 当前分配限制 struct memblock_type memory; // 所有内存 struct memblock_type reserved; // 预留内存 #ifdef CONFIG_HAVE_MEMBLOCK_PHYS_MAP struct memblock_type physmem; // 物理内存映射 #endif };其中memory和reserved的关系特别重要memory记录所有物理内存reserved记录已被占用的内存。当需要分配内存时memblock会从memory中找但要避开reserved区域。3.3 内存区域属性每个内存区域都有丰富的属性标记enum memblock_flags { MEMBLOCK_NONE 0x0, // 默认值 MEMBLOCK_HOTPLUG 0x1, // 可热插拔 MEMBLOCK_MIRROR 0x2, // 镜像区域 MEMBLOCK_NOMAP 0x4, // 不添加到内核直接映射 };这些属性在内核启动过程中被广泛使用。比如MEMBLOCK_NOMAP标记的内存区域不会被映射到线性地址空间这在处理特殊硬件寄存器时非常有用。4. memblock的核心算法逻辑4.1 内存区域的合并与裁剪memblock在处理内存区域时有两个关键操作合并相邻区域和裁剪超出限制的区域。合并操作主要发生在以下情况添加新内存区域时修改内存区域属性时合并算法会检查相邻区域是否地址连续属于同一个NUMA节点具有相同属性标记如果满足条件就会将它们合并为一个更大的区域。这个过程就像把相邻的空地合并成一块更大的土地便于后续管理。4.2 动态数组扩容机制memblock使用静态定义的数组来存储内存区域信息但设计时考虑到了动态扩容的需求static int __init_memblock memblock_double_array(struct memblock_type *type, phys_addr_t new_area_start, phys_addr_t new_area_size) { // 1. 检查是否允许扩容 // 2. 计算新旧数组大小 // 3. 尝试分配新数组 // 4. 拷贝数据到新数组 // 5. 释放旧数组 // 6. 预留新数组占用的内存 }这个扩容过程虽然看起来简单但在内核启动早期阶段实现起来却很有挑战性因为这时还没有完整的动态内存管理机制可用。4.3 内存分配的核心算法memblock_find_in_range_node是内存分配的核心函数它实现了两种分配策略自底向上分配适合普通内存自顶向下分配适合特殊需求算法会根据以下因素选择最佳策略当前分配方向设置bottom_up内核镜像位置请求的分配范围我曾经遇到过一个性能问题通过调整分配策略将关键数据结构的分配方向改为自顶向下获得了明显的性能提升。5. memblock在ARM64启动过程中的应用5.1 内存的初始扫描与添加在ARM64架构中memblock的初始化始于设备树解析。内核会扫描设备树中的memory节点获取系统物理内存信息early_init_dt_scan_memory() { // 1. 查找memory类型节点 // 2. 读取linux,usable-memory或reg属性 // 3. 解析内存范围和属性 // 4. 调用memblock_add添加内存 // 5. 处理热插拔标记 }这个过程就像系统启动时做的人口普查先搞清楚自己有多少家底内存资源。5.2 内存预留的关键步骤在arm64_memblock_init函数中内核会进行一系列关键的内存预留操作保留内核镜像占用的内存处理initrd内存区域保留线性映射无法覆盖的内存处理命令行指定的内存限制保留crash kernel使用的内存这些预留操作确保了关键系统资源不会被普通内存分配占用就像在仓库中提前划出特定区域存放重要物资。5.3 从memblock到伙伴系统的过渡当伙伴系统准备就绪后内核会调用memblock_free_all释放所有可用内存void __init memblock_free_all(void) { // 遍历所有空闲内存区域 for_each_free_mem_range(i, NUMA_NO_NODE, MEMBLOCK_NONE, start, end, NULL) { // 将内存释放给伙伴系统 __free_memory_core(start, end); } }这个过程就像把临时仓库中的货物移交给正式仓库管理系统。之后memblock的使命就基本完成了但它保留的数据结构仍会被用于一些特殊检查比如pfn_valid判断物理页框是否有效。通过深入分析memblock的设计与实现我们不仅能更好地理解Linux内核启动过程还能从中学习到优秀的内存管理设计思想。这些知识对于内核开发、系统调优以及解决内存相关的问题都非常有帮助。