Linux内核 内存管理 物理内存初始化流程

1.‌ARM64页表初始化流程图

start_kernel()│▼
setup_arch()                     // 架构相关初始化│▼
early_fixmap_init()             // 初始化Fixmap（临时映射设备树等）│▼
arm64_memblock_init()           // 从设备树解析内存布局│▼
arm64_memblock_reserve()        // 保留内核镜像、initrd等区域│▼
paging_init()                   // 核心页表初始化函数├─▶ pgd_set_fixmap()          // 获取swapper_pg_dir的物理地址├─▶ map_kernel()              // 映射内核代码段（.text, .data等）│   ├─▶ __create_pgd_mapping()│   │    ├─▶ PGD → PUD → PMD → 填充大页表项（2MB/1GB）│   │    └─▶ 设置内存属性（如可缓存/设备内存）│├─▶ map_mem()                // 线性映射所有物理内存│   ├─▶ for_each_mem_range()│   └─▶ __create_pgd_mapping()  // 遍历所有内存区域并映射│├─▶ cpu_replace_ttbr1()      // 切换TTBR1寄存器到新页表│   └─▶ load_ttbr1()        // 加载swapper_pg_dir到TTBR1│└─▶ pgd_clear_fixmap()       // 清理临时映射│▼
free_all_bootmem()            // 将内存释放到伙伴系统

‌Fixmap初始化‌ (early_fixmap_init)

建立临时映射，用于访问设备树（DTB）等关键数据。

‌内存探测‌ (arm64_memblock_init)

从设备树解析物理内存布局（如memory@40000000节点）。

‌保留关键区域‌ (arm64_memblock_reserve)

保留内核镜像、initrd、设备树等区域不被分配。

‌页表初始化‌ (paging_init)

‌映射内核代码段‌：将内核的代码段（_text到_end）映射到虚拟地址空间。

‌线性映射物理内存‌：将物理地址0x0到最大物理地址映射到虚拟地址PAGE_OFFSET（如0xffffff8000000000）。

‌使用大页‌：默认使用2MB或1GB大页，减少页表层级。

‌切换页表寄存器‌ (cpu_replace_ttbr1)

将新页表基地址（swapper_pg_dir）写入TTBR1寄存器，完成页表切换。

‌释放内存到伙伴系统‌ (free_all_bootmem)

将memblock中的内存转移到伙伴系统，完成内存管理初始化。

‌关键数据结构

物理内存管理‌：struct page, struct zone, struct pglist_data。

‌分配器‌：伙伴系统（free_area）、SLAB（kmem_cache）。

‌虚拟内存‌：vm_area_struct, mm_struct。

‌页表‌：pgd_t, pte_t等页表项。

‌高级功能‌：反向映射（anon_vma）、内存控制组（mem_cgroup）

2.ARM64架构内存初始化‌

‌文件路径‌: arch/arm64/mm/init.c
‌关键函数‌: bootmem_init() → paging_init()
‌代码逻辑‌:

// ARM64内存初始化流程
void __init bootmem_init(void) {// 1. 从设备树解析内存信息arm64_memblock_init();// 2. 保留内核镜像、initrd等区域arm64_memblock_reserve();// 3. 初始化页表并建立线性映射paging_init();// 4. 将内存释放到伙伴系统free_all_bootmem();}// 页表初始化
void __init paging_init(void) {// 创建swapper_pg_dir页表map_kernel();       // 映射内核代码段map_mem();          // 映射所有物理内存cpu_replace_ttbr1(lm_alias(swapper_pg_dir));}

1.从设备树解析内存布局‌ → 2. ‌保留关键区域‌ → 3. ‌初始化memblock‌ → 4. ‌线性映射物理内存‌ → 5. ‌移交内存到伙伴系统‌。

1.从设备树解析内存信息

start_kernel()->setup_arch()->setup_machine_fdt()->early_init_dt_scan_nodes()->early_init_dt_scan_memory()

解析“memory”描述的信息从而得到内存的base_address和size信息，最后内存块信息通过early_init_dt_add_memory_arch ()->memblock_add()函数添加到memblock子系统中。

start_kernel()→ setup_arch(&command_line)→ setup_machine_fdt(__fdt_pointer)   // 解析设备树→ early_init_dt_scan_nodes()→ early_init_dt_scan_memory()    // 扫描设备树中的"memory"节点

2.物理内存映射

在内核使用内存前，需要初始化内核的页表，初始化页表主要在map_lowmem()函数中。在映射页表之前，需要把页表的页表项清零，主要在prepare_page_table()函数中实现。

void __init paging_init(void)
{phys_addr_t pgd_phys = early_pgtable_alloc(); // 分配PGD页表物理内存pgd_t *pgd = pgd_set_fixmap(pgd_phys);       // 临时映射PGD页表到Fixmap区域map_kernel(pgd);                            // 映射内核镜像（代码、数据段等）map_mem(pgd);                               // 线性映射所有物理内存cpu_replace_ttbr1(lm_alias(pgd));           // 切换TTBR1到新页表init_mm.pgd = (pgd_t *)lm_alias(pgd);       // 更新init_mm结构的PGD指针pgd_clear_fixmap();                         // 清除PGD的临时Fixmap映射memblock_free(pgd_phys, PAGE_SIZE);         // 释放临时PGD页表内存cpu_replace_ttbr1(NULL);                    // 确保TTBR1切换完成（屏障操作）
}

关键子函数与操作解析‌

‌1. early_pgtable_alloc()‌

‌作用‌：分配一个物理页用于存储顶级页表（PGD）。

‌实现细节‌：

调用memblock_alloc()从memblock分配器分配一个4KB页。

该页用于存储swapper_pg_dir（内核初始页表）。

‌2. pgd_set_fixmap(pgd_phys)‌

‌作用‌：将物理地址pgd_phys的PGD页表临时映射到内核Fixmap区域。

‌Fixmap区域‌：

一段预定义的虚拟地址空间，用于临时映射物理内存（如页表、设备树等）。

通过fixmap_remap_fdt()等函数使用。

‌3. map_kernel(pgd)‌

‌作用‌：映射内核镜像到虚拟地址空间，包括代码段（.text）、数据段（.data）、BSS段（.bss）等。

‌关键操作‌：

调用__create_pgd_mapping()创建页表项。

使用大页（如2MB或1GB）映射以减少页表层级。

‌映射范围‌：

内核的虚拟地址范围从_text到_end（通过链接脚本定义）。

‌4. map_mem(pgd)‌

‌作用‌：线性映射所有物理内存到内核虚拟地址空间。

‌实现细节‌：

遍历memblock.memory中的所有内存区域。

调用__create_pgd_mapping()为每个区域创建页表项。

物理地址phys → 虚拟地址__phys_to_virt(phys)（如0xffffff8000000000 + phys）。

‌特殊处理‌：

跳过标记为MEMBLOCK_NOMAP的内存区域（如设备树中的no-map属性区域）。

‌5. cpu_replace_ttbr1(pgd)‌

‌作用‌：将新的页表基地址（PGD）加载到TTBR1寄存器，完成页表切换。

‌关键操作‌：

调用load_ttbr1()函数写入TTBR1寄存器。

执行dsb(ishst)和isb()屏障指令确保操作完成。

‌ARM64地址空间划分‌：

‌TTBR0‌：用户空间页表基地址（低地址空间）。

‌TTBR1‌：内核空间页表基地址（高地址空间）。

‌6. pgd_clear_fixmap()‌

‌作用‌：清除PGD页表的Fixmap临时映射，释放Fixmap区域供后续使用。

‌页表映射的底层操作（__create_pgd_mapping）‌

map_kernel() 和 map_mem() 最终调用 __create_pgd_mapping() 创建页表项。其核心流程如下：

‌遍历页表层级‌：PGD → P4D → PUD → PMD → PTE。

‌分配页表页‌：若中间页表不存在，则分配物理页并填充。

‌设置页表项‌：

大页映射（如2MB或1GB）直接设置PMD或PUD项。

普通页映射（4KB）需要填充PTE项。

‌设置内存属性‌：

内核代码段：可执行、可读、不可写（MT_NORMAL）。

设备内存：不可缓存、不可执行（MT_DEVICE_nGnRnE）。

‌关键数据结构‌

‌pgd_t‌：顶级页表项（Page Global Directory）。

‌pud_t‌：页上级目录（Page Upper Directory）。

‌pmd_t‌：页中间目录（Page Middle Directory）。

‌pte_t‌：页表项（Page Table Entry）。

3.初始化页表paging_init

// arch/arm64/mm/mmu.c
void __init paging_init(void) {// 初始化swapper_pg_dirpgd_t *pgdp = pgd_set_fixmap(__pa_symbol(swapper_pg_dir));map_kernel(pgdp);          // 映射内核代码/数据map_lowmem();              // 映射低端内存pgd_clear_fixmap();// ... 其他映射（如vmalloc、固定映射等）}

在 C 语言阶段（start_kernel → setup_arch → paging_init），内核构建完整的页表，取代临时页表。

‌关键步骤‌：

‌

1.初始化 swapper_pg_dir‌：

正式内核页表基址，替代临时页表 init_pg_dir。

pgd_t *swapper_pg_dir = (pgd_t *)__pa_symbol(init_pg_dir); // 早期共享临时页表

2.映射内核代码和数据（map_kernel）：

将内核镜像（_text 到 _end）映射到虚拟地址空间（可能包含 KASLR 偏移）。

__create_pgd_mapping(swapper_pg_dir, kernel_start, __phys_to_virt(kernel_start),

                     kernel_end - kernel_start, PAGE_KERNEL_ROX, NO_BLOCK_MAPPINGS);

‌3.线性映射低端内存‌（map_lowmem）：

建立物理内存的线性直接映射（VA = PA + PAGE_OFFSET），覆盖所有可用内存区域。

for_each_memblock(memory, reg) {

    __create_pgd_mapping(swapper_pg_dir, reg->base, __phys_to_virt(reg->base),

                         reg->size, PAGE_KERNEL, NO_CONT_MAPPINGS);

}

‌

4.特殊区域映射‌：

‌vmalloc 区域‌：预留虚拟地址空间（VMALLOC_START 到 VMALLOC_END），动态分配时填充页表。

‌固定映射（Fixmap）‌：用于临时映射设备寄存器（如 earlycon 串口）。

‌IO 映射‌：通过 ioremap 将设备内存映射到内核空间。

‌

5.切换至正式页表‌：

更新 TTBR1_EL1 指向 swapper_pg_dir，刷新 TLB 和缓存

cpu_replace_ttbr1(lm_alias(swapper_pg_dir), init_mm.context.asid);

6.流程简要：

启动（物理地址模式）│├─ 汇编阶段（head.S）│   ├─ 配置控制寄存器（TCR_EL1, MAIR_EL1）│   ├─ 分配临时页表（init_pg_dir）│   └─ 创建恒等映射（内核镜像、页表自身、FDT）│├─ 启用 MMU（设置 SCTLR_EL1.M）│└─ C 语言阶段（paging_init）├─ 初始化 swapper_pg_dir├─ 映射内核代码（map_kernel）├─ 线性映射低端内存（map_lowmem）├─ 映射特殊区域（Fixmap、vmalloc）└─ 切换至正式页表（TTBR1_EL1）

                           

5.zone的初始化

Zone初始化在内核启动过程中完成，主要分为以下阶段：

1.物理内存探测

设备树/ACPI解析‌：从设备树（DTB）或ACPI表中获取物理内存布局。

‌memblock初始化‌：通过memblock_add()和memblock_reserve()标记可用和保留的内存区域。

‌关键函数‌：

start_kernel()

  → setup_arch()

    → arm64_memblock_init()  // 解析设备树，初始化memblock

2. 内存区域划分（Zone划分）‌

‌确定各Zone的物理地址范围‌：

‌ZONE_DMA‌：通常为物理地址0x0到某个上限（如4GB）。

‌ZONE_NORMAL‌：剩余物理内存。

‌关键函数‌：

bootmem_init()

  → zone_sizes_init()  // 计算各Zone的起始页号和页数

‌ARM64实现‌：

// arch/arm64/mm/init.c
void __init zone_sizes_init(void) {unsigned long max_zone_pfn[MAX_NR_ZONES] = {0};// 遍历所有内存区域，确定各Zone的最大页号for_each_memblock(memory, reg) {phys_addr_t start = reg->base;phys_addr_t end = start + reg->size;unsigned long start_pfn = PFN_DOWN(start);unsigned long end_pfn = PFN_DOWN(end);if (start_pfn < max_dma_pfn)max_zone_pfn[ZONE_DMA] = max(max_zone_pfn[ZONE_DMA], end_pfn);elsemax_zone_pfn[ZONE_NORMAL] = max(max_zone_pfn[ZONE_NORMAL], end_pfn);}// 调用free_area_init()初始化Zonefree_area_init(max_zone_pfn);}

3. Zone数据结构初始化‌

‌关键函数‌：free_area_init_node()

为每个NUMA节点（Node）初始化其包含的Zone。

分配并初始化struct zone和struct pglist_data（Node描述符）。

‌

流程‌：

‌分配pglist_data结构‌：描述一个NUMA节点的内存信息。

‌初始化Zone的free_area‌：伙伴系统的空闲链表。

‌计算水位线（Watermark）‌：min, low, high，用于内存回收和分配策略。

‌初始化每CPU页面集（Per-CPU Pageset）‌：加速单页分配。

‌

代码路径‌：

free_area_init()

  → free_area_init_node(0, max_zone_pfn, ...)  // 单NUMA节点

    → calculate_node_totalpages()   // 计算Node的总页面数

→ free_area_init_core()         // 初始化每个Zone

4. 伙伴系统（Buddy System）初始化‌

‌将memblock内存释放到伙伴系统‌：

调用memblock_free_all()将memblock管理的可用内存释放到伙伴系统的空闲链表中。

‌关键函数‌：

    mem_init()

  → memblock_free_all()  // 释放所有未被保留的内存到伙伴系统

    → free_low_memory_core_early()

      → __free_memory_core()  // 按页释放到伙伴系统

‌

5.关键数据结构‌

‌

1. struct zone‌

描述一个内存区域的核心属性：

struct zone {

    unsigned long watermark[NR_WMARK];  // 内存水位线（min, low, high）

    struct free_area free_area[MAX_ORDER]; // 伙伴系统的空闲块链表

    spinlock_t lock;                    // 并发锁

    unsigned long managed_pages;        // 被伙伴系统管理的页面数

    const char *name;                   // Zone名称（如"DMA"）

    // 统计信息（活跃页、非活跃页等）

};

‌

2. struct pglist_data（pg_data_t）‌‌

描述一个NUMA节点的内存布局：

typedef struct pglist_data {

    struct zone node_zones[MAX_NR_ZONES]; // 节点包含的Zone

    struct zonelist node_zonelists[MAX_ZONELISTS]; // 备用Zone列表（分配回退）

    int nr_zones;                        // Zone数量

    unsigned long node_start_pfn;        // 节点的起始物理页号

    unsigned long node_spanned_pages;    // 节点总物理页数（含空洞）

    unsigned long node_present_pages;    // 实际可用物理页数（不含空洞）

    // 其他统计信息和锁

} pg_data_t;