1.2 struct page 与 PFN：VMA 背后的物理存储

本篇目标理解 Linux 如何为每个物理页帧维护元数据struct page以及虚拟地址最终如何落实到物理内存。HMM 的关键创新之一是让设备内存GPU VRAM也拥有struct page从而被内核框架统一管理。1. 从 VMA 到物理页缺失的一环上一篇我们看到VMA 描述了这段虚拟地址可读可写——但它只是一份许可证并没有说数据实际存储在哪里。虚拟地址终究只是一个门牌号真正存放数据的地方是物理内存DRAM 芯片。那么物理内存是如何被组织和管理的内核怎么知道哪块物理内存正在被谁使用、处于什么状态这正是本篇要回答的问题。那么问题来了虚拟地址空间的基本管理单位是 VMA内核管理偌大的物理内存的基本单位是什么呢一个直觉的做法是按字节管理——但物理内存动辄数十 GB逐字节跟踪状态显然不现实。Linux以及几乎所有现代操作系统的做法是将物理内存划分为固定大小的块来管理每个块称为一个页帧Page Frame大小通常为4KB4096 字节。这个4KB 一块就是内存管理的最小粒度。对于每个页帧内核分配一个struct page元数据结构体来记录它的状态谁在用、什么用途、能否回收等。所有struct page排列成一个全局数组memmap通过页帧的编号PFNPage Frame Number直接索引虚拟地址 ──页表下篇详解──→ 物理页帧号PFN──索引──→ struct page元数据 │ └──→ 物理内存中的 4KB 数据2. 物理页帧与 PFN物理内存被划分为固定大小的页帧Page Frame在 x86_64 上默认为 4KB。每个页帧有一个唯一的编号——PFNPage Frame Number物理地址: 0x0000_0000 0x0000_1000 0x0000_2000 ... PFN: 0 1 2 ... 换算关系: 物理地址 PFN × PAGE_SIZE (PAGE_SIZE 4096) PFN 物理地址 PAGE_SHIFT (PAGE_SHIFT 12因为 4096 2^12) 也就是说一个物理地址的低 12 位是页内偏移定位 4KB 页帧内的具体字节 高位部分就是 PFN定位是哪个页帧。右移 12 位正好丢弃页内偏移得到 PFN。内核提供了一组宏来进行转换// include/linux/pfn.h#definePFN_PHYS(x)((phys_addr_t)(x)PAGE_SHIFT)// PFN → 物理地址#definePHYS_PFN(x)((unsignedlong)((x)PAGE_SHIFT))// 物理地址 → PFN// include/asm-generic/memory_model.h#define__pfn_to_page(pfn)(vmemmap(pfn))// PFN → struct page*#define__page_to_pfn(page)((unsignedlong)(page)-(unsignedlong)vmemmap)// struct page* → PFNPFN 是内核中引用物理页的通用语言——页表中存储的是 PFN分配器返回的是 PFN 对应的struct pageHMM 输出的也是 PFN 数组。3. struct page物理页帧的元数据每个物理页帧都有一个对应的struct page它记录了这个页帧当前的使用状态。由于一个页帧在不同时刻可能扮演不同角色页缓存页、匿名页、slab 对象、空闲页、设备页…struct page大量使用 union 来复用空间// include/linux/mm_types.h简化structpage{memdesc_flags_tflags;// 页面状态标志PG_locked, PG_dirty 等union{struct{/* 页缓存 / 匿名页 */structlist_headlru;// LRU 链表节点structaddress_space*mapping;// 所属文件或匿名映射pgoff_tindex;// 文件内偏移页单位unsignedlongprivate;// 私有数据};struct{/* ZONE_DEVICE 页 */void*zone_device_data;// 设备驱动私有数据};struct{/* 复合页尾页 */unsignedlongcompound_info;};// ... 其他角色};union{unsignedintpage_type;// 页面类型typed foliosatomic_t_mapcount;// 被多少个页表映射-1 表示未映射};atomic_t_refcount;// 引用计数0 表示空闲#ifdefCONFIG_MEMCGunsignedlongmemcg_data;// 内存 cgroup 记账#endif};3.1 关键字段解读字段含义HMM 相关性flags页面状态位图locked/dirty/lru/active 等HMM 检查页面是否可迁移_refcount引用计数0 表示正在使用迁移前需等待引用降为预期值_mapcount被多少个 PTE 映射-1未映射反向映射rmap用于迁移时解映射mapping所属的 address_space文件或 anon_vma区分匿名页 vs 文件页lruLRU 链表位置回收算法用迁移时从 LRU 摘除zone_device_dataZONE_DEVICE 页的驱动私有数据GPU 驱动存储设备相关信息3.2 page flags页面的状态机flags字段编码了页面当前的状态常见标志// include/linux/page-flags.h部分enumpageflags{PG_locked,// 页面被锁定I/O 进行中PG_referenced,// 最近被访问过用于 LRU 老化PG_dirty,// 页面内容已修改尚未回写PG_lru,// 在 LRU 链表上PG_active,// 在活跃 LRU 链表上PG_swapcache,// 在 swap cache 中PG_writeback,// 正在回写到磁盘// ...};内核通过PageXxx()/SetPageXxx()/ClearPageXxx()系列宏操作这些标志if(PageDirty(page))// 检查是否脏页SetPageWriteback(page);// 标记正在回写3.3 引用计数与 mapcount_refcount和_mapcount是两个最关键的计数器_refcount引用计数 - 分配时 1 - 每多一个使用者 1页表映射、内核持有、DMA pinning 等 - 降到 0 时释放回伙伴系统 - get_page() / put_page() 操作 _mapcount映射计数 - 初始 -1未被任何页表映射 - 每被一个 PTE 映射 1 - page_mapcount(page) 返回实际映射次数 - 用于反向映射rmap——迁移时需要解除所有映射HMM 与引用计数的关系在页面迁移migrate_vma时内核需要确认页面的引用计数符合预期只有页表映射 隔离引用否则迁移失败。这保证了不会把其他子系统正在使用的页面搬走。4. memmapstruct page 的全局数组系统中所有物理页帧的struct page形成一个逻辑上的大数组称为memmap。PFN 就是这个数组的索引memmap 数组: ┌──────────┬──────────┬──────────┬──────────┬─── │ page[0] │ page[1] │ page[2] │ page[3] │ ... └──────────┴──────────┴──────────┴──────────┴─── PFN0 PFN1 PFN2 PFN3 物理内存: ┌──────────┬──────────┬──────────┬──────────┬─── │ 4KB │ 4KB │ 4KB │ 4KB │ ... └──────────┴──────────┴──────────┴──────────┴─── 0x0000 0x1000 0x2000 0x3000在现代内核中这个数组通过vmemmap虚拟内存映射实现——struct page数组本身被映射到内核虚拟地址空间的一个固定区域使得pfn_to_page(pfn)只需一次加法即可完成// SPARSEMEM_VMEMMAP 模型现代 x86_64 默认staticinlinestructpage*pfn_to_page(unsignedlongpfn){returnvmemmappfn;// 简单的指针算术}vmemmap 是什么它不是一个普通的全局数组而是一个宏指向内核虚拟地址空间中一个预留的固定区域x86_64 上起始于0xffffea0000000000附近。内核启动时会用页表将这个虚拟区域映射到实际存放struct page的物理内存上。这样vmemmap pfn就是一次指针加法——编译器会自动乘以sizeof(struct page)直接得到目标struct page的虚拟地址。对于物理内存中的空洞对应的 vmemmap 区域不会建立映射从而不浪费内存。如果想深入理解这个概念和背后的实现请阅读文末的关联阅读。4.1 内存模型的演进模型特点pfn_to_page 复杂度FLATMEM单一连续数组O(1)直接索引SPARSEMEM按 section 分段O(1)两级查找SPARSEMEM_VMEMMAP虚拟映射O(1)单次加法现代 x86_64 使用SPARSEMEM_VMEMMAP——它既能处理物理内存中的空洞不浪费未用区域的struct page又保持了 O(1) 的转换效率。5. foliostruct page 的现代化封装从 Linux 5.16 开始内核逐步引入folio来替代直接操作struct page。folio 解决的问题是struct page的含义太模糊——同一个指针可能指向一个独立的 4KB 页也可能指向一个复合页compound page的尾页。这导致很多函数不确定自己收到的是头页还是尾页。内核开发者选择这个名字是因为 folio 在印刷术语中指一整张纸而不是纸的某一面或某一角正好对应它在内核中的语义一个完整的内存单元可能是单个 4KB 页也可能是一个多页的复合页保证你拿到的是整张而不是复合页中的某个尾页碎片。// include/linux/mm_types.hstructfolio{union{struct{memdesc_flags_tflags;structlist_headlru;structaddress_space*mapping;pgoff_tindex;void*private;atomic_t_mapcount;atomic_t_refcount;// ...};structpagepage;// 与 struct page 内存布局兼容};// 大 folio 的额外信息_large_mapcount, _nr_pages 等};folio 的核心保证一个struct folio *一定指向复合页的头页或一个独立的单页。这消除了歧义。旧 APIpage新 APIfolio说明page-mappingfolio-mapping所属文件/匿名映射page_ref_count(page)folio_ref_count(folio)引用计数PageDirty(page)folio_test_dirty(folio)检查脏标志lock_page(page)folio_lock(folio)锁定页面对 HMM 的影响HMM 内部已经在使用 folio API。驱动通过hmm_range_fault()获得的仍然是 PFN 数组但内核内部对这些 PFN 对应的页面操作迁移、锁定等已经使用 folio 接口。6. ZONE_DEVICE让设备内存也拥有 struct page预告传统上只有系统 DRAM 才有struct page。GPU VRAM、持久内存等设备内存对内核是不可见的——没有struct page内核的迁移框架、反向映射等机制都无法作用于它们。HMM 的关键创新之一是通过ZONE_DEVICE机制让设备内存也拥有struct page从而能作为一等公民参与内核框架的各种操作。这个机制的完整实现将在第 11 篇详解这里只需记住一点有了struct page设备内存就能被内核的页面迁移和反向映射框架统一管理——这正是 HMM 实现 CPU ↔ GPU 透明页面迁移的基础。7. PFN 在 HMM 中的角色hmm_range_fault()的核心输出就是一个PFN 数组——每个元素对应请求范围中的一个页面structhmm_range{unsignedlongstart;// 起始虚拟地址unsignedlongend;// 结束虚拟地址unsignedlong*hmm_pfns;// 输出PFN 数组每页一个// ...};输出的每个hmm_pfns[i]编码了PFN 值物理页帧号可以是系统内存或设备内存的 PFN标志位HMM_PFN_VALID该地址已映射HMM_PFN_WRITE可写HMM_PFN_ERROR发生错误// include/linux/hmm.h// HMM PFN 标志定义enumhmm_pfn_flags{HMM_PFN_VALID1UL63,// 地址有效HMM_PFN_WRITE1UL62,// 可写HMM_PFN_ERROR1UL61,// 错误// ...};GPU 驱动从hmm_pfns数组中提取 PFN转换为总线地址然后编程到 GPU 的页表或 IOMMU中——这就完成了让 GPU 访问同一物理页的目标。8. 实验观察 PFN 映射Linux 通过/proc/[pid]/pagemap暴露每个虚拟页对应的 PFN// pagemap_demo.c// 编译: gcc -o pagemap_demo pagemap_demo.c// 运行: sudo ./pagemap_demo#includestdio.h#includestdlib.h#includestring.h#includefcntl.h#includeunistd.h#includestdint.h#includesys/mman.hintmain(void){// 分配并触碰一个页面void*ptrmmap(NULL,4096,PROT_READ|PROT_WRITE,MAP_PRIVATE|MAP_ANONYMOUS,-1,0);memset(ptr,X,4096);// 触发缺页分配物理页// 读取 pagemapintfdopen(/proc/self/pagemap,O_RDONLY);unsignedlongvaddr(unsignedlong)ptr;unsignedlongoffset(vaddr/4096)*8;// 每个条目 8 字节uint64_tentry;lseek(fd,offset,SEEK_SET);read(fd,entry,sizeof(entry));close(fd);if(entry(1ULL63)){// bit 63 presentunsignedlongpfnentry((1ULL55)-1);printf(虚拟地址: %p\n,ptr);printf(PFN: %lu (0x%lx)\n,pfn,pfn);printf(物理地址: 0x%lx\n,pfn*4096);}else{printf(页面未驻留可能被换出或未分配\n);}munmap(ptr,4096);return0;}运行示例需要 root 权限虚拟地址: 0x7f3a00100000 PFN: 524388 (0x80064) 物理地址: 0x80064000这个实验展示了从虚拟地址到 PFN 再到物理地址的完整链路——正是 HMM 内部hmm_range_fault()所做的事情只不过 HMM 在内核态通过遍历页表完成而我们这里是通过/proc/self/pagemap接口观察。9. 与 HMM 的联系回顾全貌struct page和 PFN 是 HMM 工作的核心基础HMM 操作依赖的 struct page / PFN 机制hmm_range_fault()遍历页表提取 PFN返回给驱动页面迁移到设备源页面有 struct page → 迁移框架可工作设备内存有 struct pageZONE_DEVICE 提供 → 迁移回 CPU 时框架可工作反向映射rmap通过 struct page 的 mapping/mapcount 找到所有映射引用计数确保迁移期间没有其他使用者一句话总结struct page让每个物理页帧成为内核框架的一等公民ZONE_DEVICE 把这个身份扩展到了设备内存PFN 是所有操作的通用标识。10. 本篇关键代码路径文件核心内容include/linux/mm_types.hstruct page、struct folio定义include/linux/page-flags.h页面标志位定义PG_locked 等include/linux/pfn.hPFN ↔ 物理地址转换宏include/asm-generic/memory_model.hpfn_to_page()/page_to_pfn()include/linux/memremap.henum memory_type、struct dev_pagemapmm/memremap.cZONE_DEVICE 页面的创建memremap_pages()include/linux/hmm.hHMM PFN 标志定义11. 下篇预告第 3 篇页表——连接虚拟与物理的桥梁我们现在知道了虚拟地址空间VMA和物理页帧struct page / PFN这两端但它们之间靠什么连接答案是页表——一个多级树形结构将虚拟地址翻译为物理地址。下一篇我们将深入五级页表的结构PGD → P4D → PUD → PMD → PTE理解 PTE 中的标志位如何编码页面状态。HMM 的hmm_range_fault()正是通过遍历页表来提取每一页的 PFN——页表是它工作的现场。12. 思考题一个 16GB 内存的系统有多少个struct page每个struct page大约占多少字节总共消耗多少内存用于 memmap为什么_mapcount初始值是 -1 而不是 0GPU VRAM 的struct page存储在哪里提示它不可能存储在 GPU VRAM 自身中如果一个struct page的_refcount为 2、_mapcount为 0可能是什么情况 关联阅读vmemmap 机制详解如何用虚拟地址凭空索引 struct page分析了pfn_to_page/page_to_pfn的实现原理