05 - AMDGPU中的VRAM管理器

难度: 进阶级预计学习时间: 60分钟前置知识: 04-drm_buddy核心数据结构详解 概述AMDGPU VRAM Manager是Buddy分配器和TTM框架之间的桥梁集成层: 将Buddy嵌入到TTM资源管理框架统计层: 追踪VRAM使用情况和分配统计策略层: 处理对齐、范围、连续性等分配策略并发控制: 使用互斥锁保护Buddy操作本章深入分析VRAM Manager的实现理解它如何协调各个组件。5.1 struct amdgpu_vram_mgr 结构完整定义// drivers/gpu/drm/amd/amdgpu/amdgpu_vram_mgr.cstructamdgpu_vram_mgr{structttm_resource_managermanager;// 继承TTM资源管理器structdrm_buddymm;// ← Buddy分配器实例structmutexlock;// 保护并发访问u64 default_page_size;// 默认页大小atomic64_tvis_usage;// Visible VRAM使用量structlist_headreservations_pending;// 待处理的预留structlist_headreserved_pages;// 已预留的页面structlist_headallocated_vres_list;// 已分配资源列表};// VRAM资源结构structamdgpu_vram_mgr_resource{structttm_resourcebase;// TTM资源基类structlist_headblocks;// Buddy分配的块链表unsignedlongflags;// 分配标志struct{pid_tpid;// 分配进程PIDcharcomm[TASK_COMM_LEN];// 进程名}task;// 用于调试追踪structlist_headvres_node;// 链入allocated_vres_list};字段详解1. manager - TTM资源管理器接口structttm_resource_managermanager;// 初始化时设置回调函数mgr-manager.funcamdgpu_vram_mgr_func;// TTM通过这个接口调用VRAM Managerstaticconststructttm_resource_manager_funcamdgpu_vram_mgr_func{.allocamdgpu_vram_mgr_new,// 分配接口.freeamdgpu_vram_mgr_del,// 释放接口.debugamdgpu_vram_mgr_debug,// 调试接口};2. mm - Buddy分配器实例structdrm_buddymm;// 这是核心VRAM Manager使用mm管理所有VRAM// 所有分配最终调用: drm_buddy_alloc_blocks(mgr-mm, ...)// 所有释放最终调用: drm_buddy_free_list(mgr-mm, ...)3. lock - 并发保护structmutexlock;// 为什么需要锁// - Buddy数据结构不是线程安全的// - 多个CPU核心可能同时分配/释放VRAM// - 需要保证操作的原子性// 使用模式mutex_lock(mgr-lock);drm_buddy_alloc_blocks(mgr-mm,...);// 操作Buddymutex_unlock(mgr-lock);4. vis_usage - Visible VRAM统计atomic64_tvis_usage;// 追踪Visible VRAM的使用量// Visible VRAM是CPU可直接访问的区域通常很小// 更新使用量if(block_in_visible_range(block)){atomic64_add(size,mgr-vis_usage);}// 查询使用量u64amdgpu_vram_mgr_vis_usage(structamdgpu_vram_mgr*mgr){returnatomic64_read(mgr-vis_usage);}5.2 与DRM Buddy的集成初始化流程// drivers/gpu/drm/amd/amdgpu/amdgpu_vram_mgr.cintamdgpu_vram_mgr_init(structamdgpu_device*adev){structamdgpu_vram_mgr*mgradev-mman.vram_mgr;structttm_resource_manager*manmgr-manager;// 1. 初始化互斥锁mutex_init(mgr-lock);// 2. 初始化链表INIT_LIST_HEAD(mgr-reservations_pending);INIT_LIST_HEAD(mgr-reserved_pages);INIT_LIST_HEAD(mgr-allocated_vres_list);// 3. 获取VRAM大小u64 vram_sizeadev-gmc.real_vram_size;u64 chunk_sizePAGE_SIZE;// 4KB// 4. 初始化Buddy分配器 ← 关键步骤drm_buddy_init(mgr-mm,vram_size,chunk_size);// 5. 设置默认页大小#ifdefCONFIG_TRANSPARENT_HUGEPAGEmgr-default_page_sizeHPAGE_PMD_SIZE;// 2MB#elsemgr-default_page_size2UL20;// 2MB#endif// 6. 初始化TTM资源管理器ttm_resource_manager_init(man,adev-mman.bdev,vram_size);man-funcamdgpu_vram_mgr_func;// 7. 注册到TTMttm_set_driver_manager(adev-mman.bdev,TTM_PL_VRAM,man);ttm_resource_manager_set_used(man,true);return0;}初始化后的状态amdgpu_device └── mman (memory manager) └── vram_mgr ├── manager (TTM接口) │ └── func amdgpu_vram_mgr_func │ ├── mm (Buddy实例) │ ├── free_list[0..max_order] │ ├── roots[] │ ├── size 8GB │ └── chunk_size 4KB │ ├── lock (互斥锁) └── allocated_vres_list (空)清理流程voidamdgpu_vram_mgr_fini(structamdgpu_device*adev){structamdgpu_vram_mgr*mgradev-mman.vram_mgr;structttm_resource_manager*manmgr-manager;// 1. 从TTM注销ttm_resource_manager_set_used(man,false);ttm_set_driver_manager(adev-mman.bdev,TTM_PL_VRAM,NULL);// 2. 清理Buddy分配器drm_buddy_fini(mgr-mm);// 3. 清理TTM资源管理器ttm_resource_manager_cleanup(man);// 4. 销毁互斥锁mutex_destroy(mgr-lock);}5.3 分配统计和跟踪资源分配// TTM调用的分配接口staticintamdgpu_vram_mgr_new(structttm_resource_manager*man,structttm_buffer_object*tbo,conststructttm_place*place,structttm_resource**res){structamdgpu_vram_mgr*mgrto_vram_mgr(man);structamdgpu_bo*bottm_to_amdgpu_bo(tbo);structamdgpu_vram_mgr_resource*vres;u64 sizetbo-base.size;u64 min_block_size;unsignedlongpages_per_block;// 1. 创建资源对象vreskzalloc(sizeof(*vres),GFP_KERNEL);// 2. 初始化资源ttm_resource_init(tbo,place,vres-base);INIT_LIST_HEAD(vres-blocks);// 3. 设置分配标志vres-flags0;if(place-flagsTTM_PL_FLAG_TOPDOWN)vres-flags|DRM_BUDDY_TOPDOWN_ALLOCATION;if(bo-flagsAMDGPU_GEM_CREATE_VRAM_CONTIGUOUS)vres-flags|DRM_BUDDY_CONTIGUOUS_ALLOCATION;if(bo-flagsAMDGPU_GEM_CREATE_VRAM_CLEARED)vres-flags|DRM_BUDDY_CLEAR_ALLOCATION;// 4. 计算页大小和对齐if(bo-flagsAMDGPU_GEM_CREATE_VRAM_CONTIGUOUS){pages_per_block~0ul;// 无限大强制连续}else{pages_per_blockHPAGE_PMD_NR;// 2MB huge pagepages_per_blockmax_t(u32,pages_per_block,tbo-page_alignment);}// 5. 执行Buddy分配mutex_lock(mgr-lock);u64 fpfnplace-fpfnPAGE_SHIFT;// 起始地址u64 lpfnplace-lpfnPAGE_SHIFT;// 结束地址if(tbo-page_alignment)min_block_sizetbo-page_alignmentPAGE_SHIFT;elsemin_block_sizemgr-default_page_size;// 调用Buddy分配drm_buddy_alloc_blocks(mgr-mm,fpfn,lpfn?lpfn:mgr-mm.size,size,min_block_size,vres-blocks,vres-flags);// 6. 记录分配信息用于调试vres-task.pidtask_pid_nr(current);get_task_comm(vres-task.comm,current);list_add_tail(vres-vres_node,mgr-allocated_vres_list);mutex_unlock(mgr-lock);// 7. 计算起始PFNvres-base.startcalculate_start_pfn(vres);// 8. 更新Visible VRAM统计update_vis_usage(mgr,vres,true);*resvres-base;return0;}资源释放staticvoidamdgpu_vram_mgr_del(structttm_resource_manager*man,structttm_resource*res){structamdgpu_vram_mgr*mgrto_vram_mgr(man);structamdgpu_vram_mgr_resource*vres;vresto_amdgpu_vram_mgr_resource(res);// 1. 更新Visible VRAM统计update_vis_usage(mgr,vres,false);mutex_lock(mgr-lock);// 2. 从分配列表移除list_del(vres-vres_node);// 3. 释放所有Buddy块drm_buddy_free_list(mgr-mm,vres-blocks,0);mutex_unlock(mgr-lock);// 4. 释放资源对象kfree(vres);}Visible VRAM统计更新// 辅助函数更新Visible VRAM使用量staticvoidupdate_vis_usage(structamdgpu_vram_mgr*mgr,structamdgpu_vram_mgr_resource*vres,bool allocate){structamdgpu_device*adevto_amdgpu_device(mgr);structdrm_buddy_block*block;u64 vis_sizeadev-gmc.visible_vram_size;u64 usage0;// 遍历所有块统计Visible区域的使用量list_for_each_entry(block,vres-blocks,link){u64 startdrm_buddy_block_offset(block);u64 sizedrm_buddy_block_size(mgr-mm,block);// 检查块是否在Visible区域if(startvis_size){// 计算在Visible区域内的部分u64 endstartsize;if(endvis_size)endvis_size;usageend-start;}}// 更新统计if(allocate)atomic64_add(usage,mgr-vis_usage);elseatomic64_sub(usage,mgr-vis_usage);}5.4 VRAM使用率监控Sysfs接口AMDGPU通过sysfs暴露VRAM使用信息// Sysfs属性定义// 总VRAM大小staticssize_tamdgpu_mem_info_vram_total_show(structdevice*dev,structdevice_attribute*attr,char*buf){structamdgpu_device*adevdev_get_drvdata(dev);returnsysfs_emit(buf,%llu\n,adev-gmc.real_vram_size);}// 已使用VRAMstaticssize_tamdgpu_mem_info_vram_used_show(structdevice*dev,structdevice_attribute*attr,char*buf){structamdgpu_device*adevdev_get_drvdata(dev);structttm_resource_manager*manadev-mman.vram_mgr.manager;returnsysfs_emit(buf,%llu\n,ttm_resource_manager_usage(man));}// Visible VRAM总大小staticssize_tamdgpu_mem_info_vis_vram_total_show(structdevice*dev,structdevice_attribute*attr,char*buf){structamdgpu_device*adevdev_get_drvdata(dev);returnsysfs_emit(buf,%llu\n,adev-gmc.visible_vram_size);}// 已使用Visible VRAMstaticssize_tamdgpu_mem_info_vis_vram_used_show(structdevice*dev,structdevice_attribute*attr,char*buf){structamdgpu_device*adevdev_get_drvdata(dev);returnsysfs_emit(buf,%llu\n,amdgpu_vram_mgr_vis_usage(adev-mman.vram_mgr));}// 注册sysfs属性staticDEVICE_ATTR(mem_info_vram_total,S_IRUGO,amdgpu_mem_info_vram_total_show,NULL);staticDEVICE_ATTR(mem_info_vram_used,S_IRUGO,amdgpu_mem_info_vram_used_show,NULL);staticDEVICE_ATTR(mem_info_vis_vram_total,S_IRUGO,amdgpu_mem_info_vis_vram_total_show,NULL);staticDEVICE_ATTR(mem_info_vis_vram_used,S_IRUGO,amdgpu_mem_info_vis_vram_used_show,NULL);使用示例# 查看VRAM信息cd/sys/class/drm/card0/device# 总VRAM容量catmem_info_vram_total# 输出: 8589934592 (8GB)# 已使用VRAMcatmem_info_vram_used# 输出: 2147483648 (2GB)# Visible VRAM容量catmem_info_vis_vram_total# 输出: 268435456 (256MB)# 已使用Visible VRAMcatmem_info_vis_vram_used# 输出: 134217728 (128MB)Debugfs接口更详细的调试信息通过debugfs提供// drivers/gpu/drm/amd/amdgpu/amdgpu_vram_mgr.cstaticvoidamdgpu_vram_mgr_debug(structttm_resource_manager*man,structdrm_printer*p){structamdgpu_vram_mgr*mgrto_vram_mgr(man);structamdgpu_device*adevto_amdgpu_device(mgr);structdrm_buddy*mmmgr-mm;structamdgpu_vram_mgr_resource*vres;mutex_lock(mgr-lock);// 打印整体统计drm_printf(p,man size:%llu MiB\n,man-size20);drm_printf(p,man usage:%llu MiB\n,ttm_resource_manager_usage(man)20);drm_printf(p,man available:%llu MiB\n,(man-size-ttm_resource_manager_usage(man))20);// 打印Buddy状态drm_buddy_print(mm,p);// 打印每个分配的详细信息drm_printf(p,\nAllocated resources:\n);list_for_each_entry(vres,mgr-allocated_vres_list,vres_node){structdrm_buddy_block*block;drm_printf(p, PID:%d COMM:%s SIZE:%lluMB\n,vres-task.pid,vres-task.comm,vres-base.size20);// 打印块信息list_for_each_entry(block,vres-blocks,link){drm_printf(p, Block: offset0x%llx size%lluKB order%u\n,drm_buddy_block_offset(block),drm_buddy_block_size(mm,block)10,drm_buddy_block_order(block));}}mutex_unlock(mgr-lock);}Debugfs使用示例# 查看详细的VRAM管理器状态cat/sys/kernel/debug/dri/0/amdgpu_vram_mm# 输出示例:# man size:8192 MiB# man usage:2048 MiB# man available:6144 MiB## buddy_mm size:8589934592# buddy_mm available:6442450944## Allocated resources:# PID:1234 COMM:glxgears SIZE:64MB# Block: offset0x10000000 size65536KB order14# PID:1235 COMM:vkcube SIZE:128MB# Block: offset0x20000000 size131072KB order15# ... 重点提示VRAM Manager是桥梁: 连接TTM框架和Buddy算法负责协调和策略。Buddy是引擎: 实际的分配算法由Buddy完成VRAM Manager只是调用者。互斥锁是关键: 所有Buddy操作必须在锁保护下确保线程安全。统计信息重要: Visible VRAM使用量、分配追踪等对调试和优化很有帮助。sysfs vs debugfs: sysfs提供基本统计debugfs提供详细调试信息。资源追踪: 记录每个分配的PID和进程名便于追踪内存泄漏。⚠️ 常见陷阱❌陷阱1: “直接调用drm_buddy API”✅ 正确: 应该通过TTM接口让VRAM Manager协调分配。❌陷阱2: “忘记更新vis_usage”✅ 正确: 分配/释放Visible区域的块时必须更新vis_usage统计。❌陷阱3: “在锁外操作Buddy”✅ 正确: 所有drm_buddy_*调用都必须在mgr-lock保护下。❌陷阱4: “混淆总VRAM和Visible VRAM”✅ 正确: 它们是不同的区域统计和限制都不同。 实践练习查看实际VRAM使用# 在你的系统上查看VRAM信息cd/sys/class/drm/card0/deviceechoTotal VRAM:$(catmem_info_vram_total)bytesechoUsed VRAM:$(catmem_info_vram_used)bytesechoVisible VRAM:$(catmem_info_vis_vram_total)bytesechoUsed Visible:$(catmem_info_vis_vram_used)bytes# 计算使用率分析分配追踪# 查看哪些进程分配了VRAMcat/sys/kernel/debug/dri/0/amdgpu_vram_mm# 找出最大的分配# 分析是否有内存泄漏模拟分配场景// 设计一个分配场景// 场景: 游戏启动// 1. 分配 512MB 纹理 (可以不连续)// 2. 分配 8MB framebuffer (必须连续, Visible区域)// 3. 分配 256MB compute buffer (可以不连续)// 计算:// - 每个分配调用drm_buddy_alloc_blocks几次?// - flags参数应该是什么?// - min_block_size应该设置为多少?// - 是否需要指定fpfn/lpfn? 本章小结amdgpu_vram_mgr: TTM和Buddy之间的集成层核心职责: 策略控制、并发保护、统计追踪Buddy集成: 通过mgr-mm调用Buddy API监控接口: sysfs提供基本信息debugfs提供详细调试资源追踪: 记录每个分配的来源便于调试VRAM Manager展示了如何将通用的Buddy算法集成到实际的驱动框架中是理解驱动开发的好例子。➡️ 下一步理解了VRAM Manager的集成方式后下一章将深入Buddy的核心算法——分配算法的实现细节。 06-Buddy分配算法