第四章：TTM分析: 4.1 TTM设计目标和核心概念

身边的朋友都说TTM复杂。TTM 之所以复杂根源在于它需要应对和解决多样化的显存管理需求。只有深入理解这些需求才能真正把握 TTM 的设计思路和实现细节从而理解其复杂性。1. 核心设计目标解决的根本需求TTM被设计出来是为解决 Linux 下异构内存统一管理、动态超配、地址映射与同步的核心问题。其核心目标包括统一管理异构内存域同时管理VRAM显卡高速显存、GTTGPU 可访问的系统内存多种物理内存类型。为驱动提供统一的BOBuffer Object抽象屏蔽硬件差异简化驱动开发。显存动态调度与超配(eviction 机制)当应用显存需求超过物理 VRAM 容量时自动将不活跃的 BO驱逐evict到系统内存TT 域并在需要时迁移回 VRAM。GPU 地址映射与页表支撑为 GPU 页表提供物理地址与缓存属性等关键数据通过ttm_resource描述 BO 的物理位置通过ttm_tt提供 DMA 地址数组与缓存标志WC、UC供驱动填入 GPU 页表GART/GTT 页表实现 CPU/GPU 地址映射BO 迁移时自动触发页表重建并通过dma_resvfence 保证数据搬迁与页表更新的时序一致性。理解 TTM 的设计目标抓住三个关键词即可多种内存类型、域间迁移、GPU 地址映射。需求摆在这里——不论现有实现是否完美这些问题总要解决。如果你也在做 GPU 驱动开发欢迎分享你们在这些方面的实现思路与实践经验一起交流探讨。TTM的很多结构体都是从GEM的中的继承而来具备了GEM的功能。从这个角度理解TTM是对GEM的扩展。下面梳理 TTM 中的核心结构体及其功能并分析它们之间的关系。2. TTM核心结构体及功能序号结构体名主要功能说明1ttm_deviceTTM 设备对象管理整个显存/系统内存资源包含资源管理器、页池、VMA管理器等。2ttm_device_funcs设备操作函数表定义页分配、迁移、销毁等驱动回调。3ttm_resource_manager资源管理器负责某一类物理内存如 VRAM、GTT、SYSTEM的分配和回收。4ttm_resource_manager_funcTTM资源管理器的“操作函数表”用于定义不同类型内存资源的分配、释放、兼容性判断等核心操作。驱动可以通过实现这些函数来定制具体的资源管理策略。5ttm_buffer_object缓冲区对象BO代表一块可被 GPU/CPU 访问的内存区域是 TTM 的核心抽象。6ttm_resource物理资源描述体记录 BO 实际分配到的物理内存类型、起始地址、大小等。7ttm_tt页表抽象管理 BO 在系统内存场景下的页分配、DMA 映射等。8ttm_placement分配策略描述 BO 可被放置在哪些物理域及优先级。9ttm_pool页池管理器优化系统页分配和释放效率。10ttm_range_mgr_node区间分配节点管理 GTT/TT 资源分配的页区间。11ttm_globalTTM 全局数据管理所有设备和 BO 统计信息。3. 结构体间关系分析先用结构关系图展示下整体关系[ttm_device] | |--[ttm_resource_manager]---[ttm_resource]---[ttm_buffer_object] | | | |--[ttm_range_mgr_node] (GTT/TT场景) | |--[ttm_tt] (系统内存页表) | |--[ttm_pool] (页池) |--[drm_vma_offset_manager] (VMA管理)顶层管理ttm_devicettm_device管理整个显卡的显存和系统内存资源。包含多个ttm_resource_manager每个类型或用途一个manager如 VRAM、GTT、SYSTEM通过man_drv[]数组索引。资源分配ttm_resource_manager ttm_resourcettm_resource_manager负责某一类物理内存的分配和回收。每个 BO 分配到的物理资源由一个ttm_resource结构体描述记录类型、地址、大小等。缓冲区对象ttm_buffer_objectttm_buffer_object是 TTM 的核心代表一个显存对象。通过bo-resource指针关联实际分配到的ttm_resource。通过bo-bdev指向所属的ttm_device。分配策略ttm_placementBO 创建或迁移时驱动通过ttm_placement指定分配策略如优先 VRAM次选 GTT。页表管理ttm_tt当 BO 位于系统内存GTT时ttm_tt管理其页分配和 DMA 映射。ttm_tt通过pages数组记录所有物理页dma_address数组记录 DMA 地址。页池优化ttm_poolttm_pool提供页池机制优化系统页分配和释放提升性能。区间分配ttm_range_mgr_nodeGTT场景下ttm_range_mgr_node记录分配到的页区间便于页表填充和物理地址管理。这个是ttm模块自带的一个管理实现对应的管理器是下面的ttm_range_manager可以看出该结构体集成了ttm_resource_manager和drm_mm该结构体的定义在.c文件中所以不对外开放对外接口就是ttm_range_mgr_node。全局管理ttm_globalttm_global维护所有设备、BO 统计和 dummy 页等全局信息。4. 常见理解误区误区GTT 内存不需要ttm_resource有人认为 GTT 只是普通系统内存BO 分配在 GTT 时不需要ttm_resource。这个理解是错误的。ttm_resource是 TTM 对任何内存域分配结果的统一抽象——它不关心底层是 VRAM 还是 GTT只要 BO 占用了某类地址空间就必须有ttm_resource作为占用凭证。GTT 分配的本质是向TTM_PL_TT域的资源管理器申请一段地址范围ttm_resource记录该范围的起始位置、大小和所属域。没有它TTM 的迁移、驱逐等机制都无法工作。不同域的ttm_resource实现不同但抽象统一内存域ttm_resource的具体实现管理策略VRAMttm_buddy_resourcebuddy 分配GTT/TTttm_range_mgr_node区间分配一句话只要 BO 有物理落点就有ttm_resource无一例外。这正是第1部分所述统一管理异构内存域这一设计目标的直接体现。记忆要点ttm_resource 是 “地址 / 内存占用凭证”GTT 作为独立地址空间必须有这个 “凭证” 才能被 TTM 管理。5. 总结TTM 通过上述结构体实现了显存和系统内存的统一分配、管理、迁移。ttm_device是顶层管理者负责资源管理器、页池、VMA等。ttm_buffer_object是核心对象通过ttm_resource关联物理资源通过ttm_tt管理页表。资源管理器和区间分配器实现了多类型物理内存的高效分配和回收。页池和全局管理提升了性能和可扩展性。理解这些结构体及其关系是深入掌握 TTM 显存管理机制的基础。技术交流欢迎加入社区GPUers。