CUDA 编程系列（二）《性能模型与逐元素优化》

目录课程回顾与背景引入性能瓶颈分析与内存墙1. 传输开销与计算时间对比2. 内存墙概念引入Roofline 模型量化性能瓶颈1. Roofline 模型基本概念2. 模型分区解释3. 向量加法案例分析性能分析工具Nsight ComputeNCU1. NCU 简介与使用2. 关键分析界面向量化技术提升访存效率1. 什么是向量化2. CUDA 中的向量化访存类型3. 向量化实现与性能对比半精度计算1. 半精度浮点数简介2. 半精度性能优势3. 向量化计算与访存结合课后思考题总结与思考本节课涵盖并行编程基础、Roofline 模型等内容并涉及向量化实现与性能对比等知识。课程回顾与背景引入• 什么是并行编程为什么需要并行• CPU 与 GPU 的架构差异• 向量加法的 GPU 实现与编译• 性能初步分析工具• CPU 与 GPU 性能对比性能瓶颈分析与内存墙1. 传输开销与计算时间对比• CPU-GPU 数据传输时间 vs GPU 内核计算时间• 通信带宽成为性能瓶颈2. 内存墙概念引入• 摩尔定律与内存增长速度对比• 冯·诺依曼架构的限制• 计算速度远快于内存访问速度Roofline 模型量化性能瓶颈1. Roofline 模型基本概念• 纵轴性能GFLOPS• 横轴计算强度FLOPS/byte• 关键参数• π峰值算力• β峰值内存带宽• Imax计算强度拐点2. 模型分区解释3. 向量加法案例分析性能分析工具Nsight ComputeNCU1. NCU 简介与使用• 内核级性能分析工具• 命令行与 GUI 版本使用方式• 输出文件分析2. 关键分析界面• Summary Page核函数汇总• Details Page吞吐量与 Roofline 图• 内存与计算利用率分析向量化技术提升访存效率1. 什么是向量化• 标量操作 vs 向量操作• SIMD单指令多数据 vs SIMT单指令多线程2. CUDA 中的向量化访存类型3. 向量化实现与性能对比• 不同向量化程度的性能测试• 寄存器使用与溢出问题• 数据规模对向量化效果的影响半精度计算1. 半精度浮点数简介• 结构对比FP16 vs FP32• CUDA 中的 half 类型与转换函数2. 半精度性能优势• 内存占用减半• 计算强度提升• 向量化支持half23. 向量化计算与访存结合课后思考题1.可以有效使用 float3 吗?如果可以怎么做?2.之前提到向量化访存有多种方法今天主要介绍了使用内置类型的方式想想还有什么其他方式吗?(Hint: 今天的课中其实已经提到了同时也和第一问有关)1.使用 float3 的方法float3 是常见的向量类型如 HLSL/CG 或 CUDA 中的三维浮点向量但需注意其内存布局和对齐问题。直接使用可能导致性能下降因其默认对齐方式可能与硬件要求不符。在 CUDA 中可通过__attribute__((aligned(16)))强制对齐到 16 字节或使用内置类型如float4替代。若必须使用float3建议手动填充为float4以确保内存合并访问。示例代码CUDAstruct alignas(16) Float3 { float x, y, z, w; }; // 手动填充为 16 字节 __global__ void kernel(Float3* data) { // 通过 data[i].x/y/z 访问 }2.其他向量化访存方式除内置类型如float4还可通过以下方式实现高效访存结构体填充Struct Padding自定义结构体时显式填充字段确保数据对齐。例如将float3扩展为 16 字节struct PaddedFloat3 { float x, y, z, unused; };数组展开Array-of-Structures 转 Structure-of-Arrays将数据结构从 AoSArray of Structures转换为 SoAStructure of Arrays避免非连续访存。例如// AoS 低效方式 struct Vec3 { float x, y, z; }; Vec3 points[N]; // SoA 高效方式 struct Vec3SoA { float x[N], y[N], z[N]; };共享内存优化在核函数中先将全局内存数据加载到共享内存对齐访问再进行计算。适用于重复访问同一数据块的场景。编译器指令使用#pragma unroll或__restrict__关键字提示编译器优化内存访问模式。总结float3 的有效使用可直接作为内置向量类型定义 / 运算核心是利用其 16 字节对齐的内存布局实现向量化访存避免拆分分量破坏访存效率其他向量化访存方式核心包括 “显式对齐数组 手动批量访存”“自定义对齐向量结构体”“纹理内存绑定”均与float3的内存对齐 / 批量访存逻辑一致。总结与思考本节课我们对优化路径进行了系统性学习向量化访存 → 半精度 → 向量化计算性能提升幅度对比等知识。后续课程我们将进一步对于优化方法算子融合、内存层级优化等知识进行学习同时将会迎来新的挑战