异构GPU推理优化：Tessera架构解析与实践

1. 异构GPU推理的性能瓶颈与挑战在当前的AI推理服务部署中混合使用不同代际的GPU已经成为提升性价比的常见做法。比如将最新的H100与相对便宜的L40S搭配使用或者将计算密集型的B200与内存优化的H100组合部署。然而这种异构环境下的资源利用率问题却长期困扰着从业者。传统粗粒度任务分配方案主要存在三大痛点首先架构耦合性限制了适用范围。现有的预填充-解码分离PD Dis.方案严重依赖Transformer架构特有的两阶段执行模式对于Mamba这类基于状态空间模型SSM的架构或者Stable Diffusion这类扩散模型完全无法适用。同样注意力-FFN分离AF Dis.方案也仅适用于传统Transformer模块划分。其次硬件特性匹配度不足。以A100计算能力强和L40S内存带宽高的组合为例当处理Qwen2.5-VL这类多模态大模型时传统的块级划分会强制将整个注意力层分配到单一GPU无法根据每个卷积核的实际计算密度进行灵活调度。这导致GPU的SM流式多处理器利用率常常低于60%。最后动态负载适应性差。在线服务场景下请求的到达速率和计算需求波动剧烈。我们的实测数据显示在Azure对话数据集上GPT-oss 20B模型的请求突发间隔可短至30ms而传统静态划分方案需要至少150ms才能完成资源重平衡。关键发现通过Profiling工具实测在H100RTX Pro 6000组合上运行Qwen2.5-VL时不同卷积核的计算强度FLOPs/Byte差异可达两个数量级。这种微观层面的异构性正是传统方案无法充分利用硬件潜能的核心原因。2. Tessera架构设计解析2.1 内核依赖图DDG构建Tessera的创新起点在于将计算图分解到内核粒度。以PyTorch模型为例通过拦截CUDA流提交的kernel序列构建带权重的有向无环图class KernelNode: def __init__(self): self.kernel_type: str # 如GEMM/Conv2D/Memcpy self.compute_cost: Dict[GPUType, float] # 各GPU上执行时间(ms) self.mem_footprint: int # 内存占用(Byte) self.dep_edges: List[Tuple[KernelNode, int]] # 边权重数据传输量在GPT-oss 20B的实际运行中单个前向传播可分解出约1200个内核节点。其中关键发现是仅有15%的内核贡献了80%的计算耗时这些热点内核正是调度优化的重点目标。2.2 混合整数线性规划MILP模型Tessera将调度问题形式化为以下优化目标Minimize: Σ(T_comp T_comm) Subject to: 1. ∀v∈V, Σ(x_vg) 1 # 每个内核必须分配到一个GPU 2. ∀(u,v)∈E, x_ug x_vg ⇒ y_uvg 0 # 同GPU通信开销为零 3. ∀g∈G, Σ(x_vg * w_v) ≤ C_g # 不超过GPU计算容量其中创新性地引入权重系数α来平衡吞吐量与延迟离线批处理α0.9侧重最大化吞吐量在线服务α0.3优先满足SLO延迟使用Gurobi求解器时针对1500个内核的DDG可在1秒内完成求解。实测表明相比贪心算法MILP方案在B200H100组合上能额外提升23%的吞吐量。2.3 流水线优先级调度为隐藏跨GPU通信开销Tessera设计了三级流水线机制请求级并行将不同请求的计算阶段交错排列确保至少有一个请求处于计算状态。在A100L40S上当批量大小≥8时通信可被完全隐藏。流优先级控制通过CUDA的cudaStreamCreateWithPriority()设置计算流的优先级高于通信流。这避免了SM资源被低优先级的数据传输占用。动态窗口调整监控实时吞吐量当检测到PCIe带宽利用率低于85%时自动扩大并发窗口最大至32请求。该机制使Stable Diffusion 3.5的图像生成速率提升至121 images/min。3. 跨架构支持实现3.1 Transformer类模型优化对于Llama 3等传统TransformerTessera发现了被忽视的优化机会注意力层的QKV投影计算计算强度8 FLOPs/Byte适合分配至H100层归一化的Reduce操作计算强度0.5 FLOPs/Byte更适合L40S实测显示这种细粒度分配能使7B参数模型的每token延迟从3.2ms降至2.4ms。3.2 状态空间模型适配针对Mamba等SSM模型传统方案因无法处理selective_scan操作而失效。Tessera通过内核特征分析识别出离散化步骤计算密集型→ 分配至A100状态更新内存密集型→ 分配至L40S在输入序列长度2048时该方案比单A100提速1.8倍。3.3 扩散模型特殊处理Stable Diffusion 3.5的迭代去噪过程包含U-Net的卷积计算适合H100注意力层的矩阵乘法适合RTX Pro 6000Tessera通过动态调整每轮迭代的内核分配在保持1024×1024分辨率下将迭代间隔从58ms缩短至42ms。4. 生产环境部署实践4.1 性能调优参数在8×B200 8×H100集群上部署Qwen-3 235B时关键配置如下参数离线批处理模式在线服务模式最大并发请求数6416MILP求解频率每5分钟实时流水线深度8级4级通信缓存区大小256MB64MB4.2 故障排查指南常见问题及解决方案PCIe带宽瓶颈症状GPU利用率波动大于30%检查nvidia-smi -i 0 -q | grep BAR1解决减小CUDA Graph的捕获范围内存碎片化症状OOM错误但显存未耗尽检查export PYTORCH_CUDA_ALLOC_CONFgarbage_collection_threshold:0.8解决启用THCCachingAllocator的主动回收负载不均衡症状部分GPU温度显著更高检查nsys profile --statstrue解决调整MILP中的计算容量约束权重4.3 成本效益分析以AWS p4d.24xlarge实例为例8×A100 4×L40S运行GPT-oss 20B的对比数据方案吞吐量(tokens/s)每小时成本成本效率(Perf/$)全A1002987$97.21.00xTessera4253$78.41.21xPD Disaggregation3144$85.60.87x成本节约主要来自L40S处理内存密集型操作单价仅为A100的40%更均衡的SM利用率减少空闲功耗5. 前沿扩展方向当前我们在探索三个增强方向多节点扩展通过NVLinkNVSwitch实现跨节点内核调度初步测试显示在4节点配置下仍能保持92%的强扩展效率。动态精度适配根据内核特性自动选择FP8/FP16精度在Qwen2.5-VL上可实现额外15%的吞吐提升。冷启动优化针对模型加载阶段的特殊调度策略将B200H100上的模型切换时间从8.3秒压缩至2.1秒。