MindStudio组合技，让Host Bound问题看得见、调得准

背景介绍Host Bound问题在NPU训练和推理场景中Host侧CPU的任务下发如算子调度、内存分配与Device侧NPU的任务执行是异步进行的。当Host侧任务下发耗时超过Device侧任务执行耗时Device会因等待新任务而处于空闲状态形成性能瓶颈即Host Bound问题。Host Bound问题现象整体表现为FreeNPU空闲占比高注意Free占比高不一定是Host Bound问题其细分现象包含但不限于Host侧某算子下发耗时长Host侧出现大量长耗时空泡Host侧流水中断Host Bound问题的根因大多数归结为Host侧线程抢占Host侧某算子/函数等待计算结果返回Host侧长时间等待资源如锁资源或资源未及时释放导致阻塞Host侧下发队列满H2D数据传输异常。其中比较常见的是Host侧线程抢占问题。此类问题通常通过ftraceLinux内核内置的一种跟踪工具来排查但是存在较大的困难调优人员难以将ftrace数据和Profiling对齐联合分析CPU与NPU的协同情况。针对这个问题MindStudio Insight推出了基于ftrace的采集解析脚本解析结果可导入Insight可视化界面联合Profiling展示帮助用户实现ftrace数据和Profiling数据联合分析优化Host瓶颈。Host Bound问题分析与解决思路利用MindStudio Insight分析Host Bound问题时可以根据以下思路使用MindStudio Insight集群分析功能进行整体分析初步确定是否存在下发慢卡同步采集Profiling和ftrace数据联合分析CPU与NPU协同情况根据分析结果进行针对性优化例如绑核优化、核隔离等方式减少进程抢占现象。Host Bound优化实战案例问题背景某Linux服务器已经发现了性能膨胀和Host侧空泡问题但是仅仅从Profiling数据无法判断真实原因缺少对于Host侧的性能分析手段。使用MindStudio Insight的集群分析功能看到卡3的Free占比明显过高为下发慢卡。图1 集群分析初步确定是否存在下发慢卡Profiling结合ftrace分析抢占情况Profiling分析Device侧现象通过Profiling数据对Device侧分析下图可以很明显的看到卡3、卡5在黄色框选部分存在空泡没有充分利用硬件性能。图2 总体Device侧执行情况以卡3为例其Host To Device连线坡度逐渐垂直说明卡3 Host侧下发任务较慢Device侧出现空转导致硬件资源浪费。图3 卡3 Host To Device下发连线经过以上分析基本可以确认Host Bound下发慢卡降低了NPU利用率。但此时仅通过Profiling数据已经不足够分析Host侧问题根因了。接下来需要结合ftrace数据分析当时CPU的行为有哪些异常。采集ftrace数据利用MindStudio Insight提供的采集脚本trace_record.py采集ftrace数据。运行结束后在当前目录下生成ftrace.txt文件。然后使用转换脚本trace_convert.py将ftrace数据格式转换为能够导入MindStudio Insight的格式。以上脚本可以在MindStudio Insight的开源代码仓中获取https://gitcode.com/Ascend/msinsight/tree/master/scripts/ftrace_toolsProfiling与ftrace联合分析发现问题一ACLThread被CANN线程抢占如下图4所示可以看到async_task_queue连线用于关联Python至CANN的任务下发关系坡度非常大这说明Python层的下发队列中有任务但是一直没有下发造成大约3.2ms的空泡。进一步定位问题原因。该环境已经使用过绑核绑核策略中对应卡4的ACLThread绑在CPU 90上。因此将泳道名称为CPU 90的ftrace泳道置顶区域框选后发现卡4下发慢时对应的Host侧CPU被dev14_sq_task进程抢占。图4 卡4有大约 3.2ms的空泡定位结论与解决措施dev_sq_task责将任务传输到Device上任务优先级较高抢占了ACLThread。在此期间ACLThread一直处于就绪但未被调度的状态导致了3.2ms空泡。因此需要将ACLThread、dev_sq_task分别绑核。发现问题二ACLThread被系统级线程systemctl抢占如下图5所示在两个标记绿色旗帜和红色旗帜之间区域对应CPU被systemctl线程抢占并打断导致Host Bound问题。图6可以看得更清楚。systemctl线程是内核线程主要用来做Linux上各种服务的调度和更新优先级高于用户线程。图5 卡4分析系统线程抢占图6 系统线程抢占 ACLThread解决措施启用/etc/systemd/system.conf中的CPU亲和性配置属性将系统线程绑定在某几个特定的CPU核心上以避免对用户线程的抢占。发现问题三频繁唤醒休眠导致CPU空转如下图7所示发现慢卡主进程虽然没有被抢占但是主进程频繁在sched_waking状态。图7 frace.txt的sched_waking状态频繁解决措施使用CANN包提供的下发流水优化特性开启二级流水优化以避免主进程过快进入休眠状态而被频繁唤醒。可通过export TASK_QUEUE_ENABLE2环境变量使能该特性详见https://www.hiascend.com/document/detail/zh/canncommercial/83RC1/acce/ascendtb/ascendtb_0032.html优化结果通过Profiling结合ftrace分析进程抢占和频繁调度问题并且针对问题完成绑核、使能下发流水优化等方法最终将Free占比从18%降低到0.38%Host Bound问题得到极大缓解。图8 优化前Free占比图9 优化后Free占比总结Host Bound问题已经成为模型训练与推理部署中的高频问题但是一直以来调优人员都缺乏有效手段能够同时观测Host侧和Device侧的执行情况。MindStudio提供了一种将Profiling数据与ftrace数据联合分析的方案打开了Host侧黑盒让下发问题看得准调得快。工具链接如下MindStudio Insight可视化工具https://gitcode.com/Ascend/msinsightftrace数据采集与解析脚本https://gitcode.com/Ascend/msinsight/tree/master/scripts/ftrace_toolsProfiling采集工具https://gitcode.com/Ascend/msprof