CANN/cann-bench多卡并行评测分析

多卡多线程并行评测性能分析报告【免费下载链接】cann-bench评测AI在处理CANN领域代码任务的能力涵盖算子生成、算子优化等领域支撑模型选型、训练效果评估统一量化评估标准识别Agent能力短板构建CANN领域评测平台推动AI能力在CANN领域的持续演进。项目地址: https://gitcode.com/cann/cann-bench摘要本报告详细分析了多卡多线程并行评测方案的效率和精度为设计方案提供数据支撑。核心结论双卡×2线程配置可获得5.02x加速平均用例耗时从 6.80s 降至 1.36s性能采集精度极高多线程平均差异0.23%多卡平均差异0.48%所有测试用例差异均 5%完全可用于正式评测和性能基线采集1. 背景与问题1.1 问题分析当前评测系统仅支持单卡单线程执行大规模评测效率受限Level1 评测集约 200 算子每算子平均 20 用例单用例平均耗时 6.8s含 warmup profiler 解析全量评测预估耗时200 × 20 × 6.8 ≈27200 秒7.5 小时1.2 目标探索多线程/多卡并行评测的可行性验证并行执行不影响性能采集精度设计最优并行配置方案2. 测试环境2.1 硬件配置项目配置NPU 卡数2 张 Ascend910_9362CPU多核处理器内存充足支持多进程多线程2.2 软件配置项目版本/配置torch_npu支持 Level1 profilerProfiler LevelLevel147列CSVWarmup/Repeat3/5取中位数2.3 测试用例算子Sigmoid, Exp, ReluLevel1用例数10-30 个Kernel 时间范围5μs - 2000μs3. 效率对比测试3.1 测试方法在相同用例集上对比不同配置的总耗时配置描述并行度单卡单线程基准配置1单卡×4线程单卡多线程4双卡×1线程多卡单线程2双卡×2线程多卡多线程推荐4双卡×4线程多卡多线程过度83.2 测试结果20用例配置用例数总耗时(s)平均(s/case)Kernel(μs)加速比单卡单线程20135.946.8047.701.00x单卡×4线程1020.212.0281.216.72x*双卡×1线程2040.632.0343.493.35x双卡×2线程2027.101.3643.495.02x双卡×4线程2037.721.8943.653.60x*注单卡×4线程仅10用例对比不公平3.3 效率分析关键发现最优配置双卡×2线程加速比5.02x平均耗时1.36s/case基准 6.80s总并行度 卡数 × 2过度并行效率下降双卡×4线程仅 3.60x 加速原因线程过多导致资源竞争、调度开销增加多卡优于单卡多线程双卡×2线程 vs 单卡×4线程多卡可分散 profiler 解析开销效率曲线加速比 │ 6x│ ▲ 单卡×4线程仅10用例 │ 5x│ ■──┐ 双卡×2线程最优 │ │ 4x│ │ 双卡×4线程 │ ───┘───┐ 3x│ │ 双卡×1线程 │ └ 2x│ │ 1x│─────────────────── 单卡单线程基准 │ └─────────────────────→ 并行度 1 2 4 84. 性能采集精度验证4.1 测试方法在相同用例上对比三种配置的 kernel 时间单线程基准每用例独立 evaluator多线程4线程并发执行多卡2卡×2线程并发执行测试用例20 个Sigmoid Exp各 10 用例4.2 详细对比数据用例单线程(μs)多线程(μs)多卡(μs)MT差异%MC差异%状态L1_Sigmoid_15.185.185.180.000.00✅L1_Sigmoid_219.0619.0619.060.000.00✅L1_Sigmoid_341.9841.9841.980.000.00✅L1_Sigmoid_4195.58195.58195.580.000.00✅L1_Sigmoid_5392.85392.85392.850.000.00✅L1_Sigmoid_65.625.365.364.634.63✅L1_Sigmoid_75.225.225.420.003.83✅L1_Sigmoid_85.885.885.880.000.00✅L1_Sigmoid_9141.02141.02139.520.001.06✅L1_Sigmoid_105.305.305.300.000.00✅L1_Exp_125.8025.8025.800.000.00✅L1_Exp_239.9839.9839.980.000.00✅L1_Exp_3312.96312.96312.960.000.00✅L1_Exp_41962.461962.461962.460.000.00✅L1_Exp_51256.951256.951256.950.000.00✅L1_Exp_632.3032.3032.300.000.00✅L1_Exp_732.1832.1832.180.000.00✅L1_Exp_826.9226.9226.920.000.00✅L1_Exp_91445.111445.111445.110.000.00✅L1_Exp_1026.6826.6826.680.000.00✅4.3 统计摘要指标多线程多卡平均差异0.23%0.48%最大差异4.63%4.63%完全一致用例17/2017/20差异 1% 用例1/203/204.4 精度分析差异分布差异分布20用例 │ │ ████████████████████ 0%差异17用例 │ │ █ 1-2%差异1用例 │ │ ██ 3-5%差异2用例 │ │ ───────────────────── 5%差异0用例 │ └─────────────────────────────→ 差异范围 0% 1% 3% 5% 10%差异原因分析用例差异原因分析L1_Sigmoid_64.63%小 kernel5μs测量波动敏感L1_Sigmoid_73.83%小 kernel并发调度微小影响L1_Sigmoid_91.06%正常测量波动141μs → 139μs关键洞察差异主要集中在小 kernel 用例 10μs原因profiler 采集精度限制NPU 并发调度微小波动中位数统计的固有偏差结论✅精度验证通过平均差异 1%属于极高精度最大差异 5%属于正常波动范围大 kernel 用例 100μs差异几乎为 0多线程/多卡并行不影响性能采集精度5. 设计方案5.1 架构设计┌─────────────────────────────────────────────────────────────┐ │ MultiCardEvaluator │ │ (协调器检测卡数、分配任务、汇总结果) │ ├─────────────────────────────────────────────────────────────┤ │ │ │ ┌──────────────────┐ ┌──────────────────┐ │ │ │ CardWorker 0 │ │ CardWorker 1 │ ... │ │ │ (NPU:0) │ │ (NPU:1) │ │ │ ├──────────────────┤ ├──────────────────┤ │ │ │ ThreadPool │ │ ThreadPool │ │ │ │ └─ Thread 1 │ │ └─ Thread 1 │ │ │ │ └─ Thread 2 │ │ └─ Thread 2 │ │ │ │ └─ Thread N │ │ └─ Thread N │ │ │ │ ↓ │ │ ↓ │ │ │ │ Evaluator │ │ Evaluator │ │ │ │ (device_id0) │ │ (device_id1) │ │ │ └──────────────────┘ └──────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────┘5.2 核心组件CardWorker每个卡的工作单元独立ThreadPoolExecutor每线程独立Evaluator设置device_id避免 profiler 和 warmup 资源竞争MultiCardEvaluator协调器自动检测 NPU 卡数任务分配round_robin / by_operator结果汇总5.3 配置参数参数类型默认值说明--multi-cardboolFalse是否启用多卡并行--max-cardsint0最大使用卡数0自动检测--threads-per-cardint2每卡线程数--task-strategystrround_robin任务分配策略5.4 任务分配策略Round Robin轮询用例序列: [C1, C2, C3, C4, C5, C6, C7, C8] 2卡分配: [C1, C3, C5, C7] → Card 0 [C2, C4, C6, C8] → Card 1优点负载均衡缺点同一算子用例分散By Operator按算子算子分组: Sigmoid: [C1-C10], Exp: [C11-C20] 2卡分配: Sigmoid → Card 0 Exp → Card 1优点减少算子加载开销缺点负载可能不均衡5.5 最优配置推荐卡数最优线程数总并行度预期加速比备注144~3.7x单卡场景224~5.0x推荐配置428~6-8x多卡场景核心原则总并行度 ≈ 卡数 × 26. 实现要点6.1 关键实现线程独立 Evaluatordef get_evaluator(self): thread_id threading.get_ident() if thread_id not in self._evaluators: config copy_config(self.base_config) config.device_id self.device_id # 设置卡号 self._evaluators[thread_id] Evaluator(config) return self._evaluators[thread_id]Profiler 目录隔离每 evaluator 独立 profiler 输出目录避免解析冲突和数据混淆Warmup 预热评测前各卡统一执行升频清 cache避免 warmup 在并发时的竞争6.2 注意事项问题解决方案Profiler 解析冲突每个 evaluator 独立目录Warmup 竞争评测前统一预热内存占用增加及时清理、控制线程数小 kernel 波动接受 5% 差异7. 验证方案7.1 效率验证# 单线程基准 python test_thread/baseline_single.py --case-limit 20 # 多卡测试 python test_thread/multi_card_eval.py --max-cards 2 --threads-per-card 2 --case-limit 207.2 精度验证# 详细精度对比 python test_thread/precision_comparison.py --operators Sigmoid Exp --case-ids 1 2 3 4 5 6 7 8 9 10 # 生成报告 python test_thread/generate_precision_report.py8. 结论与建议8.1 核心结论效率显著提升双卡×2线程5.02x加速全量评测预估7.5小时 →1.5小时精度完全可信平均差异 1%最大差异 5%不影响性能基线采集最优配置明确总并行度 卡数 × 2双卡×2线程为推荐配置8.2 实施建议阶段建议近期部署到评测脚本支持 CLI 参数中期集成到Evaluator.evaluate_from_source()远期支持动态负载均衡、断点续评8.3 风险评估风险等级应对措施小 kernel 波动低接受 5% 差异内存占用增加低控制线程数、及时清理Profiler 解析冲突低独立目录隔离附录A. 测试脚本列表脚本功能test_thread/baseline_single.py单线程基准测试test_thread/multi_thread.py多线程测试test_thread/multi_card_eval.py多卡并行测试test_thread/precision_comparison.py精度对比测试test_thread/generate_precision_report.py精度报告生成B. 测试数据文件文件内容test_thread/baseline_result.json单线程基准数据test_thread/multi_thread_result.json多线程测试数据test_thread/multi_card_result.json多卡测试数据test_thread/precision_comparison.json精度对比数据test_thread/precision_report.json精度报告摘要C. 参考资料docs/design/evaluator_design.md- 评测器设计文档docs/design/perf_collection_design.md- 性能采集设计文档test_thread/MULTI_CARD_SUMMARY.md- 多卡方案总结【免费下载链接】cann-bench评测AI在处理CANN领域代码任务的能力涵盖算子生成、算子优化等领域支撑模型选型、训练效果评估统一量化评估标准识别Agent能力短板构建CANN领域评测平台推动AI能力在CANN领域的持续演进。项目地址: https://gitcode.com/cann/cann-bench创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考