CANN/cann-samples A16W16非量化矩阵乘算子

A16W16非量化矩阵乘算子【免费下载链接】cann-samples算子领域高性能实战演进样例与体系化调优知识库项目地址: https://gitcode.com/cann/cann-samples概述本示例展示了A16W16非量化矩阵乘算子在昇腾AI处理器上的完整实现包含基于SWAT模板和StreamK模板的高性能优化方案。A16W16支持Float16、BFloat16数据类型是深度学习中最基础且最重要的计算操作广泛应用于各种神经网络层包括全连接层、注意力机制等。当前目录提供以下能力matmul_a16w16_swat基于SWAT模板的实现。matmul_a16w16_streamk基于StreamK模板的实现。gen_data.py生成输入数据和CPU golden结果。verify_result.py校验NPU输出与CPU golden是否一致。matmul_a16w16_algorithm_recommend.py对当前目录下可执行算法进行兼容性筛选和耗时排序。使用约束当前样例支持以下场景A的形状为[M, K](非转置)或[K, M](转置)B的形状为[K, N](非转置)或[N, K](转置)。输出矩阵C的形状为[M, N]。支持数据类型Float16、BFloat16矩阵A,B,C数据类型需保持一致。默认数据类型为BFloat16如果需要更改请同步修改以上代码文件。StreamK 输入范围限制matmul_a16w16_streamk对输入参数有特定的范围要求需满足以下条件之一SK 模式K 维度需足够大建议 K ≥ 8192M 和 N 的切分块数乘积不超过 AIC 核数的一半DPSK 模式M 和 N 需为 256 的倍数K 维度需足够大建议 K ≥ 8192M 和 N 的块数乘积满足特定的负载均衡条件如果输入参数不满足上述条件直接运行matmul_a16w16_streamk将会报错退出。建议使用算法推荐脚本自动选择适合当前形状的算法。支持架构NPU ARCH 3510性能优化指南关于算子涉及的模板实现及优化策略请参考非量化矩阵乘算子性能优化指南API参考Ascend C API文档参数说明两个可执行文件的命令行参数格式一致program m k n [transA transB]m矩阵A的行数。k矩阵A的列数同时也是矩阵B的归约维。n矩阵B的列数对应输出矩阵的列数。transA矩阵A的转置信息可选默认为false。transB矩阵B的转置信息可选默认为true。在当前布局下如果不传入转置信息默认A矩阵非转置B矩阵转置A按[M, K]组织。B按[N, K]组织。输出矩阵C的形状为[M, N]。数据与校验gen_data.py会在当前目录下生成以下文件input/input_a.bininput/input_b.binoutput/cpu_output.bin样例执行完成后会额外生成output/npu_out.bin两个可执行文件在运行结束后都会自动调用verify_result.py将NPU输出与CPU golden进行一致性校验。一键运行推荐仓库提供run.sh位于matmul_recipes/examples/matmul_a16w16/scripts/可一键串联构建 → 数据生成 → 算子执行 → 结果校验全流程。 推荐先进入样例目录再执行命令更短cd Samples/2_Performance/matmul_story/matmul_recipes/examples/matmul_a16w16 # 自动构建 自动推荐最优算法 运行 bash scripts/run.sh 128 16384 128 # 带转置参数 bash scripts/run.sh 128 16384 128 false true # 指定目标可执行文件跳过重新构建 bash scripts/run.sh \ --target matmul_a16w16_swat --skip-build 128 16384 128 # 查看完整帮助 bash scripts/run.sh --helprun.sh 参数说明参数说明m k n矩阵维度必填。transA transB转置参数可选。默认false true即 A 不转置、B 转置。--target name指定要运行的可执行文件名。省略时自动调用推荐脚本选择最优目标。--skip-build跳过构建/安装阶段复用已有build_out。-h, --help显示帮助信息。如需查看完整算法推荐排名含耗时表格请在安装目录下直接运行matmul_a16w16_algorithm_recommend.py见下文「手动构建与运行」。手动构建与运行如需手动控制各步骤可在仓库根目录下完成编译和安装后进入当前样例目录cmake -S . -B build -DNPU_ARCHdav-3510 cmake --build build --parallel cmake --install build --prefix ./build_out cd build_out/2_Performance/matmul_story/matmul_recipes/matmul_a16w161. 生成测试数据python3 gen_data.py 128 16384 128 false true2. 运行单个算法样例./matmul_a16w16_swat 128 16384 128或./matmul_a16w16_streamk 128 16384 128带转置参数./matmul_a16w16_swat 128 16384 128 false true3. 运行算法推荐脚本python3 matmul_a16w16_algorithm_recommend.py 128 16384 128或带转置参数python3 matmul_a16w16_algorithm_recommend.py 128 16384 128 false true下图为推荐脚本输出的结构示意数值为虚构仅说明版式[Profile Breakdown] ---------------------------------------------------------------------------------------------------- | algorithm |kernel(us)| mac(us) |scalar(us)| mte1(us)| mte2(us)|fixpipe(us) |icache_miss(%)| | matmul_a16w16_swat | 12.345| 1.234 | 0.567| 0.123 | 0.456 | 0.789 | 0.100 | | matmul_a16w16_streamk | 15.678| 2.100 | 0.800| 0.200 | 0.300 | 0.500 | 0.250 | ----------------------------------------------------------------------------------------------------【免费下载链接】cann-samples算子领域高性能实战演进样例与体系化调优知识库项目地址: https://gitcode.com/cann/cann-samples创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考