CANN/hccl：自定义通信算子 - 点对点通信

自定义通信算子 - 点对点通信【免费下载链接】hccl集合通信库Huawei Collective Communication Library简称HCCL是基于昇腾AI处理器的高性能集合通信库为计算集群提供高性能、高可靠的通信方案项目地址: https://gitcode.com/cann/hccl样例介绍本样例展示如何基于 HCCL 通信编程接口开发 Send/Recv 点对点通信算子包含以下功能点基于 AICPU 通信引擎实现点对点通信算子支持自定义算子包的独立构建、独立部署目录结构├── CMakeLists.txt # 编译/构建配置文件 ├── op_host/ │ ├── send.cc # HcclSendCustom 算子实现源文件 │ ├── recv.cc # HcclRecvCustom 算子实现源文件 │ ├── load_kernel.cc # AICPU Kernel 在 Host 侧的加载逻辑 │ ├── launch_kernel.cc # AICPU Kernel 在 Host 侧的下发逻辑 │ └── utils.cc # 工具模块 ├── op_kernel_aicpu/ │ ├── libp2p_aicpu_kernel.json # AICPU Kernel 算子描述文件 │ ├── aicpu_kernel.cc # AICPU Kernel 实现逻辑 │ └── exec_op.cc # AICPU 算子编排逻辑 ├── inc/ │ ├── hccl_custom_p2p.h # 自定义 send/recv 算子接口头文件 │ ├── common.h # 公共类型头文件 │ └── log.h # 日志宏定义 ├── scripts/ │ └── hccl_custom_p2p_check_cfg.xml # 签名配置文件 └── testcase/ ├── main.cc # 样例实现源文件 └── Makefile # 编译/构建配置文件自定义算子编译工程依赖 HCCL 代码仓中的 cmake 配置和编译脚本 build.sh其中cmake 包含 CMake 配置、MakeSelf 打包配置等内容build.sh 是工程编译入口一、环境准备1. 环境要求本样例支持以下昇腾产品Atlas A3 训练系列产品 / Atlas A3 推理系列产品Atlas A2 训练系列产品2. 安装 CANN Toolkit 开发套件包参考 昇腾文档中心-CANN软件安装指南安装最新版本 CANN Toolkit 开发套件包。3. 配置环境变量设置CANN环境变量# 默认路径安装以root用户为例 source /usr/local/Ascend/cann/set_env.sh # 默认路径安装以非root用户为例 source $HOME/Ascend/cann/set_env.sh # 指定路径安装 source ${install_path}/cann/set_env.sh二、编译自定义算子包hccl代码仓提供了自定义算子编译打包工程该工程依赖代码仓中的如下文件├── build.sh # hccl代码仓根目录编译工程入口 ├── CMakeLists.txt # hccl代码仓根目录编译/构建配置文件 ├── cmake/ │ ├── config.cmake # CMake变量定义 │ ├── func.cmake # CMake函数定义 │ ├── package.cmake # 签名、打包函数定义 │ └── makeself_custom.cmake # MakeSelf打包逻辑 └── scripts/ ├── custom/install.sh # 自定义算子包安装脚本 └── sign/add_header_sign.py # AICPU 算子包签名脚本因此开发者首先需要下载hccl代码仓然后在代码仓根目录下执行build.sh进行编译通过custom_ops_path指定自定义算子工程路径# 下载hccl代码仓 git clone https://gitcode.com/cann/hccl.git # 编译自定义算子包 bash build.sh --vendorcust --opsp2p --custom_ops_path./examples/04_custom_ops_p2p其中--vendor参数表示自定义算子标识--ops参数表示自定义算子名称--custom_ops_path参数表示自定义算子工程路径三、安装自定义算子包自定义算子安装包在./build_out目录下通过--install参数进行安装./build_out/cann-hccl_custom_p2p_linux-arch.run --install --install-pathascend_cann_path其中arch是当前编译环境的系统架构ascend_cann_path是可选参数表示 CANN 软件包安装目录。默认为ASCEND_CUSTOM_OPP_PATH或ASCEND_OPP_PATH环境变量设置的路径自定义算子包安装信息如下头文件${ASCEND_HOME_PATH}/opp/vendors/cust/include/hccl_custom_p2p.h动态库${ASCEND_HOME_PATH}/opp/vendors/cust/lib64/libhccl_custom_p2p.soAICPU 算子描述文件${ASCEND_HOME_PATH}/opp/vendors/cust/aicpu/config/libp2p_aicpu_kernel.jsonAICPU 算子包${ASCEND_HOME_PATH}/opp/vendors/cust/aicpu/kernel/aicpu_hccl_custom_p2p.tar.gz安装脚本${ASCEND_HOME_PATH}/opp/vendors/cust/scripts/install.sh四、执行自定义算子1. 关闭 AICPU 算子验签功能# 查询AI CPU算子用户自定义验签能力使能状态 # False关闭用户自定义验签能力 # True开启用户自定义验签能力 for i in {0..7}; do npu-smi info -t custom-op-secverify-enable -i $i; done # 设置AI CPU算子用户自定义验签能力使能状态使能开关 for i in {0..7}; do npu-smi set -t custom-op-secverify-enable -i $i -d 1; done # 查询AI CPU算子验签模式 # 0关闭验证不验签 # 1华为证书使用华为证书验签默认 # 2客户自定义证书 # 3华为证书、客户自定义证书 # 4开源社区证书 # 5华为证书、开源社区证书 # 6客户自定义证书、开源社区证书 # 7华为证书、客户自定义证书、开源社区证书 for i in {0..7}; do npu-smi info -t custom-op-secverify-mode -i $i; done # 设置AI CPU算子验签模式关闭验签 for i in {0..7}; do npu-smi set -t custom-op-secverify-mode -i $i -d 0; done2. 修改 AICPU 白名单AICPU 默认只加载白名单中配置的包用户自行开发的 AICPU 算子包需配置到白名单中# 编译文件以 root 用户默认安装路径为例 vim /usr/local/Ascend/cann/conf/ascend_package_load.ini将下列内容追加到ascend_package_load.ini中name:aicpu_hccl_custom_p2p.tar.gz install_path:2 optional:true package_path:opp/vendors/cust/aicpu/kernel load_as_per_soc:false各字段含义如下name: tar 包文件名install_path: 安装到 Device 侧的路径optional: 默认为 truepackage_path: tar 包在Host侧CANN Toolkit包下的相对路径load_as_per_soc: 是否每种芯片类型都加载3. 编译样例在examples/04_custom_ops_p2p/testcase代码目录下执行如下命令# 编译样例 make4. 执行样例# 运行样例 make test # 或直接执行样例二进制 export LD_LIBRARY_PATH${ASCEND_HOME_PATH}/opp/vendors/cust/lib64:${LD_LIBRARY_PATH} ./send_recv5. 样例结果示例偶数节点的sendBuf内容初始化为该节点的 DeviceId然后将数据发送至下一奇数节点因此各个奇数节点接收到的是上一节点的 DeviceId。Found 8 NPU device(s) available rankId: 1, output: [ 0 0 0 0 0 0 0 0 ] rankId: 3, output: [ 2 2 2 2 2 2 2 2 ] rankId: 5, output: [ 4 4 4 4 4 4 4 4 ] rankId: 7, output: [ 6 6 6 6 6 6 6 6 ]【免费下载链接】hccl集合通信库Huawei Collective Communication Library简称HCCL是基于昇腾AI处理器的高性能集合通信库为计算集群提供高性能、高可靠的通信方案项目地址: https://gitcode.com/cann/hccl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考