CANN/hcomm梯度切分策略设置

set_split_strategy_by_size【免费下载链接】hcommHCOMMHuawei Communication是HCCL的通信基础库提供通信域以及通信资源的管理能力。项目地址: https://gitcode.com/cann/hcomm产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 推理系列产品支持Atlas 训练系列产品支持[!NOTE]说明 针对Atlas A2 训练系列产品/Atlas A2 推理系列产品仅支持Atlas 800T A2 训练服务器、Atlas 900 A2 PoD 集群基础单元、Atlas 200T A2 Box16 异构子框。 针对Atlas 推理系列产品仅支持Atlas 300I Duo 推理卡。功能说明基于梯度数据量百分比在集合通信group内设置反向梯度切分策略实现allreduce的融合用于进行集合通信的性能调优。函数原型def set_split_strategy_by_size(dataSizeList, grouphccl_world_group)参数说明参数名输入/输出描述dataSizeList输入list类型。梯度参数数据量百分比列表。- 梯度的索引id列表需为非负且梯度数据量序列总百分比之和必须为100。- 梯度的切分最多支持8段。- 比如模型总共有150M梯度数据量需要切分90M30M30M三段则可以设置dataSizeList [60,20,20]。group输入String类型最大长度为128字节含结束符。group名称可以为hccl_world_group或自定义group默认为hccl_world_group。返回值无。约束说明调用该接口的rank必须在当前接口入参group定义的范围内不在此范围内的rank调用该接口会失败。在同时基于梯度数据量百分比及梯度的索引id设置反向梯度切分策略时以基于梯度数据量百分比设置结果优先。若用户不调用梯度切分接口设置切分策略则会按默认反向梯度切分策略切分。默认切分策略ResNet50的最优切分位置即按梯度数据量切分为2段第一段数据量为96.54%第二段数据量为3.46%。调用示例from hccl.split.api import * set_split_strategy_by_size([60, 20, 20], group)【免费下载链接】hcommHCOMMHuawei Communication是HCCL的通信基础库提供通信域以及通信资源的管理能力。项目地址: https://gitcode.com/cann/hcomm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考