CANN/asc-devkit ReduceMax API参考

ReduceMax【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品 / Atlas A3 推理系列产品√Atlas A2 训练系列产品 / Atlas A2 推理系列产品√功能说明对一个多维向量在指定的维度求最大值。定义指定计算的维度Reduce轴为R轴非指定维度Normal轴为A轴。如下图所示对shape为(2, 3)的二维矩阵进行运算指定在第一维求最大值输出结果为[4, 5, 6]指定在第二维求最大值输出结果为[3, 6]。图 1ReduceMax按第一个维度计算示例图 2ReduceMax按最后一个维度计算示例函数原型通过sharedTmpBuffer入参传入临时空间template class T, class pattern, bool isReuseSource false __aicore__ inline void ReduceMax(const LocalTensorT dstTensor, const LocalTensorT srcTensor, const LocalTensoruint8_t sharedTmpBuffer, const uint32_t srcShape[], bool srcInnerPad)接口框架申请临时空间template class T, class pattern, bool isReuseSource false __aicore__ inline void ReduceMax(const LocalTensorT dstTensor, const LocalTensorT srcTensor, const uint32_t srcShape[], bool srcInnerPad)由于该接口的内部实现中涉及复杂的数学计算需要额外的临时空间来存储计算过程中的中间变量。临时空间支持开发者通过sharedTmpBuffer入参传入和接口框架申请两种方式。通过sharedTmpBuffer入参传入使用该tensor作为临时空间进行处理接口框架不再申请。该方式开发者可以自行管理sharedTmpBuffer内存空间并在接口调用完成后复用该部分内存内存不会反复申请释放灵活性较高内存利用率也较高。接口框架申请临时空间开发者无需申请但是需要预留临时空间的大小。通过sharedTmpBuffer传入的情况开发者需要为tensor申请空间接口框架申请的方式开发者需要预留临时空间。临时空间大小BufferSize的获取方式如下通过GetReduceMaxMaxMinTmpSize中提供的接口获取需要预留空间范围的大小。参数说明表 1模板参数说明参数名描述T操作数的数据类型。Ascend 950PR/Ascend 950DT支持的数据类型为int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、int64_t、uint64_t。Atlas A3 训练系列产品 / Atlas A3 推理系列产品支持的数据类型为half、float。Atlas A2 训练系列产品 / Atlas A2 推理系列产品支持的数据类型为half、float。pattern用于指定ReduceMax计算轴包括Reduce轴和Normal轴。pattern由与向量维度数量相同的A、R字母组合形成字母A表示Normal轴R表示Reduce轴。例如AR表示对二维向量进行ReduceMax计算第一维是Normal轴第二维是Reduce轴即对第二维数据求最大值。pattern是定义在AscendC::Pattern::Reduce命名空间下的结构体其成员变量用户无需关注。pattern当前只支持取值为AR和RA。isReuseSource是否允许修改源操作数默认值为false。如果开发者允许源操作数被改写可以使能该参数使能后能够节省部分内存空间。设置为true则本接口内部计算时复用src的内存空间节省内存空间设置为false则本接口内部计算时不复用src的内存空间。isReuseSource的使用样例请参考更多样例。表 2接口参数说明参数名输入/输出描述dstTensor输出目的操作数。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。srcTensor输入源操作数。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。源操作数的数据类型需要与目的操作数保持一致。sharedTmpBuffer输入临时缓存。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。用于ReduceMax内部复杂计算时存储中间变量由开发者提供。临时空间大小BufferSize的获取方式请参考GetReduceMaxMaxMinTmpSize。srcShape输入uint32_t类型的数组表示源操作数的shape信息。该shape的维度必须和模板参数pattern的维度一致例如pattern为AR该shape维度只能是二维。Ascend 950PR/Ascend 950DT当前只支持二维shape。Atlas A3 训练系列产品 / Atlas A3 推理系列产品当前只支持二维shape。Atlas A2 训练系列产品 / Atlas A2 推理系列产品当前只支持二维shape。srcInnerPad输入表示实际需要计算的最内层轴数据是否32Bytes对齐。Ascend 950PR/Ascend 950DT该参数预留。接口内由参数srcShape和pattern计算最内层轴数据是否32Bytes对齐。Atlas A3 训练系列产品 / Atlas A3 推理系列产品当前只支持true。Atlas A2 训练系列产品 / Atlas A2 推理系列产品当前只支持true。返回值说明无约束说明操作数地址对齐要求请参见通用地址对齐约束。不支持源操作数与目的操作数地址重叠。不支持sharedTmpBuffer与源操作数和目的操作数地址重叠。调用示例AscendC::LocalTensorfloat dstLocal outQueue.AllocTensorfloat(); AscendC::LocalTensorfloat srcLocal inQueue.DeQuefloat(); AscendC::LocalTensoruint8_t tmp tbuf.Getuint8_t(); uint32_t shape[] { 2, 8 }; constexpr bool isReuse true; AscendC::ReduceMaxfloat, AscendC::Pattern::Reduce::AR, isReuse(dstLocal, srcLocal, tmp, shape, true);结果示例如下输入输出的数据类型为float 输入数据(src): [[ 0.0 4.0 2.0 0.0 -1.0 2.0 -1.0 7.0], [ 0.0 1.0 -9.0 2.0 2.0 2.0 8.0 3.0]] 输入patternAR 输入shape(2,8) 输出数据(dst): [7.0 8.0]【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考