CANN/ops-nn RMS归一化动态量化算子

AddRmsNormDynamicQuantV2【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn产品支持情况产品是否支持Ascend 950PR/Ascend 950DT×Atlas A3 训练系列产品/Atlas A3 推理系列产品×Atlas A2 训练系列产品/Atlas A2 推理系列产品√Atlas 200I/500 A2 推理产品×Atlas 推理系列产品×Atlas 训练系列产品×Kirin X90 处理器系列产品√Kirin 9030 处理器系列产品√功能说明算子功能RmsNorm算子是大模型常用的归一化操作相比LayerNorm算子其去掉了减去均值的部分。DynamicQuant算子则是为输入张量进行对称动态量化的算子。AddRmsNormDynamicQuantV2算子将RmsNorm前的Add算子和RmsNorm归一化输出给到的1个或2个DynamicQuant算子融合起来减少搬入搬出操作。计算公式$$ xx_{1}x_{2} $$$$ y \operatorname{RmsNorm}(x)\frac{x}{\operatorname{Rms}(\mathbf{x})}\cdot gamma, \quad \text { where } \operatorname{Rms}(\mathbf{x})\sqrt{\frac{1}{n} \sum_{i1}^n x_i^2epsilon} $$$$ yFP32cast(y) $$若smoothScale1Optional和smoothScale2Optional均不输入则y2Out和scale2Out输出无实际意义。计算过程如下所示$$ scale1Outrow_max(abs(y))/127 $$$$ y1Outround(y/scale1Out) $$若仅输入smoothScale1Optional则y2Out和scale2Out输出无实际意义。计算过程如下所示$$ input y\cdot smoothScale1Optional $$$$ scale1Outrow_max(abs(input))/127 $$$$ y1Outround(input/scale1Out) $$若smoothScale1Optional和smoothScale2Optional均输入则算子的五个输出均为有效输出。计算过程如下所示$$ input1 y\cdot smoothScale1Optional $$$$ input2 y\cdot smoothScale2Optional $$$$ scale1Outrow_max(abs(input1))/127 $$$$ scale2Outrow_max(abs(input2))/127 $$$$ y1Outround(input1/scale1Out) $$$$ y2Outround(input2/scale2Out) $$其中row_max代表每行求最大值。参数说明参数名输入/输出/属性描述数据类型数据格式x1输入表示标准化过程中的源数据张量对应公式中的x1。FLOAT16、BFLOAT16NDx2输入表示标准化过程中的源数据张量对应公式中的x2。FLOAT16、BFLOAT16NDgamma输入表示标准化过程中的权重张量对应公式中的gamma。shape需要与x1最后一维一致。FLOAT16、BFLOAT16NDsmooth_scale1可选输入表示量化过程中得到y1使用的smoothScale张量对应公式中的smoothScale1Optional。FLOAT16、BFLOAT16NDsmooth_scale2可选输入表示量化过程中得到y2使用的smoothScale张量对应公式中的smoothScale2Optional。FLOAT16、BFLOAT16NDepsilon可选属性用于防止除0错误对应公式中的epsilon。默认值为1e-6。FLOAT-y1输出表示量化输出Tensor对应公式中的y1Out。INT8NDy2输出表示量化输出Tensor对应公式中的y2Out。INT8NDy3输出表示rmsNorm的FLOAT32类型输出Tensor对应公式中的yFP32。FLOAT32NDy4输出表示量化输出Tensor对应公式中的y。FLOAT16、BFLOAT16NDx输出表示x1和x2的和对应公式中的x。FLOAT16、BFLOAT16NDscale1输出第一路量化的输出对应公式中的scale1Out。FLOAT32NDscale2输出第二路量化的输出对应公式中的scale2Out。FLOAT32NDKirin X90/Kirin 9030处理器系列产品x1、x2、gamma、smooth_scale1、smooth_scale2、y4和x的数据类型不支持BFLOAT16。约束说明无调用说明调用方式样例代码说明图模式test_geir_add_rms_norm_dynamic_quant_v2通过算子IR构图方式调用AddRmsNormDynamicQuantV2算子。【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考