CANN/ops-nn Gelu梯度算子

GeluGrad【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√Atlas 200I/500 A2 推理产品×Atlas 推理系列产品√Atlas 训练系列产品√功能说明接口功能Gelu激活函数的反向传播算子用于计算Gelu激活函数的梯度。计算公式前向计算公式$$ outGELU(self)self × Φ(self)0.5 * self * (1 tanh( \sqrt{2 / \pi} * (self 0.044715 * self^{3}))) $$反向梯度公式$$ out \frac{d(\text{GELU})}{dx} dy \cdot \left[ \underbrace{0.5(1 \tanh(\text{inner}))}{\text{left_derivative}} \underbrace{0.5x\cdot (1-\tanh^2(\text{inner})) \cdot \beta(13\cdot 0.044715x^2)}{\text{right_derivative}}\right]$$其中$$\beta \sqrt{\frac{2}{\pi}},\quad \text{inner} \beta \left(x0.044715x^3 \right) $$参数说明参数名输入/输出/属性描述数据类型数据格式dy输入这是损失函数对GELU输出的梯度公式中的dy。FLOAT、FLOAT16、BFLOAT16NDx输入这是函数的输入公式中的x。FLOAT、FLOAT16、BFLOAT16NDy输入GELU函数的输出即GELU(x)。FLOAT、FLOAT16、BFLOAT16NDz输出表示gelu_grad函数的输出对应公式中的out。FLOAT、FLOAT16、BFLOAT16ND约束说明无调用说明调用方式调用样例说明aclnn调用test_aclnn_gelu_backward通过aclnnGeluBackward接口方式调用GeluGrad算子。【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考