《昇思 25 天学习打卡营第 6 天 | 函数式自动微分 》
《昇思 25 天学习打卡营第 6 天 | 函数式自动微分 》
活动地址:https://xihe.mindspore.cn/events/mindspore-training-camp
签名:Sam9029
函数式自动微分
自动微分是深度学习中的一个核心概念,它允许我们自动计算模型参数的梯度,从而进行参数更新。在本章节中
将通过MindSpore框架来探索自动微分的原理和应用。
在MindSpore中,自动微分主要通过函数式编程范式来实现。这意味着我们可以通过定义函数来表达数学运算,然后利用MindSpore提供的grad和value_and_grad接口来获取梯度。
代码示例
首先,我们定义一个简单的单层线性变换模型:
import mindspore
from mindspore import nn, ops
from mindspore import Tensor, Parameterx = ops.ones(5, mindspore.float32) # 输入张量
y = ops.zeros(3, mindspore.float32) # 期望输出
w = Parameter(Tensor(np.random.randn(5, 3), mindspore.float32), name='w') # 权重
b = Parameter(Tensor(np.random.randn(3), mindspore.float32), name='b') # 偏置
接下来,我们定义计算损失的函数:
def function(x, y, w, b):z = ops.matmul(x, w) + b # 正向传播loss = ops.binary_cross_entropy_with_logits(z, y) # 计算损失return loss
使用grad函数计算梯度:
grad_fn = mindspore.grad(function, (2, 3)) # 对w和b求导
grads = grad_fn(x, y, w, b) # 计算梯度
print(grads) # 打印梯度
思考与讲解
在上述代码中,我们首先创建了输入数据x和期望输出y,以及模型参数w和b。通过Parameter类包装参数,使其成为可训练的参数。
在function函数中,我们实现了模型的正向传播过程,并计算了损失。通过grad函数,我们能够自动获取模型参数对损失的梯度,这是自动微分的魔力所在。
Stop Gradient
在某些情况下,我们可能不希望某个中间结果z对最终的梯度计算产生影响。这时,我们可以使用stop_gradient操作来截断梯度的传播:
def function_stop_gradient(x, y, w, b):z = ops.matmul(x, w) + bloss = ops.binary_cross_entropy_with_logits(z, y)return loss, ops.stop_gradient(z)
stop_gradient操作在深度学习中非常有用,尤其是在处理循环神经网络或者需要控制梯度流动的场景中。
神经网络梯度计算
在面向对象编程范式下,我们可以通过继承nn.Cell来构建神经网络模型。以下是一个简单的单层线性网络示例:
class Network(nn.Cell):def init(self):super().init()self.w = wself.b = bdef construct(self, x):z = ops.matmul(x, self.w) + self.breturn z
在构建模型和损失函数后,我们可以通过value_and_grad接口来实现反向传播:
model = Network()
loss_fn = nn.BCEWithLogitsLoss()
forward_fn = lambda x, y: loss_fn(model(x), y)
grad_fn = mindspore.value_and_grad(forward_fn, None, weights=model.trainable_params())
loss, grads = grad_fn(x, y)
print(grads) # 打印梯度
通过面向对象的方式构建模型,我们可以更清晰地组织和管理模型的参数和行为。value_and_grad接口的使用,让我们能够方便地实现反向传播和梯度更新。
自动微分是深度学习框架中的一个强大工具,它简化了梯度计算的过程,使得我们能够专注于模型的设计和优化。通过MindSpore框架的学习和实践,我对自动微分有了更深入的理解。随着学习的深入,我相信我能够更好地应用这些知识来解决实际问题。
相关文章:
《昇思 25 天学习打卡营第 6 天 | 函数式自动微分 》
《昇思 25 天学习打卡营第 6 天 | 函数式自动微分 》 活动地址:https://xihe.mindspore.cn/events/mindspore-training-camp 签名:Sam9029 函数式自动微分 自动微分是深度学习中的一个核心概念,它允许我们自动计算模型参数的梯度,…...
刷题——二叉树的中序遍历
双指针法 void midorder(vector<int>&res, TreeNode* root){if(root NULL) return;midorder(res, root->left);res.push_back(root->val);midorder(res, root->right);}vector<int> inorderTraversal(TreeNode* root) {// write code herevector<…...
圈复杂度.
圈复杂度是衡量代码的重要标准 配置: eslint里面:rules:complexity:[error,10]...
分类预测 | Matlab实现GA-XGBoost遗传算法优化XGBoost的多特征分类预测
分类预测 | Matlab实现GA-XGBoost遗传算法优化XGBoost的多特征分类预测 目录 分类预测 | Matlab实现GA-XGBoost遗传算法优化XGBoost的多特征分类预测效果一览基本介绍程序设计参考资料 效果一览 基本介绍 Matlab实现GA-XGBoost遗传算法优化XGBoost的多特征分类预测,…...
说说 golang 中的接口和反射
1、接口 1.1 类型 Golang 中的接口是一组方法的签名,是实现多态和反射的基础。 type 接口名 interface {method1(参数列表) 返回值列表method2(参数列表) 返回值列表 }不同于 Java 语言,使用 implements 关键字显示的实现接口。Golang 接口的实现都是…...
小程序注册
【 一 】小程序注册 微信公众平台 https://mp.weixin.qq.com/ https://mp.weixin.qq.com/注册 邮箱激活 小程序账户注册 微信小程序配置 微信小程序开发流程 添加项目成员 【 二 】云服务 lass 基础设施服务(组装机) 你买了一大堆的电脑配件&#x…...
工作记录2
1. 要实现y轴超出部分滚动的效果,可以这样写 <div style"max-height: 384px; overflow-y: auto;"> </div> 2. 当后端接口还没好的时候,可以自己模拟一下接口返回的数据 export const getCommodityDetail (id) > Promise.re…...
linux挂载硬盘(解决linux不显示硬盘问题)
目录 1.查看系统有几块硬盘2.查看挂载情况3.格式化硬盘4.创建挂载目录用于挂载硬盘5.将硬盘挂载到指定的挂载目录6.随系统自启动挂载查看配置文件,看是否已经把这条命令加入配置 帮同门解决挂载失败问题记录 参考视频:只要6步!Linux系统下挂载…...
运输标签扫描仪可简化运输和接收任务
Dynamic Web TWAIN 是一个专为Web应用程序设计的TWAIN扫描识别控件。你只需在TWAIN接口写几行代码,就可以用兼容TWAIN的扫描仪扫描文档或从数码相机/采集卡中获取图像。然后用户可以编辑图像并将图像保存为多种格式,用户可保存图像到远程数据库或者Share…...
Stable Diffusion 3 大模型文生图实践
windows教程2024年最新Stable Diffusion本地化部署详细攻略,手把手教程(建议收藏!!)_stable diffusion 本地部署-CSDN博客 linux本地安装教程 1.前期准备工作 1)创建conda环境 conda create --name stable3 python3.10 2)下…...
Linux grep技巧 删除含有指定关键词的行,创建新文件
一. 需求 ⏹有如下文件,现要求 删除含有xuecheng关键字的行删除含有192.168.1.1关键字的行也就是说,最终只会留下127.0.0.1 license.sublimehq.com 127.0.0.1 www.xuecheng.com 127.0.0.1 img.xuecheng.com 192.168.1.1 www.test.com 127.0.0.1 video…...
ChatMoney还能写剧本杀?
本文由 ChatMoney团队出品 近年来,剧本杀作为一种新兴社交游戏,收到了越来越多人的喜爱,它不仅需要玩家们发挥自身演技,还需运用逻辑思维推理,分析所获得的线索,找出案件真凶。然而你是否想过,你…...
优化系统小工具
一款利用VB6编写的系统优化小工具,系统优化、桌面优化、清理垃圾、查找文件等功能。 下载:https://download.csdn.net/download/ty5858/89432367...
调幅信号AM的原理与matlab实现
平台:matlab r2021b 本文知识内容摘自《软件无线电原理和应用》 调幅就是使载波的振幅随调制信号的变化规律而变化。用音频信号进行调幅时,其数学表达式可以写为: 式中,为调制音频信号,为调制指数,它的范围在(0&…...
[MySql]两阶段提交
文章目录 什么是binlog使用binlog进行恢复的流程 什么是redolog缓冲池redologredolog结构 两阶段提交 什么是binlog binlog是二进制格式的文件,用于记录用户对数据库的修改,可以作用于主从复制过程中数据同步以及基于时间点的恢复(PITR&…...
掌握rpc、grpc并探究内在本质
文章目录 rpc是什么?又如何实现服务通信?理解rpcRPC的通信过程通信协议的选择小结RPC VS Restful net_rpc实践案例net/rpc包介绍创建服务端创建client 看看net_rpc的通信调度实现的内部原理明确目标基于自己实现的角度分析我会怎么做代码分析 grpc介绍与…...
构造,析构,垃圾回收
构造函数 基本概念 在实例化对象时 会调用的用于初始化的函数 如果不写,默认存在一个无参构造函数 构造函数的写法 1.没有返回值 2.函数名和类名必须相同 3.没有特殊需求时,一般都是public的 4.构造函数可以被重载 5.this代表当前调用该函数的对…...
杂记 | 搭建反向代理防止OpenAI API被封禁(对于此次收到邮件提示7月9日后将被屏蔽的解决参考)
文章目录 重要声明(免责)01 OpenAI封禁API的情况02 解决方案及原理2.1 原因分析2.2 解决方案2.3 步骤概述 03 操作步骤3.1 购买一个海外服务器3.2 申请一个域名3.3 将域名指向代理服务器3.4 在代理服务器上安装nginx3.5 配置反向代理 重要声明࿰…...
利用ref实现防抖
结合vue的customRef function debounceRef(value,time1000){ let t return customRef((track,trigger)>{ return { get(){ track() return value; } set(val){ clearTimeout(t) tsetTimeout(()>{ trigger() valueval },time) } } }) }...
SAP ABAP 之OOALV
文章目录 前言一、案例介绍/笔者需求二、SE24 查看类 a.基本属性 Properties b.接口 Interfaces c.友元 Friends d.属性 Attributes e.方法 Methods f.事件 Events g.局部类型 Types …...
扩散浓度曲线计算:从实例看 Pandat 代算与自行操作
扩散浓度曲线计算(Pandat代算或自己操作) 实例33: Al-4.06at%Mg/Al扩散偶在781K下退火36960s,Mg元素浓度随距离的变化曲线及实验数据对比如图a所示;Al-11at%Mg/Al扩散偶在773K下退火86400s,Mg元素浓度随距离的变化曲线及实验对比如图b所示&am…...
ncmdumpGUI:一站式NCM音乐格式转换解决方案,轻松搞定加密音乐跨设备播放
ncmdumpGUI:一站式NCM音乐格式转换解决方案,轻松搞定加密音乐跨设备播放 【免费下载链接】ncmdumpGUI C#版本网易云音乐ncm文件格式转换,Windows图形界面版本 项目地址: https://gitcode.com/gh_mirrors/nc/ncmdumpGUI 清晨的音乐烦恼…...
泛微E8流程管理进阶:从数据库角度理解流程状态与节点关系
泛微E8流程管理进阶:从数据库角度理解流程状态与节点关系 在企业的数字化转型浪潮中,流程管理系统扮演着越来越重要的角色。作为国内领先的协同办公平台,泛微E8凭借其强大的流程引擎和灵活的定制能力,成为众多企业的首选。然而&am…...
基于中点电位平衡的光伏NPC三电平逆变器并网仿真研究:额定功率100kW、直流电压750V的M...
光伏NPC三电平逆变并网仿真 [1]包含中点电位平衡,额定功率100kW,直流电压750V。 光伏阵列参数已设定,采用mppt算法(扰动观察法); [2]主电路采用二极管钳位型NPC逆变器; 采用电压电流双闭环控制&…...
等式方程的可满足性
class Solution {public:int find(vector<int>& father,int x){if(father[x]!x)father[x] find(father,father[x]);//如果father[x]不是源头,继续往前找return father[x];}void un(vector<int>& father,int x,int y){father[find(father,x)]fin…...
别再纠结选哪个了!CAN、串口、蓝牙、TCP,手把手教你根据项目场景选通信协议(附Android实战代码)
通信协议选型实战指南:从车载系统到智能家居的黄金法则 当你在凌晨三点的办公室里盯着四块显示器,面前摆着CAN分析仪、蓝牙嗅探器和串口调试终端时,突然意识到项目deadline就在明天——这种场景对嵌入式开发者来说再熟悉不过了。选择错误的通…...
ES10(ES2019)新特性完整指南
ES10(ES2019)新特性发布时间:2019年6月 ES10 新增了数组扁平化、对象转换、字符串修剪等实用方法。1. Array.prototype.flat() 将嵌套数组"拉平",返回一个新数组: 基本用法 [1, 2, [3, 4]].flat(); //…...
八位行波进位加法器设计全攻略:从理论到Quartus II实现
八位行波进位加法器设计全攻略:从理论到Quartus II实现 在数字电路设计中,加法器是最基础也是最重要的运算单元之一。无论是简单的计算器还是复杂的CPU,都离不开高效可靠的加法器设计。八位行波进位加法器作为入门级但实用性极强的设计案例&a…...
SRS流媒体服务器实战:手把手教你配置RTMP转WebRTC(含AAC转Opus避坑指南)
SRS流媒体服务器深度解析:RTMP转WebRTC全链路实战与音频转码优化 1. 低延迟直播技术演进与架构选型 在实时互动场景爆发的今天,传统RTMP协议的高延迟问题日益凸显。根据WebRTC标准委员会的测试数据,基于UDP的WebRTC传输链路能够将端到端延迟控…...
大模型LLM ACA - ACP认证考试模拟试卷一
目录 一、大模型LLM ACA - ACP认证考试 二、大模型LLM ACA - ACP认证考试模拟试卷 (一)单选题:70 题 1 分 70 分 1. 在代码中,answer_correctness 指标的主要作用是什么? 2. 在ask_llm_route函数中,…...
