当前位置： 首页 > news >正文

PyTorch Autograd内部实现

news 2026/1/31 11:57:53

原文：

克補 爆炸篇 25s (youtube.com)

必应视频 (bing.com)icon-default.png?t=N7T8https://www.bing.com/videos/riverview/relatedvideo?&q=PyTorch+autograd&qpvt=PyTorch+autograd&mid=1B8AD76943EFADD541E01B8AD76943EFADD541E0&&FORM=VRDGAR

前面只要有一个node的requires_grad为True，则后面所有node都要为True:

forward阶段，ctx里存放其backward操作需要的值，也就是forward时的部分input或output值；

requires_grad为False的(Tensor b)，不会计算其梯度；

requires_grad为True，且is_leaf为Tree的，会将梯度累积到其grad成员上；

优化：如果is_leaf=False，则说明不需要该Tensor的grad，所以，grad_fn直接将output梯度传递给下一个grad_fn了，绕开对该Tensor的grad的更新；（节省一步梯度加和操作的时间，也节省一个grad数据存储空间）

用_version号来防止backward时用到的activation在之前发生改动；如果_version号跟本次backward源头的_version号不同了，则报错；

我：Pipeline并行，如果直接做，就会有这种报错出现；

如果是Add操作这种，压根不需要某些activation的值，所以这种值发生改动，不影响backward传递参数，因此就不会报错

每个运算，是一个独立的operator，对应backward也是独立的：

Tensor.detach()，用在什么情况：想保留结果值，但又想把原始计算图垃圾回收释放掉；新Tensor和老Tensor共享数据内存(data)，但不在hold指向计算图的reference了(grad_fn=None)

 

相关文章：

PyTorch Autograd内部实现

原文： 克補 爆炸篇 25s (youtube.com) 必应视频 (bing.com)https://www.bing.com/videos/riverview/relatedvideo?&qPyTorchautograd&qpvtPyTorchautograd&mid1B8AD76943EFADD541E01B8AD76943EFADD541E0&&FORMVRDGAR 前面只要有一个node的re…...

编程日记 2024/7/21 3:13:05

微信小程序 vant-weapp的 SwipeCell 滑动单元格 van-swipe-cell 滑动单元格不显示 和 样式问题 滑动后删除样式不显示

在微信小程序开发过程中 遇到个坑 此处引用 swipeCell 组件 刚开始是组件不显示 然后又遇到样式不生效 首先排除问题 是否在.json文件中引入了组件 {"usingComponents": {"van-swipe-cell": "vant/weapp/swipe-cell/index","van-cell-gro…...

编程日记 2024/7/21 3:11:03

3.4、matlab实现SGM/BM/SAD立体匹配算法计算视差图

1、matlab实现SGM/BM/SAD立体匹配算法计算视差图简介 SGM（Semi-Global Matching）、BM（Block Matching）和SAD（Sum of Absolute Differences）都是用于计算立体匹配（Stereo Matching）的…...

编程日记 2024/7/21 3:07:59

【瑞吉外卖 | day07】移动端菜品展示、购物车、下单

文章目录 瑞吉外卖 — day71. 导入用户地址簿相关功能代码1.1 需求分析1.2 数据模型1.3 代码开发 2. 菜品展示2.1 需求分析2.2 代码开发 3. 购物车3.1 需求分析3.2 数据模型3.3 代码开发 4. 下单4.1 需求分析4.2 数据模型4.3 代码开发 瑞吉外卖 — day7 移动端相关业务功能 —…...

编程日记 2024/7/21 3:06:58

前端Vue项目中腾讯地图SDK集成：经纬度与地址信息解析的实践

在前端开发中，我们经常需要将经纬度信息转化为具体的地址信息，这对于定位、地图展示等功能至关重要。Vue作为现代前端框架的代表，其组件化开发的特性使得我们能够更高效地实现这一功能。本文将介绍如何在Vue项目中集成腾讯地图SDK&#xff0c…...

编程日记 2024/7/21 3:03:55

鸿蒙开发StableDiffusion绘画应用

Stable Diffusion AI绘画 基于鸿蒙开发的Stable Diffusion应用。 Stable Diffusion Server后端代码 Stable Diffusion 鸿蒙应用代码 AI绘画 ​ 使用Axios发送post网络请求访问AI绘画服务器 api ，支持生成图片保存到手机相册。后端服务是基于flaskStable Diffusion …...

编程日记 2024/7/21 2:56:47

华为OD机考题(HJ61 放苹果)

前言 经过前期的数据结构和算法学习，开始以OD机考题作为练习题，继续加强下熟练程度。 描述 把m个同样的苹果放在n个同样的盘子里，允许有的盘子空着不放，问共有多少种不同的分法？ 注意：如果有7个苹果和3…...

编程日记 2024/7/21 2:44:35

浅谈Visual Studio 2022

Visual Studio 2022（VS2022）提供了众多强大的功能和改进，旨在提高开发者的效率和体验。以下是一些关键功能的概述：12 64位支持：VS2022的64位版本不再受内存限制困扰，主devenv.exe进程不再局限于4GB&#xf…...

编程日记 2024/7/21 2:43:34

spark 动态资源分配dynamicAllocation

动态资源分配，主要是spark在运行中可以相对合理的分配资源。 初始申请的资源远超实际需要，减少executor初始申请的资源比实际需要少很多，增多executorSpark运行多个job，这些job所需资源有的多有的少，动态调整executor…...

编程日记 2024/7/21 2:42:33

【C语言ffmpeg】打开第一个视频

文章目录 前言须知ffmpeg打开文件基本流程图ffmpeg打开媒体文件AVFormatContext *avformat_alloc_context(void);AVFormatContext 成员变量及其作用AVInputFormat *iformatAVOutputFormat *oformatvoid *priv_dataAVIOContext *pbunsigned int nb_streamsAVStream **streamscha…...

编程日记 2024/7/21 2:39:30

【Langchain大语言模型开发教程】模型、提示和解析

🔗 LangChain for LLM Application Development - DeepLearning.AI 学习目标 1、使用Langchain实例化一个LLM的接口 2、 使用Langchain的模板功能，将需要改动的部分抽象成变量，在具体的情况下替换成需要的内容，来达到模板复用效…...

编程日记 2024/7/21 2:36:27

Flutter 中的基本数据类型：num、int 和 double

在 Dart 编程语言中，数值类型的基础是 num，而 int 和 double 则是 num 的子类型。在开发 Flutter 应用时，理解这三者的区别和使用场景是非常重要的。本文将详细介绍 num、int 和 double 的定义及其使用区别。 num num 是 Dart 中的数值类型…...

编程日记 2024/7/21 2:34:25

基于Python+Django，开发的一个在线教育系统

一、项目简介 使用Python的web框架Django进行开发的一个在线教育系统！ 二、所需要的环境与组件 Python3.6 Django1.11.7 Pymysql Mysql pure_pagination DjangoUeditor captcha xadmin crispy_forms 三、安装 1. 下载项目后进入项目目录cd Online-educ…...

编程日记 2024/7/21 2:32:23

密码学原理精解【9】

这里写目录标题 迭代密码概述SPN具体算法过程SPN算法基本步骤举例说明注意 轮换-置换网络一、定义与概述二、核心组件三、加密过程四、应用实例五、总结 轮函数理论定义与作用特点与性质应用实例总结 迭代密码理论定义与原理特点与优势应用场景示例发展趋势 AES特点概述一、算法…...

编程日记 2024/7/21 2:30:21

【Nacos】Nacos服务注册与发现 心跳检测机制源码解析

在前两篇文章，介绍了springboot的自动配置原理，而nacos的服务注册就依赖自动配置原理。 Nacos Nacos核心功能点 服务注册 :Nacos Client会通过发送REST请求的方式向Nacos Server注册自己的服务，提供自身的元数据，比如ip地址、端…...

编程日记 2024/7/21 2:27:17

python 66 个冷知识 0720

66个有趣的Python冷知识 一行反转列表 使用切片一行反转列表：reversed_list my_list[::-1] 统计文件单词数量 使用 collections.Counter 统计文件中每个单词的数量：from collections import Counter; with open(file.txt) as f: word_count Counter(f…...

编程日记 2024/7/21 2:26:15

利用PyTorch进行模型量化

利用PyTorch进行模型量化 目录 利用PyTorch进行模型量化 一、模型量化概述 1.为什么需要模型量化？ 2.模型量化的挑战 二、使用PyTorch进行模型量化 1.PyTorch的量化优势 2.准备工作 3.选择要量化的模型 4.量化前的准备工作 三、PyTorch的量化工具包 1.介…...

编程日记 2024/7/21 2:18:07

Android 小白菜鸟从入门到精通教程

前言 Android一词最早出现于法国作家利尔亚当（Auguste Villiers de l’Isle-Adam）在1886年发表的科幻小说《未来的夏娃》（L’ve future）中。他将外表像人的机器起名为Android。从初学者的角度出发，通过通俗易懂的语言…...

编程日记 2024/7/21 2:13:03

php相关

php相关 ​ 借鉴了小迪安全以及各位大佬的博客，如果一切顺利，会不定期更新。 如果感觉不妥，可以私信删除。 默认有php基础。 文章目录 php相关1. php 缺陷函数1. 与2. MD53. intval()4. preg_match() 2. php特性1. php字符串解析特性2. 杂…...

编程日记 2024/7/21 2:09:59

uniapp上传功能用uni-file-picker实现

文章目录 html代码功能实现css样式代码 html代码 <uni-file-pickerselect"onFileSelected"cancel"onFilePickerCancel"limit"1"class"weightPage-upload-but"file-mediatype"image"></uni-file-picker><imag…...

编程日记 2024/7/21 2:08:58

应用升级/灾备测试时使用guarantee 闪回点迅速回退

1.场景 应用要升级,当升级失败时,数据库回退到升级前. 要测试系统,测试完成后,数据库要回退到测试前。 相对于RMAN恢复需要很长时间&#xff0c; 数据库闪回只需要几分钟。 2.技术实现 数据库设置 2个db_recovery参数 创建guarantee闪回点&#xff0c;不需要开启数据库闪回。…...

编程新知 2026/1/14 22:12:47

微信小程序之bind和catch

这两个呢&#xff0c;都是绑定事件用的&#xff0c;具体使用有些小区别。 官方文档&#xff1a; 事件冒泡处理不同 bind&#xff1a;绑定的事件会向上冒泡&#xff0c;即触发当前组件的事件后&#xff0c;还会继续触发父组件的相同事件。例如&#xff0c;有一个子视图绑定了b…...

编程新知 2026/1/20 7:33:02

css实现圆环展示百分比，根据值动态展示所占比例

代码如下 <view class""><view class"circle-chart"><view v-if"!!num" class"pie-item" :style"{background: conic-gradient(var(--one-color) 0%,#E9E6F1 ${num}%),}"></view><view v-else …...

编程新知 2026/1/26 22:27:53

在rocky linux 9.5上在线安装 docker

前面是指南&#xff0c;后面是日志 sudo dnf config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo sudo dnf install docker-ce docker-ce-cli containerd.io -y docker version sudo systemctl start docker sudo systemctl status docker …...

编程新知 2025/7/27 10:03:12

视频字幕质量评估的大规模细粒度基准

大家读完觉得有帮助记得关注和点赞&#xff01;&#xff01;&#xff01; 摘要 视频字幕在文本到视频生成任务中起着至关重要的作用&#xff0c;因为它们的质量直接影响所生成视频的语义连贯性和视觉保真度。尽管大型视觉-语言模型&#xff08;VLMs&#xff09;在字幕生成方面…...

编程新知 2026/1/30 14:36:22

【JavaSE】绘图与事件入门学习笔记

-Java绘图坐标体系 坐标体系-介绍 坐标原点位于左上角&#xff0c;以像素为单位。 在Java坐标系中,第一个是x坐标,表示当前位置为水平方向&#xff0c;距离坐标原点x个像素;第二个是y坐标&#xff0c;表示当前位置为垂直方向&#xff0c;距离坐标原点y个像素。 坐标体系-像素 …...

编程新知 2025/12/19 20:46:15

OPenCV CUDA模块图像处理-----对图像执行 均值漂移滤波（Mean Shift Filtering）函数meanShiftFiltering()

操作系统&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 编程语言&#xff1a;C11 算法描述 在 GPU 上对图像执行 均值漂移滤波&#xff08;Mean Shift Filtering&#xff09;&#xff0c;用于图像分割或平滑处理。 该函数将输入图像中的…...

编程新知 2026/1/20 12:53:30

MyBatis中关于缓存的理解

MyBatis缓存 MyBatis系统当中默认定义两级缓存&#xff1a;一级缓存、二级缓存 默认情况下&#xff0c;只有一级缓存开启&#xff08;sqlSession级别的缓存&#xff09;二级缓存需要手动开启配置&#xff0c;需要局域namespace级别的缓存 一级缓存&#xff08;本地缓存&#…...

编程新知 2026/1/28 9:22:13

AT模式下的全局锁冲突如何解决？

一、全局锁冲突解决方案 1. 业务层重试机制&#xff08;推荐方案&#xff09; Service public class OrderService {GlobalTransactionalRetryable(maxAttempts 3, backoff Backoff(delay 100))public void createOrder(OrderDTO order) {// 库存扣减&#xff08;自动加全…...

编程新知 2026/1/10 0:03:14

HTML版英语学习系统

HTML版英语学习系统 这是一个完全免费、无需安装、功能完整的英语学习工具&#xff0c;使用HTML CSS JavaScript实现。 功能 文本朗读练习 - 输入英文文章&#xff0c;系统朗读帮助练习听力和发音&#xff0c;适合跟读练习&#xff0c;模仿学习&#xff1b;实时词典查询 - 双…...

编程新知 2026/1/28 17:37:26