当前位置： 首页 > news >正文

一次pytorch分布式训练精度调试过程

news 2026/3/28 18:18:30

现象: loss不下降

过程如下:

1.减少层数，准备最小复现环境
2.dropout设置为0，重复运行二次，对比loss是否一致
3.第二次迭代开始loss不一致
4.对比backward之后的梯度,发现某一个梯度不一致
5.dump得到所有算子的规模，单算子测试功能正常
6.怀疑是内存越界导致
7.排除通信库的问题，逐算子bypass
8.dump reduce_scatter的输入，发现每次都不样
9.在异常的时候pause进程,在python调用reduce_scatter的位置打印调用栈
10.定位到有问题的模块,是一个融合算子
11.用普通算子替换,结果一致
12.复测这个规模的融合算子功能正常
13.怀疑算子内部有内存踩踏行为
14.将输入类型从fp16改为fp32,结果正常
15.review该算子内部实现,确实有几行代码将输入当fp32处理

相关文章：

一次pytorch分布式训练精度调试过程

现象: loss不下降 过程如下: 1.减少层数，准备最小复现环境 2.dropout设置为0，重复运行二次，对比loss是否一致 3.第二次迭代开始loss不一致 4.对比backward之后的梯度,发现某一个梯度不一致 5.dump得到所有算子的规模，单算子测试…...

编程日记 2024/5/14 0:07:05

STM32（GPIO）

GPIO简介 GPIO（General Purpose Input Output）通用输入输出口 引脚电平：0V~3.3V，部分引脚可容忍5V 输出模式下可控制端口输出高低电平，用以驱动LED、控制蜂鸣器、模拟通信协议输出时序等 输入模式下可读取端口的高低电…...

编程日记 2024/5/14 0:06:04

python设计模式---观察者模式

观察者模式是一种行为设计模式，用于定义对象之间的一对多依赖关系，当一个对象的状态发生变化时，所有依赖它的对象都会得到通知并自动更新。 from abc import ABC, abstractmethod from typing import Listclass Observable:def __init__(sel…...

编程日记 2024/5/14 0:05:02

【论文笔记】KAN: Kolmogorov-Arnold Networks 全新神经网络架构KAN，MLP的潜在替代者

KAN: Kolmogorov-Arnold Networks code：https://github.com/KindXiaoming/pykan Background ​ 多层感知机（MLP）是机器学习中拟合非线性函数的默认模型，在众多深度学习模型中被广泛的应用。但MLP存在很多明显的缺点：…...

编程日记 2024/5/14 0:02:59

【投稿资讯】区块链会议CCF C -- CoopIS 2024 截止7.10 附录用率

会议名称：CoopIS CCF等级：CCF C类学术会议 类别：人机交互与普适计算 录用率：2023年接收率21% (21 regular 10 work-in-progress papers/100) AREA 5: HUMAN-CENTRIC SECURITY AND PRIVACY IN INFORMATION SYSTEMS Access Con…...

编程日记 2024/5/14 0:01:57

React Native 之 开发环境搭建（一）

1. 安装Node.js： Node.js是React Native开发的基础，因此首先需要安装Node.js。强烈建议始终选择 Node 当前的 LTS （长期维护）版本，一般是偶数版本，不要选择偏实验性质的奇数版本。 如果你希望更方便地管理…...

编程日记 2024/5/14 0:00:55

DS高阶：B树系列

一、常见的搜索结构 1、顺序查找 时间复杂度：O(N) 2、二分查找 时间复杂度：O(logN) 要求：（1）有序 （2）支持下标的随机访问 3、二叉搜索树（BS树） 时间复杂…...

编程日记 2024/5/13 23:59:53

第五百零三回

文章目录 1. 概念介绍2. 使用方法2.1 普通路由2.2 命名路由 3. 示例代码4. 内容总结 我们在上一章回中介绍了"使用get显示Dialog"相关的内容，本章回中将介绍使用get进行路由管理.闲话休提，让我们一起Talk Flutter吧。 1. 概念介绍 我们在本章…...

编程日记 2024/5/13 23:58:51

[动态规划] 完美覆盖

描述 一张普通的国际象棋棋盘，它被分成 8 乘 8 (8 行 8 列) 的 64 个方格。设有形状一样的多米诺牌，每张牌恰好覆盖棋盘上相邻的两个方格，即一张多米诺牌是一张 1 行 2 列或者 2 行 1 列的牌。那么，是否能够把 32 张多米诺牌摆放…...

编程日记 2024/5/13 23:55:47

redis深入理解之实战

1、SpringBoot整合redis 1.1 导入相关依赖 <dependency><groupId>redis.clients</groupId><artifactId>jedis</artifactId> </dependency> <dependency><groupId>org.springframework.boot</groupId><artifactId&g…...

编程日记 2024/5/13 23:54:46

python设计模式---工厂模式

定义了一个抽象类Animal&#xff0c;并且让具体的动物类&#xff08;Dog、Cat、Duck&#xff09;继承自它&#xff0c;并实现了speak方法。然后创建了AnimalFactory工厂类&#xff0c;根据传入的参数来决定创建哪种动物的实例。 from abc import abstractmethod, ABCclass Anim…...

编程日记 2024/5/13 23:53:45

探索Vue 3.0中的v-html指令

探索Vue 3.0中的v-html指令 一、什么是v-html指令&#xff1f;1、 在Vue 3.0中使用v-html2、 注意事项 二、结语 一、什么是v-html指令&#xff1f; Vue.js作为一款流行的JavaScript框架&#xff0c;不断地演进着。随着Vue 3.0的发布&#xff0c;开发者们迎来了更加强大和灵活…...

编程日记 2024/5/13 23:50:41

anaconda 环境配置

官方网站下载地址&#xff1a; https://www.anaconda.com/download/ 国内清华镜像下载地址&#xff1a; https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 配置国内环境: conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ …...

编程日记 2024/5/13 23:49:40

DS：顺序表、单链表的相关OJ题训练（2）

欢迎各位来到 Harper.Lee 的学习世界&#xff01; 博主主页传送门&#xff1a;Harper.Lee的博客主页 想要一起进步的uu欢迎来后台找我哦&#xff01; 一、力扣--141. 环形链表 题目描述&#xff1a;给你一个链表的头节点 head &#xff0c;判断链表中是否有环。如果链表中有某个…...

编程日记 2024/5/13 23:48:38

上传到 PyPI

将软件包上传到 PyPI&#xff08;Python Package Index&#xff09;&#xff0c;您需要遵循以下步骤&#xff1a; 准备软件包&#xff1a;确保您的软件包满足以下要求&#xff1a; 包含一个 setup.py 文件&#xff0c;用于描述软件包的元数据和依赖项。包含软件包的源代码和必要…...

编程日记 2024/5/13 23:47:37

盛最多水的容器（双指针）

解题思路&#xff1a; 1&#xff0c;暴力解法&#xff08;超时&#xff09; 我们可以使用两层for循环进行遍历。找到那个最大的面积即可&#xff0c;这里我就不写代码了&#xff0c;因为写了也是超时。 2&#xff0c;双指针法 先定义两个指针一个在最左端&#xff0c;一个在…...

编程日记 2024/5/13 23:43:32

【深度学习】实验3 特征处理

特征处理 python 版本 3.7 scikit-learn 版本 1.0.2 1.标准化 from sklearn.preprocessing import StandardScaler from sklearn.preprocessing import MinMaxScaler from matplotlib import gridspec import numpy as np import matplotlib.pyplot as plt cps np.random.…...

编程日记 2024/5/13 23:42:31

MoneyPrinter国内版改造

背景&#xff1a; MoneyPrinter 是一个自动生成短视频的开源项目。只需要输入短视频主题&#xff0c;然后就可以生成视频。 在国内环境运行时&#xff0c;框架中使用的youtube、抖音文字转语音等功能无法使用&#xff0c;需要对框架进行国内版改造&#xff0c;使其使用国内网络…...

编程日记 2024/5/13 23:41:30

C++ 派生类的引入与特性

一 继承与派生 从上面的例子可以看出&#xff1a; 继承&#xff1a;一旦指定了某种事物父代的本质特征&#xff0c;那么它的子代将会自动具有哪些性质。这就是一种朴素的可重用的概念。 派生&#xff1a;而且子代可以拥有父代没有的特性&#xff0c;这是可扩充的概念。 1 C 的…...

编程日记 2024/5/13 23:40:28

Poe是什么？怎样订阅Poe？

Poe&#xff08;全称“开放探索平台”&#xff0c;Platform for Open Exploration&#xff09;是一款由Quora开发的移动应用程序&#xff0c;于2022年12月推出。该应用程序内置建基于AI技术的聊天机器人&#xff0c;可供用户向机器人询问专业知识、食谱、日常生活&#xff0c;甚…...

编程日记 2024/5/13 23:37:25

专注核心创新：用快马AI生成openclaw101开发效率工具链

在开发机械臂控制相关的项目时&#xff0c;我发现很多时间都花在了重复造轮子上。特别是做openclaw101这类机械爪的仿真或实体开发时&#xff0c;每次都要从零开始写轨迹规划、数据滤波这些基础功能。最近尝试用InsCode(快马)平台整理了一套工具链&#xff0c;效率提升非常明显…...

编程新知 2026/3/28 17:37:57

uniapp复制文本的两种实现方式对比：从基础到进阶

Uniapp复制文本功能深度解析&#xff1a;从基础实现到跨平台适配 在移动应用和H5页面开发中&#xff0c;复制文本到剪贴板是一个看似简单却直接影响用户体验的基础功能。作为一款跨平台开发框架&#xff0c;Uniapp提供了多种实现方式&#xff0c;但每种方法都有其特定的适用场…...

编程新知 2026/3/28 15:59:06

TradingAgents-CN终极教程：10分钟搭建你的AI股票投资分析系统

TradingAgents-CN终极教程&#xff1a;10分钟搭建你的AI股票投资分析系统 【免费下载链接】TradingAgents-CN 基于多智能体LLM的中文金融交易框架 - TradingAgents中文增强版 项目地址: https://gitcode.com/GitHub_Trending/tr/TradingAgents-CN 还在为复杂的金融量化系…...

编程新知 2026/3/28 15:35:00

图片木马检测与防御：如何用PHP代码识别恶意图片上传（2024最新版）

图片木马检测与防御&#xff1a;2024年PHP实战指南 在数字化浪潮中&#xff0c;图片上传功能已成为网站标配&#xff0c;但这也为攻击者提供了可乘之机。去年某电商平台因图片木马导致百万用户数据泄露的事件&#xff0c;再次敲响了安全警钟。本文将深入剖析如何用PHP构建坚不可…...

编程新知 2026/3/28 15:12:53

nRF Connect扫描功能保姆级教程：从过滤广播数据到分析RSSI信号图，手把手教你精准定位蓝牙设备

nRF Connect扫描功能实战指南&#xff1a;从设备筛选到信号优化的全流程解析 当你面对展会现场上百个闪烁的蓝牙设备指示灯&#xff0c;或是实验室里数十个同型号的传感器节点时&#xff0c;如何快速锁定目标设备就像大海捞针。nRF Connect作为蓝牙开发者的瑞士军刀&#xff0c…...

编程新知 2026/3/28 14:54:48

深入剖析torchvision Faster-RCNN ResNet-50 FPN中的RPN机制与实现细节

1. RPN模块在Faster-RCNN中的核心作用 当你第一次接触目标检测时&#xff0c;可能会被各种专业术语搞得晕头转向。但别担心&#xff0c;RPN&#xff08;Region Proposal Network&#xff09;其实就像是一个"智能扫描仪"&#xff0c;它的任务就是在图像中快速找出可能…...

编程新知 2026/3/28 14:32:40

我的世界Java版1.21.4的Fabric模组开发教程(二)创建物品

这是适用于Minecraft Java版1.21.4的Fabric模组开发系列教程专栏第二章——创建物品。想要阅读其他内容&#xff0c;请查看或订阅上面的专栏。 物品(Items) 指的是可以被玩家和其他实体拾起并使用的元素。想要在Minecraft中添加自己的物品&#xff0c;通常需要完成下面的步骤&…...

编程新知 2026/3/28 14:00:33

socat-windows：开发者与管理员必备的跨平台数据转发工具

socat-windows&#xff1a;开发者与管理员必备的跨平台数据转发工具 【免费下载链接】socat-windows unofficial windows build of socat http://www.dest-unreach.org/socat/ 项目地址: https://gitcode.com/gh_mirrors/so/socat-windows 在网络调试与数据传输领域&…...

编程新知 2026/3/28 13:42:25

如何快速进行.NET Core安全审计：10个关键漏洞扫描技巧

如何快速进行.NET Core安全审计&#xff1a;10个关键漏洞扫描技巧 【免费下载链接】core dotnet/core: 是 .NET Core 的官方仓库&#xff0c;包括 .NET Core 运行时、库和工具。适合对 .NET Core、跨平台开发和想要使用 .NET Core 进行跨平台开发的开发者。 项目地址: https:…...

编程新知 2026/3/28 13:42:25

Ip2region终极指南：如何快速部署高性能离线IP定位系统

Ip2region终极指南&#xff1a;如何快速部署高性能离线IP定位系统 【免费下载链接】ip2region Ip2region (2.0 - xdb) 是一个离线IP地址管理与定位框架&#xff0c;能够支持数十亿级别的数据段&#xff0c;并实现十微秒级的搜索性能。它为多种编程语言提供了xdb引擎实现。 项…...

编程新知 2026/3/28 12:58:04