一次pytorch分布式训练精度调试过程
现象: loss不下降
过程如下:
1.减少层数，准备最小复现环境
2.dropout设置为0，重复运行二次，对比loss是否一致
3.第二次迭代开始loss不一致
4.对比backward之后的梯度,发现某一个梯度不一致
5.dump得到所有算子的规模，单算子测试功能正常
6.怀疑是内存越界导致
7.排除通信库的问题，逐算子bypass
8.dump reduce_scatter的输入，发现每次都不样
9.在异常的时候pause进程,在python调用reduce_scatter的位置打印调用栈
10.定位到有问题的模块,是一个融合算子
11.用普通算子替换,结果一致
12.复测这个规模的融合算子功能正常
13.怀疑算子内部有内存踩踏行为
14.将输入类型从fp16改为fp32,结果正常
15.review该算子内部实现,确实有几行代码将输入当fp32处理
相关文章：
一次pytorch分布式训练精度调试过程
现象: loss不下降 过程如下: 1.减少层数，准备最小复现环境 2.dropout设置为0，重复运行二次，对比loss是否一致 3.第二次迭代开始loss不一致 4.对比backward之后的梯度,发现某一个梯度不一致 5.dump得到所有算子的规模，单算子测试…...
STM32（GPIO）
GPIO简介 GPIO（General Purpose Input Output）通用输入输出口 引脚电平：0V~3.3V，部分引脚可容忍5V 输出模式下可控制端口输出高低电平，用以驱动LED、控制蜂鸣器、模拟通信协议输出时序等 输入模式下可读取端口的高低电…...
python设计模式---观察者模式
观察者模式是一种行为设计模式，用于定义对象之间的一对多依赖关系，当一个对象的状态发生变化时，所有依赖它的对象都会得到通知并自动更新。 from abc import ABC, abstractmethod from typing import Listclass Observable:def __init__(sel…...
【论文笔记】KAN: Kolmogorov-Arnold Networks 全新神经网络架构KAN，MLP的潜在替代者
KAN: Kolmogorov-Arnold Networks code：https://github.com/KindXiaoming/pykan Background 多层感知机（MLP）是机器学习中拟合非线性函数的默认模型，在众多深度学习模型中被广泛的应用。但MLP存在很多明显的缺点：…...
【投稿资讯】区块链会议CCF C -- CoopIS 2024 截止7.10 附录用率
会议名称：CoopIS CCF等级：CCF C类学术会议 类别：人机交互与普适计算 录用率：2023年接收率21% (21 regular 10 work-in-progress papers/100) AREA 5: HUMAN-CENTRIC SECURITY AND PRIVACY IN INFORMATION SYSTEMS Access Con…...
React Native 之 开发环境搭建（一）
1. 安装Node.js： Node.js是React Native开发的基础，因此首先需要安装Node.js。强烈建议始终选择 Node 当前的 LTS （长期维护）版本，一般是偶数版本，不要选择偏实验性质的奇数版本。 如果你希望更方便地管理…...
DS高阶：B树系列
一、常见的搜索结构 1、顺序查找 时间复杂度：O(N) 2、二分查找 时间复杂度：O(logN) 要求：（1）有序 （2）支持下标的随机访问 3、二叉搜索树（BS树） 时间复杂…...
第五百零三回
文章目录 1. 概念介绍2. 使用方法2.1 普通路由2.2 命名路由 3. 示例代码4. 内容总结 我们在上一章回中介绍了"使用get显示Dialog"相关的内容，本章回中将介绍使用get进行路由管理.闲话休提，让我们一起Talk Flutter吧。 1. 概念介绍 我们在本章…...
[动态规划] 完美覆盖
描述 一张普通的国际象棋棋盘，它被分成 8 乘 8 (8 行 8 列) 的 64 个方格。设有形状一样的多米诺牌，每张牌恰好覆盖棋盘上相邻的两个方格，即一张多米诺牌是一张 1 行 2 列或者 2 行 1 列的牌。那么，是否能够把 32 张多米诺牌摆放…...
redis深入理解之实战
1、SpringBoot整合redis 1.1 导入相关依赖 <dependency><groupId>redis.clients</groupId><artifactId>jedis</artifactId> </dependency> <dependency><groupId>org.springframework.boot</groupId><artifactId&g…...
python设计模式---工厂模式
定义了一个抽象类Animal，并且让具体的动物类（Dog、Cat、Duck）继承自它，并实现了speak方法。然后创建了AnimalFactory工厂类，根据传入的参数来决定创建哪种动物的实例。 from abc import abstractmethod, ABCclass Anim…...
探索Vue 3.0中的v-html指令
探索Vue 3.0中的v-html指令 一、什么是v-html指令？1、 在Vue 3.0中使用v-html2、 注意事项 二、结语 一、什么是v-html指令？ Vue.js作为一款流行的JavaScript框架，不断地演进着。随着Vue 3.0的发布，开发者们迎来了更加强大和灵活…...
anaconda 环境配置
官方网站下载地址： https://www.anaconda.com/download/ 国内清华镜像下载地址： https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 配置国内环境: conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ …...
DS：顺序表、单链表的相关OJ题训练（2）
欢迎各位来到 Harper.Lee 的学习世界！ 博主主页传送门：Harper.Lee的博客主页 想要一起进步的uu欢迎来后台找我哦！ 一、力扣--141. 环形链表 题目描述：给你一个链表的头节点 head ，判断链表中是否有环。如果链表中有某个…...
上传到 PyPI
将软件包上传到 PyPI（Python Package Index），您需要遵循以下步骤： 准备软件包：确保您的软件包满足以下要求： 包含一个 setup.py 文件，用于描述软件包的元数据和依赖项。包含软件包的源代码和必要…...
盛最多水的容器（双指针）
解题思路： 1，暴力解法（超时） 我们可以使用两层for循环进行遍历。找到那个最大的面积即可，这里我就不写代码了，因为写了也是超时。 2，双指针法 先定义两个指针一个在最左端，一个在…...
【深度学习】实验3 特征处理
特征处理 python 版本 3.7 scikit-learn 版本 1.0.2 1.标准化 from sklearn.preprocessing import StandardScaler from sklearn.preprocessing import MinMaxScaler from matplotlib import gridspec import numpy as np import matplotlib.pyplot as plt cps np.random.…...
MoneyPrinter国内版改造
背景： MoneyPrinter 是一个自动生成短视频的开源项目。只需要输入短视频主题，然后就可以生成视频。 在国内环境运行时，框架中使用的youtube、抖音文字转语音等功能无法使用，需要对框架进行国内版改造，使其使用国内网络…...
C++ 派生类的引入与特性
一 继承与派生 从上面的例子可以看出： 继承：一旦指定了某种事物父代的本质特征，那么它的子代将会自动具有哪些性质。这就是一种朴素的可重用的概念。 派生：而且子代可以拥有父代没有的特性，这是可扩充的概念。 1 C 的…...
Poe是什么？怎样订阅Poe？
Poe（全称“开放探索平台”，Platform for Open Exploration）是一款由Quora开发的移动应用程序，于2022年12月推出。该应用程序内置建基于AI技术的聊天机器人，可供用户向机器人询问专业知识、食谱、日常生活，甚…...
8k长序列建模，蛋白质语言模型Prot42仅利用目标蛋白序列即可生成高亲和力结合剂
蛋白质结合剂（如抗体、抑制肽）在疾病诊断、成像分析及靶向药物递送等关键场景中发挥着不可替代的作用。传统上，高特异性蛋白质结合剂的开发高度依赖噬菌体展示、定向进化等实验技术，但这类方法普遍面临资源消耗巨大、研发周期冗长…...
蓝桥杯 2024 15届国赛 A组 儿童节快乐
P10576 [蓝桥杯 2024 国 A] 儿童节快乐 题目描述 五彩斑斓的气球在蓝天下悠然飘荡，轻快的音乐在耳边持续回荡，小朋友们手牵着手一同畅快欢笑。在这样一片安乐祥和的氛围下，六一来了。 今天是六一儿童节，小蓝老师为了让大家在节…...
ffmpeg（四）：滤镜命令
FFmpeg 的滤镜命令是用于音视频处理中的强大工具，可以完成剪裁、缩放、加水印、调色、合成、旋转、模糊、叠加字幕等复杂的操作。其核心语法格式一般如下： ffmpeg -i input.mp4 -vf "滤镜参数" output.mp4或者带音频滤镜： ffmpeg…...
【服务器压力测试】本地PC电脑作为服务器运行时出现卡顿和资源紧张（Windows/Linux）
要让本地PC电脑作为服务器运行时出现卡顿和资源紧张的情况，可以通过以下几种方式模拟或触发： 1. 增加CPU负载 运行大量计算密集型任务，例如： 使用多线程循环执行复杂计算（如数学运算、加密解密等）。运行图…...
python爬虫——气象数据爬取
一、导入库与全局配置 python 运行 import json import datetime import time import requests from sqlalchemy import create_engine import csv import pandas as pd作用： 引入数据解析、网络请求、时间处理、数据库操作等所需库。requests：发送 …...
django blank 与 null的区别
1.blank blank控制表单验证时是否允许字段为空 2.null null控制数据库层面是否为空 但是，要注意以下几点： Django的表单验证与null无关：null参数控制的是数据库层面字段是否可以为NULL，而blank参数控制的是Django表单验证时字…...
windows系统MySQL安装文档
概览：本文讨论了MySQL的安装、使用过程中涉及的解压、配置、初始化、注册服务、启动、修改密码、登录、退出以及卸载等相关内容，为学习者提供全面的操作指导。关键要点包括： 解压 ：下载完成后解压压缩包，得到MySQL 8.…...
什么是VR全景技术
VR全景技术，全称为虚拟现实全景技术，是通过计算机图像模拟生成三维空间中的虚拟世界，使用户能够在该虚拟世界中进行全方位、无死角的观察和交互的技术。VR全景技术模拟人在真实空间中的视觉体验，结合图文、3D、音视频等多媒体元素…...
LCTF液晶可调谐滤波器在多光谱相机捕捉无人机目标检测中的作用
中达瑞和自2005年成立以来，一直在光谱成像领域深度钻研和发展，始终致力于研发高性能、高可靠性的光谱成像相机，为科研院校提供更优的产品和服务。在《低空背景下无人机目标的光谱特征研究及目标检测应用》这篇论文中提到中达瑞和 LCTF 作为多…...
【深度学习新浪潮】什么是credit assignment problem？
Credit Assignment Problem（信用分配问题） 是机器学习，尤其是强化学习（RL）中的核心挑战之一，指的是如何将最终的奖励或惩罚准确地分配给导致该结果的各个中间动作或决策。在序列决策任务中，智能体执行一系列动作后获得一个最终奖励，但每个动作对最终结果的贡献程度往往…...