当前位置： 首页 > news >正文

Pytorch 分布式训练（DP/DDP）

news 2025/12/31 18:44:15

概念

PyTorch是非常流行的深度学习框架，它在主流框架中对于灵活性和易用性的平衡最好。

分布式训练根据并行策略的不同，可以分为模型并行和数据并行。

模型并行

模型并行主要应用于模型相比显存来说更大，一块 GPU 无法加载的场景，通过把模型切割为几个部分，分别加载到不同的 GPU 上，来进行训练

数据并行

这个是日常会应用的比较多的情况。即每个 GPU 复制一份模型，将一批样本分为多份分发到各个GPU模型并行计算。因为求导以及加和都是线性的，数据并行在数学上也有效。采用数据并行相当于加大了batch_size，得到更准确的梯度或者加速训练

常用的 API 有两个：

torch.nn.DataParallel(DP)
torch.nn.DistributedDataParallel(DDP)
DP 相比 DDP 使用起来更友好（代码少），但是 DDP 支持多机多卡，训练速度更快，而且负载相对要均衡一些。所以优先选用 DDP 吧。
 

参考

Pytorch 分布式训练（DP/DDP）_pytorch分布式训练_ytusdc的博客-CSDN博客

PyTorch分布式训练简明教程(2022更新版) - 知乎 

Pytorch分布式训练 - 知乎 

Pytorch多机多卡分布式训练 - 知乎

Pytorch - 多机多卡极简实现（附源码） - 知乎

相关文章：

Pytorch 分布式训练（DP/DDP）

概念 PyTorch是非常流行的深度学习框架，它在主流框架中对于灵活性和易用性的平衡最好。 分布式训练根据并行策略的不同，可以分为模型并行和数据并行。 模型并行 模型并行主要应用于模型相比显存来说更大，一块 GPU 无法加载的场景&#xf…...

编程日记 2023/9/9 6:32:30

替换滚珠螺杆需要了解哪些参数？

滚珠螺杆具有定位精度高、高寿命、低污染和可做高速正逆向的传动及变换传动等特性，因具上述特性，滚珠螺杆已成为近来精密科技产业及精密机械产业的定位及测量系统上的重要零组件之一。 众所周知，滚珠螺杆是可以替换的，不仅同品牌之…...

编程日记 2023/9/9 6:31:28

CentOS系统环境搭建（十九）——CentOS7安装chat GPT

centos系统环境搭建专栏🔗点击跳转 CentOS7安装chat GPT Welcome to the AI era! 基于上一篇文章CentOS系统环境搭建（十八）——CentOS7安装Docker20.10.12和docker compose v2，你已经安装了docker20以上的版本。那么&#xff0…...

编程日记 2023/9/9 6:30:27

【办公类-19-03】办公中的思考——Python批量制作word单元格照片和文字（小照片系列）

背景需求： 工会老师求助：如何在word里面插入4*8的框，我怎么也拉不到4*8大小（她用的是我WORD 文本框） 我一听，这又是要手动反复黏贴“文本框”“照片”“文字”的节奏哦 我问：你要做几个人&…...

编程日记 2023/9/9 6:29:26

【Spring】Spring Bean的4种依赖注入方式

文章目录 前言1. 构造方法注入2. set方法注入3. 自动装配4. 注解 前言 所谓依赖注入，其实就是给对象里的属性赋值，因为对象里有其他对象，因此就形成了依赖。Spring有4种方式来给属性赋值： 构造方法注入set方法注入自动装配注解 …...

编程日记 2023/9/9 6:28:25

overleaf 参考文献引用，创建引用目录.bib文件,在文档中引用参考文献，生成参考文献列表

目录 1 创建一个Overleaf项目 2 导入或创建 .bib 文件 2.1 导入 .bib 文件： 参考文献的 .bib文件获取步骤 （1）打开谷歌学术 （2）输入文献题目 （3）点击引用，然后选择BibTex格式…...

编程日记 2023/9/9 6:27:24

算法通关村第十八关：青铜挑战-回溯是怎么回事

青铜挑战-回溯是怎么回事 回溯，最重要的算法之一 主要解决一些暴力枚举也搞不定的问题，例如组合、分割、子集、排列、棋盘等 从性能角度来看回溯算法的效率并不高，但对于这些暴力都搞不定的算法能出结果就很好了，效率低点没关系…...

编程日记 2023/9/9 6:26:23

【Redis】深入探索 Redis 的数据类型 —— 字符串 string

文章目录 前言一、string 类型的操作命令设置和获取相关命令1. SET 和 GET2. MSET 和 MGET3. SETNX、SETEX、SETPX 计数相关命令1. INCR 和 INCRBY2. DECR 和 DECRBY3. INCRBYFLOAT 字符串操作相关命令1. APPEND2. GETRANGE3. SETRANGE4. STRLEN string 相关命令总结 二、strin…...

编程日记 2023/9/9 6:25:22

Linux操作命令笔记

Linux Linux的字母大小写下载和卸载软件更新查看空间使用情况当前目录所在的位置查看文件中的内容查看目录下的文件重启关机移动文件磁盘管理软件修改权限删除文件或文件夹新建文件夹移动一个文件夹文件重命名编译C和C文件VIM编辑器的相关操作 Linux的字母大小写 Linux的文件以…...

编程日记 2023/9/9 6:24:20

1.8 工程相关解析(各种文件，资源访问

目录 1.8 工程相关解析(各种文件，资源访问) 分类 Android 基础入门教程 本节引言： 1.工程项目结构解析： 1.res资源文件夹介绍： 2.如何去使用这些资源 2.深入了解三个文件： MainActivity.java： 布局…...

编程日记 2023/9/9 6:23:17

unity 前后左右 移动

using System.Collections; using System.Collections.Generic; using UnityEngine; public class NewBehaviourScript : MonoBehaviour { public float moveSpeed 5f; // 移动速度 public float rotateSpeed 180f; // 旋转速度 // Start is called before the firs…...

编程日记 2023/9/9 6:22:16

计算机视觉传统图像处理库opencv的使用

人工智能领域的图像处理分支，整理了计算机视觉传统图像处理库opencv的使用网址链接。 opencv使用范围，主要用在计算机视觉、视频分析、机器学习、医学影像处理、自动驾驶、工业检测、游戏开发上。 1）：opencv效果视频 opencv10个应…...

编程日记 2023/9/9 6:21:15

【数据库】通过实例讲清楚，Mongodb的增删查改，分组查询，聚合查询aggregate

目录 一.基础概念 二.数据库的管理 1.创建数据库 2.删除数据库 二.集合的管理 1.显示所有集合 2.创建集合 3.删除当前集合 4.向集合中插入元素 三.文档的管理 1.文档插入 2.文档的更新 3.文档的删除 4.文档查询 （1）查询基本语法&#xff1…...

编程日记 2023/9/9 6:20:14

vue + video.js 加载多种视频流（HLS、FLV、RTMP、RTSP）

起因： 由于需要在一个项目内接入多种常用的视频流，所以接触到video.js，这里就做个记录。 框架： vue2 video.js videojs-contrib-hls videojs-flvjs-es6 videojs-flash video-js.swf vue安装就不讲了，直接从项目…...

编程日记 2023/9/9 6:19:13

用 Python 微调 ChatGPT (GPT-3.5 Turbo)

用 Python 微调 ChatGPT (GPT-3.5 Turbo) 备受期待的 GPT-3.5 Turbo 微调功能现已推出，并且为今年秋季即将发布的 GPT-4 微调功能奠定了基础。 这不仅仅是一次简单的更新——它是一个游戏规则改变者，为开发人员提供了完美定制人工智能模型的关键解决方案…...

编程日记 2023/9/9 6:18:12

单目标应用：基于蜘蛛蜂优化算法（Spider wasp optimizer，SWO）的微电网优化调度MATLAB

一、微网系统运行优化模型 微电网优化模型介绍： 微电网多目标优化调度模型简介_IT猿手的博客-CSDN博客 二、蜘蛛蜂优化算法 蜘蛛蜂优化算法（Spider wasp optimizer，SWO）由Mohamed Abdel-Basset等人于2023年提出，该…...

编程日记 2023/9/9 6:17:11

2023年7月京东饮料行业数据分析（京东运营数据分析）

饮料消费已成为当下快消品行业里的主力军，随着社会群体喜好的改变、消费群体的不断扩大，可选择的饮料种类越来越多，我国饮料市场的体量也较为庞大。根据鲸参谋电商数据分析平台的数据显示，今年7月份，京东平台饮料的销量…...

编程日记 2023/9/9 6:16:10

执行 JUnit 单元测试前，修改环境变量

同一份代码，在不改变配置文件的情况下，可以连接不同的数据库，进行JUnit测试。 非开发、测试、生产环境的区别。而是 我就站在这里，指哪打哪！ 避免重复造轮子，参考博文： 使用junit&spri…...

编程日记 2023/9/9 6:15:09

openGauss学习笔记-63 openGauss 数据库管理-资源池化架构

文章目录 openGauss学习笔记-63 openGauss 数据库管理-资源池化架构 openGauss学习笔记-63 openGauss 数据库管理-资源池化架构 本文档主要介绍资源池化架构下的一些最佳实践和使用注意事项，用于支撑对相关特性感兴趣的开发者可以快速部署、实践或进行定制化开发。…...

编程日记 2023/9/9 6:14:07

计算机竞赛 基于深度学习的植物识别算法 - cnn opencv python

文章目录 0 前言1 课题背景2 具体实现3 数据收集和处理3 MobileNetV2网络4 损失函数softmax 交叉熵4.1 softmax函数4.2 交叉熵损失函数 5 优化器SGD6 最后 0 前言 🔥 优质竞赛项目系列，今天要分享的是 🚩 **基于深度学习的植物识别算法 ** …...

编程日记 2023/9/9 6:13:07

RestClient

什么是RestClient RestClient 是 Elasticsearch 官方提供的 Java 低级 REST 客户端，它允许HTTP与Elasticsearch 集群通信，而无需处理 JSON 序列化/反序列化等底层细节。它是 Elasticsearch Java API 客户端的基础。 RestClient 主要特点 轻量级&#xff…...

编程新知 2025/11/30 15:33:36

【根据当天日期输出明天的日期(需对闰年做判定)。】2022-5-15

缘由根据当天日期输出明天的日期(需对闰年做判定)。日期类型结构体如下： struct data{ int year; int month; int day;};-编程语言-CSDN问答 struct mdata{ int year; int month; int day; }mdata; int 天数(int year, int month) {switch (month){case 1: case 3:…...

编程新知 2025/11/27 21:52:13

CTF show Web 红包题第六弹

提示 1.不是SQL注入 2.需要找关键源码 思路 进入页面发现是一个登录框，很难让人不联想到SQL注入，但提示都说了不是SQL注入，所以就不往这方面想了 ​ 先查看一下网页源码，发现一段JavaScript代码，有一个关键类ctfs…...

编程新知 2025/12/30 19:30:43

黑马Mybatis

Mybatis 表现层&#xff1a;页面展示 业务层&#xff1a;逻辑处理 持久层&#xff1a;持久数据化保存 在这里插入图片描述 Mybatis快速入门 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/6501c2109c4442118ceb6014725e48e4.png //logback.xml <?xml ver…...

编程新知 2025/12/31 9:58:33

visual studio 2022更改主题为深色

visual studio 2022更改主题为深色 点击visual studio 上方的 工具-> 选项 在选项窗口中&#xff0c;选择 环境 -> 常规 &#xff0c;将其中的颜色主题改成深色 点击确定&#xff0c;更改完成...

编程新知 2025/12/17 16:30:13

Linux相关概念和易错知识点（42）（TCP的连接管理、可靠性、面临复杂网络的处理）

目录 1.TCP的连接管理机制&#xff08;1&#xff09;三次握手①握手过程②对握手过程的理解 &#xff08;2&#xff09;四次挥手&#xff08;3&#xff09;握手和挥手的触发&#xff08;4&#xff09;状态切换①挥手过程中状态的切换②握手过程中状态的切换 2.TCP的可靠性&…...

编程新知 2025/12/23 12:38:37

土地利用/土地覆盖遥感解译与基于CLUE模型未来变化情景预测；从基础到高级，涵盖ArcGIS数据处理、ENVI遥感解译与CLUE模型情景模拟等

&#x1f50d; 土地利用/土地覆盖数据是生态、环境和气象等诸多领域模型的关键输入参数。通过遥感影像解译技术&#xff0c;可以精准获取历史或当前任何一个区域的土地利用/土地覆盖情况。这些数据不仅能够用于评估区域生态环境的变化趋势&#xff0c;还能有效评价重大生态工程…...

编程新知 2025/9/12 15:10:44

【服务器压力测试】本地PC电脑作为服务器运行时出现卡顿和资源紧张（Windows/Linux）

要让本地PC电脑作为服务器运行时出现卡顿和资源紧张的情况&#xff0c;可以通过以下几种方式模拟或触发&#xff1a; 1. 增加CPU负载 运行大量计算密集型任务&#xff0c;例如&#xff1a; 使用多线程循环执行复杂计算&#xff08;如数学运算、加密解密等&#xff09;。运行图…...

编程新知 2025/11/30 10:30:15

Java入门学习详细版（一）

大家好&#xff0c;Java 学习是一个系统学习的过程&#xff0c;核心原则就是“理论 实践 坚持”&#xff0c;并且需循序渐进&#xff0c;不可过于着急&#xff0c;本篇文章推出的这份详细入门学习资料将带大家从零基础开始&#xff0c;逐步掌握 Java 的核心概念和编程技能。 …...

编程新知 2025/12/14 14:47:02

【Go语言基础【13】】函数、闭包、方法

文章目录 零、概述一、函数基础1、函数基础概念2、参数传递机制3、返回值特性3.1. 多返回值3.2. 命名返回值3.3. 错误处理 二、函数类型与高阶函数1. 函数类型定义2. 高阶函数&#xff08;函数作为参数、返回值&#xff09; 三、匿名函数与闭包1. 匿名函数&#xff08;Lambda函…...

编程新知 2025/12/8 19:02:25