当前位置： 首页 > news >正文

Pytorch 分布式训练（DP/DDP）

news 2025/11/3 14:13:39

概念

PyTorch是非常流行的深度学习框架，它在主流框架中对于灵活性和易用性的平衡最好。

分布式训练根据并行策略的不同，可以分为模型并行和数据并行。

模型并行

模型并行主要应用于模型相比显存来说更大，一块 GPU 无法加载的场景，通过把模型切割为几个部分，分别加载到不同的 GPU 上，来进行训练

数据并行

这个是日常会应用的比较多的情况。即每个 GPU 复制一份模型，将一批样本分为多份分发到各个GPU模型并行计算。因为求导以及加和都是线性的，数据并行在数学上也有效。采用数据并行相当于加大了batch_size，得到更准确的梯度或者加速训练

常用的 API 有两个：

torch.nn.DataParallel(DP)
torch.nn.DistributedDataParallel(DDP)
DP 相比 DDP 使用起来更友好（代码少），但是 DDP 支持多机多卡，训练速度更快，而且负载相对要均衡一些。所以优先选用 DDP 吧。
 

参考

Pytorch 分布式训练（DP/DDP）_pytorch分布式训练_ytusdc的博客-CSDN博客

PyTorch分布式训练简明教程(2022更新版) - 知乎 

Pytorch分布式训练 - 知乎 

Pytorch多机多卡分布式训练 - 知乎

Pytorch - 多机多卡极简实现（附源码） - 知乎

相关文章：

Pytorch 分布式训练（DP/DDP）

概念 PyTorch是非常流行的深度学习框架，它在主流框架中对于灵活性和易用性的平衡最好。 分布式训练根据并行策略的不同，可以分为模型并行和数据并行。 模型并行 模型并行主要应用于模型相比显存来说更大，一块 GPU 无法加载的场景&#xf…...

编程日记 2023/9/9 6:32:30

替换滚珠螺杆需要了解哪些参数？

滚珠螺杆具有定位精度高、高寿命、低污染和可做高速正逆向的传动及变换传动等特性，因具上述特性，滚珠螺杆已成为近来精密科技产业及精密机械产业的定位及测量系统上的重要零组件之一。 众所周知，滚珠螺杆是可以替换的，不仅同品牌之…...

编程日记 2023/9/9 6:31:28

CentOS系统环境搭建（十九）——CentOS7安装chat GPT

centos系统环境搭建专栏🔗点击跳转 CentOS7安装chat GPT Welcome to the AI era! 基于上一篇文章CentOS系统环境搭建（十八）——CentOS7安装Docker20.10.12和docker compose v2，你已经安装了docker20以上的版本。那么&#xff0…...

编程日记 2023/9/9 6:30:27

【办公类-19-03】办公中的思考——Python批量制作word单元格照片和文字（小照片系列）

背景需求： 工会老师求助：如何在word里面插入4*8的框，我怎么也拉不到4*8大小（她用的是我WORD 文本框） 我一听，这又是要手动反复黏贴“文本框”“照片”“文字”的节奏哦 我问：你要做几个人&…...

编程日记 2023/9/9 6:29:26

【Spring】Spring Bean的4种依赖注入方式

文章目录 前言1. 构造方法注入2. set方法注入3. 自动装配4. 注解 前言 所谓依赖注入，其实就是给对象里的属性赋值，因为对象里有其他对象，因此就形成了依赖。Spring有4种方式来给属性赋值： 构造方法注入set方法注入自动装配注解 …...

编程日记 2023/9/9 6:28:25

overleaf 参考文献引用，创建引用目录.bib文件,在文档中引用参考文献，生成参考文献列表

目录 1 创建一个Overleaf项目 2 导入或创建 .bib 文件 2.1 导入 .bib 文件： 参考文献的 .bib文件获取步骤 （1）打开谷歌学术 （2）输入文献题目 （3）点击引用，然后选择BibTex格式…...

编程日记 2023/9/9 6:27:24

算法通关村第十八关：青铜挑战-回溯是怎么回事

青铜挑战-回溯是怎么回事 回溯，最重要的算法之一 主要解决一些暴力枚举也搞不定的问题，例如组合、分割、子集、排列、棋盘等 从性能角度来看回溯算法的效率并不高，但对于这些暴力都搞不定的算法能出结果就很好了，效率低点没关系…...

编程日记 2023/9/9 6:26:23

【Redis】深入探索 Redis 的数据类型 —— 字符串 string

文章目录 前言一、string 类型的操作命令设置和获取相关命令1. SET 和 GET2. MSET 和 MGET3. SETNX、SETEX、SETPX 计数相关命令1. INCR 和 INCRBY2. DECR 和 DECRBY3. INCRBYFLOAT 字符串操作相关命令1. APPEND2. GETRANGE3. SETRANGE4. STRLEN string 相关命令总结 二、strin…...

编程日记 2023/9/9 6:25:22

Linux操作命令笔记

Linux Linux的字母大小写下载和卸载软件更新查看空间使用情况当前目录所在的位置查看文件中的内容查看目录下的文件重启关机移动文件磁盘管理软件修改权限删除文件或文件夹新建文件夹移动一个文件夹文件重命名编译C和C文件VIM编辑器的相关操作 Linux的字母大小写 Linux的文件以…...

编程日记 2023/9/9 6:24:20

1.8 工程相关解析(各种文件，资源访问

目录 1.8 工程相关解析(各种文件，资源访问) 分类 Android 基础入门教程 本节引言： 1.工程项目结构解析： 1.res资源文件夹介绍： 2.如何去使用这些资源 2.深入了解三个文件： MainActivity.java： 布局…...

编程日记 2023/9/9 6:23:17

unity 前后左右 移动

using System.Collections; using System.Collections.Generic; using UnityEngine; public class NewBehaviourScript : MonoBehaviour { public float moveSpeed 5f; // 移动速度 public float rotateSpeed 180f; // 旋转速度 // Start is called before the firs…...

编程日记 2023/9/9 6:22:16

计算机视觉传统图像处理库opencv的使用

人工智能领域的图像处理分支，整理了计算机视觉传统图像处理库opencv的使用网址链接。 opencv使用范围，主要用在计算机视觉、视频分析、机器学习、医学影像处理、自动驾驶、工业检测、游戏开发上。 1）：opencv效果视频 opencv10个应…...

编程日记 2023/9/9 6:21:15

【数据库】通过实例讲清楚，Mongodb的增删查改，分组查询，聚合查询aggregate

目录 一.基础概念 二.数据库的管理 1.创建数据库 2.删除数据库 二.集合的管理 1.显示所有集合 2.创建集合 3.删除当前集合 4.向集合中插入元素 三.文档的管理 1.文档插入 2.文档的更新 3.文档的删除 4.文档查询 （1）查询基本语法&#xff1…...

编程日记 2023/9/9 6:20:14

vue + video.js 加载多种视频流（HLS、FLV、RTMP、RTSP）

起因： 由于需要在一个项目内接入多种常用的视频流，所以接触到video.js，这里就做个记录。 框架： vue2 video.js videojs-contrib-hls videojs-flvjs-es6 videojs-flash video-js.swf vue安装就不讲了，直接从项目…...

编程日记 2023/9/9 6:19:13

用 Python 微调 ChatGPT (GPT-3.5 Turbo)

用 Python 微调 ChatGPT (GPT-3.5 Turbo) 备受期待的 GPT-3.5 Turbo 微调功能现已推出，并且为今年秋季即将发布的 GPT-4 微调功能奠定了基础。 这不仅仅是一次简单的更新——它是一个游戏规则改变者，为开发人员提供了完美定制人工智能模型的关键解决方案…...

编程日记 2023/9/9 6:18:12

单目标应用：基于蜘蛛蜂优化算法（Spider wasp optimizer，SWO）的微电网优化调度MATLAB

一、微网系统运行优化模型 微电网优化模型介绍： 微电网多目标优化调度模型简介_IT猿手的博客-CSDN博客 二、蜘蛛蜂优化算法 蜘蛛蜂优化算法（Spider wasp optimizer，SWO）由Mohamed Abdel-Basset等人于2023年提出，该…...

编程日记 2023/9/9 6:17:11

2023年7月京东饮料行业数据分析（京东运营数据分析）

饮料消费已成为当下快消品行业里的主力军，随着社会群体喜好的改变、消费群体的不断扩大，可选择的饮料种类越来越多，我国饮料市场的体量也较为庞大。根据鲸参谋电商数据分析平台的数据显示，今年7月份，京东平台饮料的销量…...

编程日记 2023/9/9 6:16:10

执行 JUnit 单元测试前，修改环境变量

同一份代码，在不改变配置文件的情况下，可以连接不同的数据库，进行JUnit测试。 非开发、测试、生产环境的区别。而是 我就站在这里，指哪打哪！ 避免重复造轮子，参考博文： 使用junit&spri…...

编程日记 2023/9/9 6:15:09

openGauss学习笔记-63 openGauss 数据库管理-资源池化架构

文章目录 openGauss学习笔记-63 openGauss 数据库管理-资源池化架构 openGauss学习笔记-63 openGauss 数据库管理-资源池化架构 本文档主要介绍资源池化架构下的一些最佳实践和使用注意事项，用于支撑对相关特性感兴趣的开发者可以快速部署、实践或进行定制化开发。…...

编程日记 2023/9/9 6:14:07

计算机竞赛 基于深度学习的植物识别算法 - cnn opencv python

文章目录 0 前言1 课题背景2 具体实现3 数据收集和处理3 MobileNetV2网络4 损失函数softmax 交叉熵4.1 softmax函数4.2 交叉熵损失函数 5 优化器SGD6 最后 0 前言 🔥 优质竞赛项目系列，今天要分享的是 🚩 **基于深度学习的植物识别算法 ** …...

编程日记 2023/9/9 6:13:07

k8s从入门到放弃之Ingress七层负载

k8s从入门到放弃之Ingress七层负载 在Kubernetes（简称K8s）中，Ingress是一个API对象，它允许你定义如何从集群外部访问集群内部的服务。Ingress可以提供负载均衡、SSL终结和基于名称的虚拟主机等功能。通过Ingress，你可…...

编程新知 2025/9/7 0:12:53

Linux简单的操作

ls ls 查看当前目录 ll 查看详细内容 ls -a 查看所有的内容 ls --help 查看方法文档 pwd pwd 查看当前路径 cd cd 转路径 cd .. 转上一级路径 cd 名 转换路径 …...

编程新知 2025/9/11 13:56:27

2021-03-15 iview一些问题

1.iview 在使用tree组件时，发现没有set类的方法，只有get，那么要改变tree值，只能遍历treeData，递归修改treeData的checked，发现无法更改，原因在于check模式下，子元素的勾选状态跟父节…...

编程新知 2025/10/31 20:52:23

跨链模式：多链互操作架构与性能扩展方案

跨链模式：多链互操作架构与性能扩展方案 ——构建下一代区块链互联网的技术基石 一、跨链架构的核心范式演进 1. 分层协议栈：模块化解耦设计 现代跨链系统采用分层协议栈实现灵活扩展（H2Cross架构）： 适配层&#xf…...

编程新知 2025/11/2 21:51:45

VTK如何让部分单位不可见

最近遇到一个需求&#xff0c;需要让一个vtkDataSet中的部分单元不可见&#xff0c;查阅了一些资料大概有以下几种方式 1.通过颜色映射表来进行&#xff0c;是最正规的做法 vtkNew<vtkLookupTable> lut; //值为0不显示&#xff0c;主要是最后一个参数&#xff0c;透明度…...

编程新知 2025/9/22 18:49:24

基于matlab策略迭代和值迭代法的动态规划

经典的基于策略迭代和值迭代法的动态规划matlab代码&#xff0c;实现机器人的最优运输 Dynamic-Programming-master/Environment.pdf , 104724 Dynamic-Programming-master/README.md , 506 Dynamic-Programming-master/generalizedPolicyIteration.m , 1970 Dynamic-Programm…...

编程新知 2025/8/3 2:20:04

【数据分析】R版IntelliGenes用于生物标志物发现的可解释机器学习

禁止商业或二改转载&#xff0c;仅供自学使用&#xff0c;侵权必究&#xff0c;如需截取部分内容请后台联系作者! 文章目录 介绍流程步骤1. 输入数据2. 特征选择3. 模型训练4. I-Genes 评分计算5. 输出结果 IntelliGenesR 安装包1. 特征选择2. 模型训练和评估3. I-Genes 评分计…...

编程新知 2025/10/30 15:02:58

LangChain知识库管理后端接口：数据库操作详解—— 构建本地知识库系统的基础《二》

这段 Python 代码是一个完整的 知识库数据库操作模块&#xff0c;用于对本地知识库系统中的知识库进行增删改查&#xff08;CRUD&#xff09;操作。它基于 SQLAlchemy ORM 框架 和一个自定义的装饰器 with_session 实现数据库会话管理。 &#x1f4d8; 一、整体功能概述 该模块…...

编程新知 2025/10/18 13:32:22

快刀集(1): 一刀斩断视频片头广告

一刀流&#xff1a;用一个简单脚本&#xff0c;秒杀视频片头广告&#xff0c;还你清爽观影体验。 1. 引子 作为一个爱生活、爱学习、爱收藏高清资源的老码农&#xff0c;平时写代码之余看看电影、补补片&#xff0c;是再正常不过的事。 电影嘛&#xff0c;要沉浸&#xff0c;…...

编程新知 2025/9/3 5:42:53

PHP 8.5 即将发布：管道操作符、强力调试

前不久&#xff0c;PHP宣布了即将在 2025 年 11 月 20 日 正式发布的 PHP 8.5&#xff01;作为 PHP 语言的又一次重要迭代&#xff0c;PHP 8.5 承诺带来一系列旨在提升代码可读性、健壮性以及开发者效率的改进。而更令人兴奋的是&#xff0c;借助强大的本地开发环境 ServBay&am…...

编程新知 2025/10/30 10:52:30