当前位置： 首页 > news >正文

Pytorch 分布式训练（DP/DDP）

news 2026/2/10 0:03:02

概念

PyTorch是非常流行的深度学习框架，它在主流框架中对于灵活性和易用性的平衡最好。

分布式训练根据并行策略的不同，可以分为模型并行和数据并行。

模型并行

模型并行主要应用于模型相比显存来说更大，一块 GPU 无法加载的场景，通过把模型切割为几个部分，分别加载到不同的 GPU 上，来进行训练

数据并行

这个是日常会应用的比较多的情况。即每个 GPU 复制一份模型，将一批样本分为多份分发到各个GPU模型并行计算。因为求导以及加和都是线性的，数据并行在数学上也有效。采用数据并行相当于加大了batch_size，得到更准确的梯度或者加速训练

常用的 API 有两个：

torch.nn.DataParallel(DP)
torch.nn.DistributedDataParallel(DDP)
DP 相比 DDP 使用起来更友好（代码少），但是 DDP 支持多机多卡，训练速度更快，而且负载相对要均衡一些。所以优先选用 DDP 吧。
 

参考

Pytorch 分布式训练（DP/DDP）_pytorch分布式训练_ytusdc的博客-CSDN博客

PyTorch分布式训练简明教程(2022更新版) - 知乎 

Pytorch分布式训练 - 知乎 

Pytorch多机多卡分布式训练 - 知乎

Pytorch - 多机多卡极简实现（附源码） - 知乎

相关文章：

Pytorch 分布式训练（DP/DDP）

概念 PyTorch是非常流行的深度学习框架，它在主流框架中对于灵活性和易用性的平衡最好。 分布式训练根据并行策略的不同，可以分为模型并行和数据并行。 模型并行 模型并行主要应用于模型相比显存来说更大，一块 GPU 无法加载的场景&#xf…...

编程日记 2023/9/9 6:32:30

替换滚珠螺杆需要了解哪些参数？

滚珠螺杆具有定位精度高、高寿命、低污染和可做高速正逆向的传动及变换传动等特性，因具上述特性，滚珠螺杆已成为近来精密科技产业及精密机械产业的定位及测量系统上的重要零组件之一。 众所周知，滚珠螺杆是可以替换的，不仅同品牌之…...

编程日记 2023/9/9 6:31:28

CentOS系统环境搭建（十九）——CentOS7安装chat GPT

centos系统环境搭建专栏🔗点击跳转 CentOS7安装chat GPT Welcome to the AI era! 基于上一篇文章CentOS系统环境搭建（十八）——CentOS7安装Docker20.10.12和docker compose v2，你已经安装了docker20以上的版本。那么&#xff0…...

编程日记 2023/9/9 6:30:27

【办公类-19-03】办公中的思考——Python批量制作word单元格照片和文字（小照片系列）

背景需求： 工会老师求助：如何在word里面插入4*8的框，我怎么也拉不到4*8大小（她用的是我WORD 文本框） 我一听，这又是要手动反复黏贴“文本框”“照片”“文字”的节奏哦 我问：你要做几个人&…...

编程日记 2023/9/9 6:29:26

【Spring】Spring Bean的4种依赖注入方式

文章目录 前言1. 构造方法注入2. set方法注入3. 自动装配4. 注解 前言 所谓依赖注入，其实就是给对象里的属性赋值，因为对象里有其他对象，因此就形成了依赖。Spring有4种方式来给属性赋值： 构造方法注入set方法注入自动装配注解 …...

编程日记 2023/9/9 6:28:25

overleaf 参考文献引用，创建引用目录.bib文件,在文档中引用参考文献，生成参考文献列表

目录 1 创建一个Overleaf项目 2 导入或创建 .bib 文件 2.1 导入 .bib 文件： 参考文献的 .bib文件获取步骤 （1）打开谷歌学术 （2）输入文献题目 （3）点击引用，然后选择BibTex格式…...

编程日记 2023/9/9 6:27:24

算法通关村第十八关：青铜挑战-回溯是怎么回事

青铜挑战-回溯是怎么回事 回溯，最重要的算法之一 主要解决一些暴力枚举也搞不定的问题，例如组合、分割、子集、排列、棋盘等 从性能角度来看回溯算法的效率并不高，但对于这些暴力都搞不定的算法能出结果就很好了，效率低点没关系…...

编程日记 2023/9/9 6:26:23

【Redis】深入探索 Redis 的数据类型 —— 字符串 string

文章目录 前言一、string 类型的操作命令设置和获取相关命令1. SET 和 GET2. MSET 和 MGET3. SETNX、SETEX、SETPX 计数相关命令1. INCR 和 INCRBY2. DECR 和 DECRBY3. INCRBYFLOAT 字符串操作相关命令1. APPEND2. GETRANGE3. SETRANGE4. STRLEN string 相关命令总结 二、strin…...

编程日记 2023/9/9 6:25:22

Linux操作命令笔记

Linux Linux的字母大小写下载和卸载软件更新查看空间使用情况当前目录所在的位置查看文件中的内容查看目录下的文件重启关机移动文件磁盘管理软件修改权限删除文件或文件夹新建文件夹移动一个文件夹文件重命名编译C和C文件VIM编辑器的相关操作 Linux的字母大小写 Linux的文件以…...

编程日记 2023/9/9 6:24:20

1.8 工程相关解析(各种文件，资源访问

目录 1.8 工程相关解析(各种文件，资源访问) 分类 Android 基础入门教程 本节引言： 1.工程项目结构解析： 1.res资源文件夹介绍： 2.如何去使用这些资源 2.深入了解三个文件： MainActivity.java： 布局…...

编程日记 2023/9/9 6:23:17

unity 前后左右 移动

using System.Collections; using System.Collections.Generic; using UnityEngine; public class NewBehaviourScript : MonoBehaviour { public float moveSpeed 5f; // 移动速度 public float rotateSpeed 180f; // 旋转速度 // Start is called before the firs…...

编程日记 2023/9/9 6:22:16

计算机视觉传统图像处理库opencv的使用

人工智能领域的图像处理分支，整理了计算机视觉传统图像处理库opencv的使用网址链接。 opencv使用范围，主要用在计算机视觉、视频分析、机器学习、医学影像处理、自动驾驶、工业检测、游戏开发上。 1）：opencv效果视频 opencv10个应…...

编程日记 2023/9/9 6:21:15

【数据库】通过实例讲清楚，Mongodb的增删查改，分组查询，聚合查询aggregate

目录 一.基础概念 二.数据库的管理 1.创建数据库 2.删除数据库 二.集合的管理 1.显示所有集合 2.创建集合 3.删除当前集合 4.向集合中插入元素 三.文档的管理 1.文档插入 2.文档的更新 3.文档的删除 4.文档查询 （1）查询基本语法&#xff1…...

编程日记 2023/9/9 6:20:14

vue + video.js 加载多种视频流（HLS、FLV、RTMP、RTSP）

起因： 由于需要在一个项目内接入多种常用的视频流，所以接触到video.js，这里就做个记录。 框架： vue2 video.js videojs-contrib-hls videojs-flvjs-es6 videojs-flash video-js.swf vue安装就不讲了，直接从项目…...

编程日记 2023/9/9 6:19:13

用 Python 微调 ChatGPT (GPT-3.5 Turbo)

用 Python 微调 ChatGPT (GPT-3.5 Turbo) 备受期待的 GPT-3.5 Turbo 微调功能现已推出，并且为今年秋季即将发布的 GPT-4 微调功能奠定了基础。 这不仅仅是一次简单的更新——它是一个游戏规则改变者，为开发人员提供了完美定制人工智能模型的关键解决方案…...

编程日记 2023/9/9 6:18:12

单目标应用：基于蜘蛛蜂优化算法（Spider wasp optimizer，SWO）的微电网优化调度MATLAB

一、微网系统运行优化模型 微电网优化模型介绍： 微电网多目标优化调度模型简介_IT猿手的博客-CSDN博客 二、蜘蛛蜂优化算法 蜘蛛蜂优化算法（Spider wasp optimizer，SWO）由Mohamed Abdel-Basset等人于2023年提出，该…...

编程日记 2023/9/9 6:17:11

2023年7月京东饮料行业数据分析（京东运营数据分析）

饮料消费已成为当下快消品行业里的主力军，随着社会群体喜好的改变、消费群体的不断扩大，可选择的饮料种类越来越多，我国饮料市场的体量也较为庞大。根据鲸参谋电商数据分析平台的数据显示，今年7月份，京东平台饮料的销量…...

编程日记 2023/9/9 6:16:10

执行 JUnit 单元测试前，修改环境变量

同一份代码，在不改变配置文件的情况下，可以连接不同的数据库，进行JUnit测试。 非开发、测试、生产环境的区别。而是 我就站在这里，指哪打哪！ 避免重复造轮子，参考博文： 使用junit&spri…...

编程日记 2023/9/9 6:15:09

openGauss学习笔记-63 openGauss 数据库管理-资源池化架构

文章目录 openGauss学习笔记-63 openGauss 数据库管理-资源池化架构 openGauss学习笔记-63 openGauss 数据库管理-资源池化架构 本文档主要介绍资源池化架构下的一些最佳实践和使用注意事项，用于支撑对相关特性感兴趣的开发者可以快速部署、实践或进行定制化开发。…...

编程日记 2023/9/9 6:14:07

计算机竞赛 基于深度学习的植物识别算法 - cnn opencv python

文章目录 0 前言1 课题背景2 具体实现3 数据收集和处理3 MobileNetV2网络4 损失函数softmax 交叉熵4.1 softmax函数4.2 交叉熵损失函数 5 优化器SGD6 最后 0 前言 🔥 优质竞赛项目系列，今天要分享的是 🚩 **基于深度学习的植物识别算法 ** …...

编程日记 2023/9/9 6:13:07

业务系统对接大模型的基础方案：架构设计与关键步骤

业务系统对接大模型：架构设计与关键步骤 在当今数字化转型的浪潮中，大语言模型（LLM）已成为企业提升业务效率和创新能力的关键技术之一。将大模型集成到业务系统中，不仅可以优化用户体验，还能为业务决策提供…...

编程新知 2026/2/8 4:53:03

智慧医疗能源事业线深度画像分析（上）

引言 医疗行业作为现代社会的关键基础设施，其能源消耗与环境影响正日益受到关注。随着全球"双碳"目标的推进和可持续发展理念的深入，智慧医疗能源事业线应运而生，致力于通过创新技术与管理方案，重构医疗领域的能源使用模式。这一事业线融合了能源管理、可持续发…...

编程新知 2026/2/8 20:41:46

MVC 数据库

MVC 数据库 引言 在软件开发领域，Model-View-Controller（MVC）是一种流行的软件架构模式，它将应用程序分为三个核心组件：模型（Model）、视图（View）和控制器（Controller）。这种模式有助于提高代码的可维护性和可扩展性。本文将深入探讨MVC架构与数据库之间的关系，以…...

编程新知 2025/10/30 4:58:11

【论文笔记】若干矿井粉尘检测算法概述

总的来说，传统机器学习、传统机器学习与深度学习的结合、LSTM等算法所需要的数据集来源于矿井传感器测量的粉尘浓度，通过建立回归模型来预测未来矿井的粉尘浓度。传统机器学习算法性能易受数据中极端值的影响。YOLO等计算机视觉算法所需要的数据集来源于…...

编程新知 2025/10/14 10:52:24

Nginx server_name 配置说明

Nginx 是一个高性能的反向代理和负载均衡服务器，其核心配置之一是 server 块中的 server_name 指令。server_name 决定了 Nginx 如何根据客户端请求的 Host 头匹配对应的虚拟主机（Virtual Host）。 1. 简介 Nginx 使用 server_name 指令来确定…...

编程新知 2025/9/6 16:47:17

现代密码学 | 椭圆曲线密码学—附py代码

Elliptic Curve Cryptography 椭圆曲线密码学（ECC）是一种基于有限域上椭圆曲线数学特性的公钥加密技术。其核心原理涉及椭圆曲线的代数性质、离散对数问题以及有限域上的运算。 椭圆曲线密码学是多种数字签名算法的基础，例如椭圆曲线数字签…...

编程新知 2026/2/6 7:30:33

leetcodeSQL解题：3564. 季节性销售分析

leetcodeSQL解题：3564. 季节性销售分析 题目： 表：sales ---------------------- | Column Name | Type | ---------------------- | sale_id | int | | product_id | int | | sale_date | date | | quantity | int | | price | decimal | -…...

编程新知 2025/10/5 19:58:27

IoT/HCIP实验-3/LiteOS操作系统内核实验(任务、内存、信号量、CMSIS..)

文章目录 概述HelloWorld 工程C/C配置编译器主配置Makefile脚本烧录器主配置运行结果程序调用栈 任务管理实验实验结果osal 系统适配层osal_task_create 其他实验实验源码内存管理实验互斥锁实验信号量实验 CMISIS接口实验还是得JlINKCMSIS 简介LiteOS->CMSIS任务间消息交互…...

编程新知 2026/1/31 23:44:39

Go 语言并发编程基础：无缓冲与有缓冲通道

在上一章节中，我们了解了 Channel 的基本用法。本章将重点分析 Go 中通道的两种类型 —— 无缓冲通道与有缓冲通道，它们在并发编程中各具特点和应用场景。 一、通道的基本分类 类型定义形式特点无缓冲通道make(chan T)发送和接收都必须准备好&#xff0…...

编程新知 2026/1/29 3:25:02

计算机基础知识解析：从应用到架构的全面拆解

目录 前言 1、 计算机的应用领域：无处不在的数字助手 2、 计算机的进化史：从算盘到量子计算 3、计算机的分类：不止 “台式机和笔记本” 4、计算机的组件：硬件与软件的协同 4.1 硬件：五大核心部件 4.2 软件&#…...

编程新知 2026/1/31 9:44:27