当前位置： 首页 > news >正文

Pytorch 分布式训练（DP/DDP）

news 2026/4/2 5:32:36

概念

PyTorch是非常流行的深度学习框架，它在主流框架中对于灵活性和易用性的平衡最好。

分布式训练根据并行策略的不同，可以分为模型并行和数据并行。

模型并行

模型并行主要应用于模型相比显存来说更大，一块 GPU 无法加载的场景，通过把模型切割为几个部分，分别加载到不同的 GPU 上，来进行训练

数据并行

这个是日常会应用的比较多的情况。即每个 GPU 复制一份模型，将一批样本分为多份分发到各个GPU模型并行计算。因为求导以及加和都是线性的，数据并行在数学上也有效。采用数据并行相当于加大了batch_size，得到更准确的梯度或者加速训练

常用的 API 有两个：

torch.nn.DataParallel(DP)
torch.nn.DistributedDataParallel(DDP)
DP 相比 DDP 使用起来更友好（代码少），但是 DDP 支持多机多卡，训练速度更快，而且负载相对要均衡一些。所以优先选用 DDP 吧。
 

参考

Pytorch 分布式训练（DP/DDP）_pytorch分布式训练_ytusdc的博客-CSDN博客

PyTorch分布式训练简明教程(2022更新版) - 知乎 

Pytorch分布式训练 - 知乎 

Pytorch多机多卡分布式训练 - 知乎

Pytorch - 多机多卡极简实现（附源码） - 知乎

相关文章：

Pytorch 分布式训练（DP/DDP）

概念 PyTorch是非常流行的深度学习框架，它在主流框架中对于灵活性和易用性的平衡最好。 分布式训练根据并行策略的不同，可以分为模型并行和数据并行。 模型并行 模型并行主要应用于模型相比显存来说更大，一块 GPU 无法加载的场景&#xf…...

编程日记 2023/9/9 6:32:30

替换滚珠螺杆需要了解哪些参数？

滚珠螺杆具有定位精度高、高寿命、低污染和可做高速正逆向的传动及变换传动等特性，因具上述特性，滚珠螺杆已成为近来精密科技产业及精密机械产业的定位及测量系统上的重要零组件之一。 众所周知，滚珠螺杆是可以替换的，不仅同品牌之…...

编程日记 2023/9/9 6:31:28

CentOS系统环境搭建（十九）——CentOS7安装chat GPT

centos系统环境搭建专栏🔗点击跳转 CentOS7安装chat GPT Welcome to the AI era! 基于上一篇文章CentOS系统环境搭建（十八）——CentOS7安装Docker20.10.12和docker compose v2，你已经安装了docker20以上的版本。那么&#xff0…...

编程日记 2023/9/9 6:30:27

【办公类-19-03】办公中的思考——Python批量制作word单元格照片和文字（小照片系列）

背景需求： 工会老师求助：如何在word里面插入4*8的框，我怎么也拉不到4*8大小（她用的是我WORD 文本框） 我一听，这又是要手动反复黏贴“文本框”“照片”“文字”的节奏哦 我问：你要做几个人&…...

编程日记 2023/9/9 6:29:26

【Spring】Spring Bean的4种依赖注入方式

文章目录 前言1. 构造方法注入2. set方法注入3. 自动装配4. 注解 前言 所谓依赖注入，其实就是给对象里的属性赋值，因为对象里有其他对象，因此就形成了依赖。Spring有4种方式来给属性赋值： 构造方法注入set方法注入自动装配注解 …...

编程日记 2023/9/9 6:28:25

overleaf 参考文献引用，创建引用目录.bib文件,在文档中引用参考文献，生成参考文献列表

目录 1 创建一个Overleaf项目 2 导入或创建 .bib 文件 2.1 导入 .bib 文件： 参考文献的 .bib文件获取步骤 （1）打开谷歌学术 （2）输入文献题目 （3）点击引用，然后选择BibTex格式…...

编程日记 2023/9/9 6:27:24

算法通关村第十八关：青铜挑战-回溯是怎么回事

青铜挑战-回溯是怎么回事 回溯，最重要的算法之一 主要解决一些暴力枚举也搞不定的问题，例如组合、分割、子集、排列、棋盘等 从性能角度来看回溯算法的效率并不高，但对于这些暴力都搞不定的算法能出结果就很好了，效率低点没关系…...

编程日记 2023/9/9 6:26:23

【Redis】深入探索 Redis 的数据类型 —— 字符串 string

文章目录 前言一、string 类型的操作命令设置和获取相关命令1. SET 和 GET2. MSET 和 MGET3. SETNX、SETEX、SETPX 计数相关命令1. INCR 和 INCRBY2. DECR 和 DECRBY3. INCRBYFLOAT 字符串操作相关命令1. APPEND2. GETRANGE3. SETRANGE4. STRLEN string 相关命令总结 二、strin…...

编程日记 2023/9/9 6:25:22

Linux操作命令笔记

Linux Linux的字母大小写下载和卸载软件更新查看空间使用情况当前目录所在的位置查看文件中的内容查看目录下的文件重启关机移动文件磁盘管理软件修改权限删除文件或文件夹新建文件夹移动一个文件夹文件重命名编译C和C文件VIM编辑器的相关操作 Linux的字母大小写 Linux的文件以…...

编程日记 2023/9/9 6:24:20

1.8 工程相关解析(各种文件，资源访问

目录 1.8 工程相关解析(各种文件，资源访问) 分类 Android 基础入门教程 本节引言： 1.工程项目结构解析： 1.res资源文件夹介绍： 2.如何去使用这些资源 2.深入了解三个文件： MainActivity.java： 布局…...

编程日记 2023/9/9 6:23:17

unity 前后左右 移动

using System.Collections; using System.Collections.Generic; using UnityEngine; public class NewBehaviourScript : MonoBehaviour { public float moveSpeed 5f; // 移动速度 public float rotateSpeed 180f; // 旋转速度 // Start is called before the firs…...

编程日记 2023/9/9 6:22:16

计算机视觉传统图像处理库opencv的使用

人工智能领域的图像处理分支，整理了计算机视觉传统图像处理库opencv的使用网址链接。 opencv使用范围，主要用在计算机视觉、视频分析、机器学习、医学影像处理、自动驾驶、工业检测、游戏开发上。 1）：opencv效果视频 opencv10个应…...

编程日记 2023/9/9 6:21:15

【数据库】通过实例讲清楚，Mongodb的增删查改，分组查询，聚合查询aggregate

目录 一.基础概念 二.数据库的管理 1.创建数据库 2.删除数据库 二.集合的管理 1.显示所有集合 2.创建集合 3.删除当前集合 4.向集合中插入元素 三.文档的管理 1.文档插入 2.文档的更新 3.文档的删除 4.文档查询 （1）查询基本语法&#xff1…...

编程日记 2023/9/9 6:20:14

vue + video.js 加载多种视频流（HLS、FLV、RTMP、RTSP）

起因： 由于需要在一个项目内接入多种常用的视频流，所以接触到video.js，这里就做个记录。 框架： vue2 video.js videojs-contrib-hls videojs-flvjs-es6 videojs-flash video-js.swf vue安装就不讲了，直接从项目…...

编程日记 2023/9/9 6:19:13

用 Python 微调 ChatGPT (GPT-3.5 Turbo)

用 Python 微调 ChatGPT (GPT-3.5 Turbo) 备受期待的 GPT-3.5 Turbo 微调功能现已推出，并且为今年秋季即将发布的 GPT-4 微调功能奠定了基础。 这不仅仅是一次简单的更新——它是一个游戏规则改变者，为开发人员提供了完美定制人工智能模型的关键解决方案…...

编程日记 2023/9/9 6:18:12

单目标应用：基于蜘蛛蜂优化算法（Spider wasp optimizer，SWO）的微电网优化调度MATLAB

一、微网系统运行优化模型 微电网优化模型介绍： 微电网多目标优化调度模型简介_IT猿手的博客-CSDN博客 二、蜘蛛蜂优化算法 蜘蛛蜂优化算法（Spider wasp optimizer，SWO）由Mohamed Abdel-Basset等人于2023年提出，该…...

编程日记 2023/9/9 6:17:11

2023年7月京东饮料行业数据分析（京东运营数据分析）

饮料消费已成为当下快消品行业里的主力军，随着社会群体喜好的改变、消费群体的不断扩大，可选择的饮料种类越来越多，我国饮料市场的体量也较为庞大。根据鲸参谋电商数据分析平台的数据显示，今年7月份，京东平台饮料的销量…...

编程日记 2023/9/9 6:16:10

执行 JUnit 单元测试前，修改环境变量

同一份代码，在不改变配置文件的情况下，可以连接不同的数据库，进行JUnit测试。 非开发、测试、生产环境的区别。而是 我就站在这里，指哪打哪！ 避免重复造轮子，参考博文： 使用junit&spri…...

编程日记 2023/9/9 6:15:09

openGauss学习笔记-63 openGauss 数据库管理-资源池化架构

文章目录 openGauss学习笔记-63 openGauss 数据库管理-资源池化架构 openGauss学习笔记-63 openGauss 数据库管理-资源池化架构 本文档主要介绍资源池化架构下的一些最佳实践和使用注意事项，用于支撑对相关特性感兴趣的开发者可以快速部署、实践或进行定制化开发。…...

编程日记 2023/9/9 6:14:07

计算机竞赛 基于深度学习的植物识别算法 - cnn opencv python

文章目录 0 前言1 课题背景2 具体实现3 数据收集和处理3 MobileNetV2网络4 损失函数softmax 交叉熵4.1 softmax函数4.2 交叉熵损失函数 5 优化器SGD6 最后 0 前言 🔥 优质竞赛项目系列，今天要分享的是 🚩 **基于深度学习的植物识别算法 ** …...

编程日记 2023/9/9 6:13:07

从CPython 3.12到3.14：我们逆向了217个AOT相关PR，提炼出6个决定编译成功率的核心宏定义（含Py_BUILD_CORE_MODULE与Py_LIMITED_API冲突解决方案）

第一章：Python 原生 AOT 编译方案 2026 高级开发技巧Python 社区在 2026 年迎来关键演进：CPython 官方正式集成原生 Ahead-of-Time（AOT）编译能力，无需依赖第三方运行时或 JIT 层即可生成平台专用的静态可执行文件。该特…...

编程新知 2026/4/2 4:13:12

嵌入式AI开发实战：从MCU到模型部署全流程

1. 嵌入式AI开发实战：从入门到项目落地作为一名在嵌入式领域摸爬滚打多年的工程师，我深知AI技术给这个传统行业带来的变革。记得2018年第一次接触基于MCU的简单图像识别时，那种"原来嵌入式设备也能做AI"的震撼感至今难忘。如今&…...

编程新知 2026/4/2 2:53:18

JeecgBoot启动配置

一、引入maven指定自己的maven仓库 二、指定JDK 记得apply！！！！然后OK 三、配置MySQL数据库(尽量≥5.7版本) 四、运行db文件夹下的SQL文件 五、后端本地环境（application-dev.yml）指定好数据源 1、M…...

编程新知 2026/4/2 2:39:04

电商网站SEO网站结构应该如何设计

电商网站SEO网站结构设计的关键点 在当今数字化时代，电商网站的成功离不开搜索引擎优化（SEO）。一个精心设计的网站结构不仅能提升网站的用户体验，还能大大提高在搜索引擎上的排名。电商网站SEO网站结构应该如何设计呢&#xff1f…...

编程新知 2026/4/2 1:46:14

嵌入式软件框架设计：从基础到实战

1. 嵌入式软件框架设计基础作为一名在嵌入式领域摸爬滚打多年的工程师，我深刻体会到框架设计对项目成败的决定性影响。嵌入式系统与通用计算机系统最大的区别在于其资源受限性和实时性要求，这就决定了我们不能简单套用桌面开发的思维模式。程序框架本质上…...

编程新知 2026/4/2 0:39:19

建筑物缺陷分割图像识别

建筑物缺陷分割图像识别 README 项目概述 建筑物缺陷分割数据集分析数据概览关键信息总数量5213张图像，涵盖类别：裂缝、剥落、锈蚀、污渍数据集数量5200数据集格式YoloVOC；应用价值：支持建筑物缺陷自动分割与识别，用于…...

编程新知 2026/4/2 0:08:45

别再只查‘待办’了！Flowable任务查询的三种高级场景：拾取、归还与候选组权限控制详解

Flowable任务管理的三大高阶场景：从候选池到个人待办的完整控制策略 当我们在处理业务流程自动化时，任务管理往往是最容易被简化的环节。大多数开发者止步于基础的待办列表查询，却忽视了任务流转过程中的精细控制。本文将带您深入Flowable任务…...

编程新知 2026/4/1 23:56:39

效率提升秘籍：利用快马AI生成自动化脚本高效管理50台云桌面

效率提升秘籍：利用快马AI生成自动化脚本高效管理50台云桌面 手动配置和管理大量云桌面效率低下，尤其是当需要同时管理50台甚至更多云桌面时，重复性的操作不仅耗时耗力，还容易出错。最近我在InsCode(快马)平台上尝试了一个自动化运…...

编程新知 2026/4/1 23:38:23

Fix | Resolving ImportError: libGL.so.1 Missing in Docker/Local Environments

1. 遇到libGL.so.1缺失报错怎么办？ 最近在部署一个基于OpenGL的图形处理项目时，又双叒叕遇到了这个熟悉的报错："ImportError: libGL.so.1: cannot open shared object file: No such file or directory"。这已经是这个月第三次碰到…...

编程新知 2026/4/1 23:18:05

快马AI助力：十分钟用Python搭建免费股票行情网站原型

最近想验证一个股票行情网站的原型，但作为独立开发者，从零搭建前后端实在太耗时。尝试用PythonFlask快速实现，结合InsCode(快马)平台的AI辅助功能，居然十分钟就完成了基础框架。记录下关键实现思路： 数据获取层设计 选…...

编程新知 2026/4/1 22:35:31