当前位置： 首页 > news >正文

Pytorch 分布式训练（DP/DDP）

news 2026/2/9 22:47:11

概念

PyTorch是非常流行的深度学习框架，它在主流框架中对于灵活性和易用性的平衡最好。

分布式训练根据并行策略的不同，可以分为模型并行和数据并行。

模型并行

模型并行主要应用于模型相比显存来说更大，一块 GPU 无法加载的场景，通过把模型切割为几个部分，分别加载到不同的 GPU 上，来进行训练

数据并行

这个是日常会应用的比较多的情况。即每个 GPU 复制一份模型，将一批样本分为多份分发到各个GPU模型并行计算。因为求导以及加和都是线性的，数据并行在数学上也有效。采用数据并行相当于加大了batch_size，得到更准确的梯度或者加速训练

常用的 API 有两个：

torch.nn.DataParallel(DP)
torch.nn.DistributedDataParallel(DDP)
DP 相比 DDP 使用起来更友好（代码少），但是 DDP 支持多机多卡，训练速度更快，而且负载相对要均衡一些。所以优先选用 DDP 吧。
 

参考

Pytorch 分布式训练（DP/DDP）_pytorch分布式训练_ytusdc的博客-CSDN博客

PyTorch分布式训练简明教程(2022更新版) - 知乎 

Pytorch分布式训练 - 知乎 

Pytorch多机多卡分布式训练 - 知乎

Pytorch - 多机多卡极简实现（附源码） - 知乎

相关文章：

Pytorch 分布式训练（DP/DDP）

概念 PyTorch是非常流行的深度学习框架，它在主流框架中对于灵活性和易用性的平衡最好。 分布式训练根据并行策略的不同，可以分为模型并行和数据并行。 模型并行 模型并行主要应用于模型相比显存来说更大，一块 GPU 无法加载的场景&#xf…...

编程日记 2023/9/9 6:32:30

替换滚珠螺杆需要了解哪些参数？

滚珠螺杆具有定位精度高、高寿命、低污染和可做高速正逆向的传动及变换传动等特性，因具上述特性，滚珠螺杆已成为近来精密科技产业及精密机械产业的定位及测量系统上的重要零组件之一。 众所周知，滚珠螺杆是可以替换的，不仅同品牌之…...

编程日记 2023/9/9 6:31:28

CentOS系统环境搭建（十九）——CentOS7安装chat GPT

centos系统环境搭建专栏🔗点击跳转 CentOS7安装chat GPT Welcome to the AI era! 基于上一篇文章CentOS系统环境搭建（十八）——CentOS7安装Docker20.10.12和docker compose v2，你已经安装了docker20以上的版本。那么&#xff0…...

编程日记 2023/9/9 6:30:27

【办公类-19-03】办公中的思考——Python批量制作word单元格照片和文字（小照片系列）

背景需求： 工会老师求助：如何在word里面插入4*8的框，我怎么也拉不到4*8大小（她用的是我WORD 文本框） 我一听，这又是要手动反复黏贴“文本框”“照片”“文字”的节奏哦 我问：你要做几个人&…...

编程日记 2023/9/9 6:29:26

【Spring】Spring Bean的4种依赖注入方式

文章目录 前言1. 构造方法注入2. set方法注入3. 自动装配4. 注解 前言 所谓依赖注入，其实就是给对象里的属性赋值，因为对象里有其他对象，因此就形成了依赖。Spring有4种方式来给属性赋值： 构造方法注入set方法注入自动装配注解 …...

编程日记 2023/9/9 6:28:25

overleaf 参考文献引用，创建引用目录.bib文件,在文档中引用参考文献，生成参考文献列表

目录 1 创建一个Overleaf项目 2 导入或创建 .bib 文件 2.1 导入 .bib 文件： 参考文献的 .bib文件获取步骤 （1）打开谷歌学术 （2）输入文献题目 （3）点击引用，然后选择BibTex格式…...

编程日记 2023/9/9 6:27:24

算法通关村第十八关：青铜挑战-回溯是怎么回事

青铜挑战-回溯是怎么回事 回溯，最重要的算法之一 主要解决一些暴力枚举也搞不定的问题，例如组合、分割、子集、排列、棋盘等 从性能角度来看回溯算法的效率并不高，但对于这些暴力都搞不定的算法能出结果就很好了，效率低点没关系…...

编程日记 2023/9/9 6:26:23

【Redis】深入探索 Redis 的数据类型 —— 字符串 string

文章目录 前言一、string 类型的操作命令设置和获取相关命令1. SET 和 GET2. MSET 和 MGET3. SETNX、SETEX、SETPX 计数相关命令1. INCR 和 INCRBY2. DECR 和 DECRBY3. INCRBYFLOAT 字符串操作相关命令1. APPEND2. GETRANGE3. SETRANGE4. STRLEN string 相关命令总结 二、strin…...

编程日记 2023/9/9 6:25:22

Linux操作命令笔记

Linux Linux的字母大小写下载和卸载软件更新查看空间使用情况当前目录所在的位置查看文件中的内容查看目录下的文件重启关机移动文件磁盘管理软件修改权限删除文件或文件夹新建文件夹移动一个文件夹文件重命名编译C和C文件VIM编辑器的相关操作 Linux的字母大小写 Linux的文件以…...

编程日记 2023/9/9 6:24:20

1.8 工程相关解析(各种文件，资源访问

目录 1.8 工程相关解析(各种文件，资源访问) 分类 Android 基础入门教程 本节引言： 1.工程项目结构解析： 1.res资源文件夹介绍： 2.如何去使用这些资源 2.深入了解三个文件： MainActivity.java： 布局…...

编程日记 2023/9/9 6:23:17

unity 前后左右 移动

using System.Collections; using System.Collections.Generic; using UnityEngine; public class NewBehaviourScript : MonoBehaviour { public float moveSpeed 5f; // 移动速度 public float rotateSpeed 180f; // 旋转速度 // Start is called before the firs…...

编程日记 2023/9/9 6:22:16

计算机视觉传统图像处理库opencv的使用

人工智能领域的图像处理分支，整理了计算机视觉传统图像处理库opencv的使用网址链接。 opencv使用范围，主要用在计算机视觉、视频分析、机器学习、医学影像处理、自动驾驶、工业检测、游戏开发上。 1）：opencv效果视频 opencv10个应…...

编程日记 2023/9/9 6:21:15

【数据库】通过实例讲清楚，Mongodb的增删查改，分组查询，聚合查询aggregate

目录 一.基础概念 二.数据库的管理 1.创建数据库 2.删除数据库 二.集合的管理 1.显示所有集合 2.创建集合 3.删除当前集合 4.向集合中插入元素 三.文档的管理 1.文档插入 2.文档的更新 3.文档的删除 4.文档查询 （1）查询基本语法&#xff1…...

编程日记 2023/9/9 6:20:14

vue + video.js 加载多种视频流（HLS、FLV、RTMP、RTSP）

起因： 由于需要在一个项目内接入多种常用的视频流，所以接触到video.js，这里就做个记录。 框架： vue2 video.js videojs-contrib-hls videojs-flvjs-es6 videojs-flash video-js.swf vue安装就不讲了，直接从项目…...

编程日记 2023/9/9 6:19:13

用 Python 微调 ChatGPT (GPT-3.5 Turbo)

用 Python 微调 ChatGPT (GPT-3.5 Turbo) 备受期待的 GPT-3.5 Turbo 微调功能现已推出，并且为今年秋季即将发布的 GPT-4 微调功能奠定了基础。 这不仅仅是一次简单的更新——它是一个游戏规则改变者，为开发人员提供了完美定制人工智能模型的关键解决方案…...

编程日记 2023/9/9 6:18:12

单目标应用：基于蜘蛛蜂优化算法（Spider wasp optimizer，SWO）的微电网优化调度MATLAB

一、微网系统运行优化模型 微电网优化模型介绍： 微电网多目标优化调度模型简介_IT猿手的博客-CSDN博客 二、蜘蛛蜂优化算法 蜘蛛蜂优化算法（Spider wasp optimizer，SWO）由Mohamed Abdel-Basset等人于2023年提出，该…...

编程日记 2023/9/9 6:17:11

2023年7月京东饮料行业数据分析（京东运营数据分析）

饮料消费已成为当下快消品行业里的主力军，随着社会群体喜好的改变、消费群体的不断扩大，可选择的饮料种类越来越多，我国饮料市场的体量也较为庞大。根据鲸参谋电商数据分析平台的数据显示，今年7月份，京东平台饮料的销量…...

编程日记 2023/9/9 6:16:10

执行 JUnit 单元测试前，修改环境变量

同一份代码，在不改变配置文件的情况下，可以连接不同的数据库，进行JUnit测试。 非开发、测试、生产环境的区别。而是 我就站在这里，指哪打哪！ 避免重复造轮子，参考博文： 使用junit&spri…...

编程日记 2023/9/9 6:15:09

openGauss学习笔记-63 openGauss 数据库管理-资源池化架构

文章目录 openGauss学习笔记-63 openGauss 数据库管理-资源池化架构 openGauss学习笔记-63 openGauss 数据库管理-资源池化架构 本文档主要介绍资源池化架构下的一些最佳实践和使用注意事项，用于支撑对相关特性感兴趣的开发者可以快速部署、实践或进行定制化开发。…...

编程日记 2023/9/9 6:14:07

计算机竞赛 基于深度学习的植物识别算法 - cnn opencv python

文章目录 0 前言1 课题背景2 具体实现3 数据收集和处理3 MobileNetV2网络4 损失函数softmax 交叉熵4.1 softmax函数4.2 交叉熵损失函数 5 优化器SGD6 最后 0 前言 🔥 优质竞赛项目系列，今天要分享的是 🚩 **基于深度学习的植物识别算法 ** …...

编程日记 2023/9/9 6:13:07

工业安全零事故的智能守护者：一体化AI智能安防平台

前言： 通过AI视觉技术，为船厂提供全面的安全监控解决方案，涵盖交通违规检测、起重机轨道安全、非法入侵检测、盗窃防范、安全规范执行监控等多个方面，能够实现对应负责人反馈机制，并最终实现数据的统计报表。提升船厂…...

编程新知 2026/1/21 9:20:07

1.3 VSCode安装与环境配置

进入网址Visual Studio Code - Code Editing. Redefined下载.deb文件，然后打开终端，进入下载文件夹，键入命令 sudo dpkg -i code_1.100.3-1748872405_amd64.deb 在终端键入命令code即启动vscode 需要安装插件列表 1.Chinese简化 2.ros …...

编程新知 2026/1/29 3:35:37

大模型多显卡多服务器并行计算方法与实践指南

一、分布式训练概述 大规模语言模型的训练通常需要分布式计算技术，以解决单机资源不足的问题。分布式训练主要分为两种模式： 数据并行：将数据分片到不同设备，每个设备拥有完整的模型副本 模型并行：将模型分割到不同设备，每个设备处理部分模型计算 现代大模型训练通常结合…...

编程新知 2025/12/10 20:45:02

10-Oracle 23 ai Vector Search 概述和参数

一、Oracle AI Vector Search 概述 企业和个人都在尝试各种AI，使用客户端或是内部自己搭建集成大模型的终端，加速与大型语言模型（LLM）的结合，同时使用检索增强生成（Retrieval Augmented Generation &#…...

编程新知 2026/2/9 20:30:28

QT3D学习笔记——圆台、圆锥

类名作用Qt3DWindow3D渲染窗口容器QEntity场景中的实体（对象或容器）QCamera控制观察视角QPointLight点光源QConeMesh圆锥几何网格QTransform控制实体的位置/旋转/缩放QPhongMaterialPhong光照材质（定义颜色、反光等）QFirstPersonC…...

编程新知 2026/1/29 5:26:37

【C++】纯虚函数类外可以写实现吗？

1. 答案 先说答案&#xff0c;可以。 2.代码测试 .h头文件 #include <iostream> #include <string>// 抽象基类 class AbstractBase { public:AbstractBase() default;virtual ~AbstractBase() default; // 默认析构函数public:virtual int PureVirtualFunct…...

编程新知 2026/2/7 17:44:12

人工智能 - 在Dify、Coze、n8n、FastGPT和RAGFlow之间做出技术选型

在Dify、Coze、n8n、FastGPT和RAGFlow之间做出技术选型。这些平台各有侧重&#xff0c;适用场景差异显著。下面我将从核心功能定位、典型应用场景、真实体验痛点、选型决策关键点进行拆解&#xff0c;并提供具体场景下的推荐方案。 一、核心功能定位速览 平台核心定位技术栈亮…...

编程新知 2025/8/8 13:20:37

高分辨率图像合成归一化流扩展

大家读完觉得有帮助记得关注和点赞&#xff01;&#xff01;&#xff01; 1 摘要 我们提出了STARFlow&#xff0c;一种基于归一化流的可扩展生成模型&#xff0c;它在高分辨率图像合成方面取得了强大的性能。STARFlow的主要构建块是Transformer自回归流&#xff08;TARFlow&am…...

编程新知 2026/1/23 12:11:55

边缘计算网关提升水产养殖尾水处理的远程运维效率

一、项目背景 随着水产养殖行业的快速发展&#xff0c;养殖尾水的处理成为了一个亟待解决的环保问题。传统的尾水处理方式不仅效率低下&#xff0c;而且难以实现精准监控和管理。为了提升尾水处理的效果和效率&#xff0c;同时降低人力成本&#xff0c;某大型水产养殖企业决定…...

编程新知 2026/2/1 16:16:37

Python第七周作业

Python第七周作业 文章目录 Python第七周作业 1.使用open以只读模式打开文件data.txt&#xff0c;并逐行打印内容 2.使用pathlib模块获取当前脚本的绝对路径&#xff0c;并创建logs目录&#xff08;若不存在&#xff09; 3.递归遍历目录data&#xff0c;输出所有.csv文件的路径…...

编程新知 2025/12/14 13:20:23