当前位置： 首页 > article >正文

DDP与FSDP：分布式训练技术全解析

article 2025/6/6 9:35:12

DDP与FSDP：分布式训练技术全解析

DDP（Distributed Data Parallel）和 FSDP（Fully Sharded Data Parallel）均为用于深度学习模型训练的分布式训练技术，二者借助多 GPU 或多节点来提升训练速度。
在这里插入图片描述

1. DDP（Distributed Data Parallel）

实现原理
  • 数据并行：把相同的模型复制到各个设备（GPU/节点）上，同时将数据划分成多个批次，每个设备处理其中一个批次。
  • 梯度同步：在每个训练步骤完成后，所有设备会对梯度进行汇总并取平均，以此保证模型参数的一致性。
  • 通信后端：一般会采用 NCCL（用于 GPU）或者 Gloo（用于 CPU）作为通信后端。

相关文章：

DDP与FSDP：分布式训练技术全解析

DDP与FSDP：分布式训练技术全解析 DDP（Distributed Data Parallel）和 FSDP（Fully Sharded Data Parallel）均为用于深度学习模型训练的分布式训练技术，二者借助多 GPU 或多节点来提升训练速度。 1. DDP（Distributed Data Parallel） 实现原理 数据并行：把相同的模型复…...

编程日记 2025/6/6 9:35:12

【Spring AI 1.0.0】Spring AI 1.0.0框架快速入门(1)——Chat Client API

Spring AI框架快速入门 一、前言二、前期准备2.1 运行环境2.2 maven配置2.3 api-key申请 三、Chat Client API3.1 导入pom依赖3.2 配置application.properties文件3.3 创建 ChatClient3.3.1 使用自动配置的 ChatClient.Builder3.3.2 使用多个聊天模型 3.4 ChatClient请求3.5 Ch…...

编程日记 2025/6/6 12:12:00

【笔记】在 MSYS2（MINGW64）中正确安装 Rust

#工作记录 1. 环境信息 Windows系统: MSYS2 MINGW64当前时间: 2025年6月1日Rust 版本: rustc 1.87.0 (17067e9ac 2025-05-09) (Rev2, Built by MSYS2 project) 2. 安装步骤 步骤 1: 更新系统包数据库并升级已安装的包 首先，确保我们的 MSYS2 系统是最新状态。打…...

编程日记 2025/6/5 23:31:53

从汇编的角度揭秘C++引用，豁然开朗

C中的引用是指已有对象的别名&#xff0c;可以通过该别名访问并修改被引用的对象。那么其背后的原理是什么呢&#xff1f;引用是否会带来额外的开销呢&#xff1f;我们从一段代码入手&#xff0c;来分析一下引用的本质。 #include <stdio.h> int main() {int a 10;int …...

编程日记 2025/6/6 7:04:09

设计模式系列（07）：建造者模式（Builder）

本文为设计模式系列第7篇&#xff0c;聚焦创建型模式中的建造者模式&#xff0c;涵盖定义、原理、实际业务场景、优缺点、最佳实践及详细代码示例&#xff0c;适合系统学习与实战应用。 目录 1. 模式概述2. 使用场景3. 优缺点分析4. 实际应用案例5. 结构与UML类图6. 代码示例7…...

编程日记 2025/6/6 11:56:12

Maven 项目中集成数据库文档生成工具

在 Maven 项目中&#xff0c;可以通过集成 数据库文档生成工具&#xff08;如 screw-maven-plugin、mybatis-generator 或 liquibase&#xff09;来自动生成数据库文档。以下是使用 screw-maven-plugin&#xff08;推荐&#xff09;的完整配置步骤&#xff1a; 1. 添加插件配置…...

编程日记 2025/6/6 10:08:43

聊聊Tomato Architecture

序 本文主要研究一下Tomato Architecture Clean/Onion/Hexagonal/Ports&Adapters Architectures Clean Architecture clean architecture定义了四层结构&#xff0c;最内层是entities(enterprise business rules)&#xff0c;再往外是use cases(application business ru…...

编程日记 2025/6/6 11:54:59

小白的进阶之路系列之十二----人工智能从初步到精通pytorch综合运用的讲解第五部分

在本笔记本中，我们将针对Fashion-MNIST数据集训练LeNet-5的变体。Fashion-MNIST是一组描绘各种服装的图像瓦片，有十个类别标签表明所描绘的服装类型。 # PyTorch model and training necessities import torch import torch.nn as nn import torch.nn.functional as F impor…...

编程日记 2025/6/6 8:56:00

Java并发编程实战 Day 6：Future与异步编程模型

【Java并发编程实战 Day 6】Future与异步编程模型 在今天的课程中&#xff0c;我们将深入学习Java中的Future与异步编程模型。这是为期30天的"Java并发编程实战"系列的第6天。 理论基础 Future接口 Future接口是Java提供的用于表示异步计算的结果。它提供了以下方…...

编程日记 2025/6/6 10:55:22

.NET Core 中预防跨网站请求伪造 (XSRFCSRF) 攻击

.NET Core 中预防跨网站请求伪造 (XSRF/CSRF) 攻击 在如今的网络环境中&#xff0c;安全问题一直是开发者们不可忽视的重要方面。跨网站请求伪造&#xff08;Cross-Site Request Forgery&#xff0c;简称 CSRF&#xff09;就是一种常见且具有威胁性的网络攻击方式。攻击者通过…...

编程日记 2025/6/6 11:11:14

MFC Resource.h 文件详解与修改指南

MFC Resource.h 文件详解与修改指南 Resource.h 是 Visual C 和 MFC 项目中用于集中管理资源标识符&#xff08;Resource ID&#xff09;的头文件。它由 Visual Studio 的资源编辑器自动生成并维护&#xff0c;也可以手动编辑。理解并合理使用该文件对于管理对话框、控件、菜单…...

编程日记 2025/6/6 12:14:53

2025年06月03日Github流行趋势

项目名称&#xff1a;onlook 项目地址url&#xff1a;https://github.com/onlook-dev/onlook项目语言&#xff1a;TypeScript历史star数&#xff1a;12871今日star数&#xff1a;624项目维护者&#xff1a;Kitenite, drfarrell, spartan-vutrannguyen, apps/devin-ai-integrati…...

编程日记 2025/6/5 21:17:33

AI视频编码器(0.4.3) 调试训练bug——使用timm SoftTargetCrossEntropy时出现loss inf

检查过程 进入loss内部实现： > /root/miniconda3/envs/UMT2/lib/python3.9/site-packages/timm/loss/cross_entropy.py(35...

编程日记 2025/6/6 11:47:41

【数据分析】基于Cox模型的R语言实现生存分析与生物标志物风险评估

禁止商业或二改转载，仅供自学使用，侵权必究，如需截取部分内容请后台联系作者! 文章目录 介绍加载R包数据下载导入数据数据预处理生存分析画图输出图片其他标记物的分析总结系统信息介绍 分析生存数据与多种生物标志物之间的关系。它通过Cox比例风险模型来评估不同生物标志物…...

编程日记 2025/6/6 12:49:01

使用nginx配置反向代理，负载均衡

首先啥叫反向代理 咋配置呢&#xff0c;那当然是在nginx目录下改conf文件了 具体咋改呢&#xff0c;那就新增一个新的server配置&#xff0c;然后在location里新增你想代理的服务器 实际上负载均衡也就是根据反向代理的思路来的&#xff0c;如下所示 配置的话实际上也与上…...

编程日记 2025/6/6 12:52:06

从 iPhone 备份照片： 保存iPhone图片的5种方法

随着智能手机越来越融入我们的生活&#xff0c;我们的照片已成为我们设备上最有价值的数据形式之一。然而&#xff0c;iPhone内部存储空间仍然有限&#xff0c;因此我们需要将iPhone中的照片备份到另一个地方&#xff0c;以释放空间并确保珍贵的图像记忆的安全。阅读本指南&…...

编程日记 2025/6/4 18:49:47

Spring Ai 从Demo到搭建套壳项目（一）初识与实现与deepseek对话模式

前言 为什么说Java长青&#xff0c;主要是因为其生态圈完善&#xff0c;Spring又做了一款脚手架&#xff0c;把对接各个LLM厂商的sdk做了一遍&#xff0c;形成一系列的spring-ai-starter-** 的依赖。 目前为止版本去到1.0.0.M6&#xff0c;golang跟不上了吧&#xff0c; Make …...

编程日记 2025/6/4 18:48:44

快速上手pytest

1. pytest的基础 1.1 什么是pytest pytest 是 python 中的一个测试框架&#xff0c;用于编写简洁、可扩展的测试代码&#xff0c;帮助开发者验证结果是否与预期相符。 python 中有很多的测试框架&#xff0c;那我们为什么要学习 pytest 呢&#xff1f; pytest 的优势&…...

编程日记 2025/6/4 18:47:41

设备驱动与文件系统：02 键盘

操作系统中键盘驱动的讲解 在这一讲中&#xff0c;我将为大家讲解键盘相关内容。从上一讲开始&#xff0c;我们进入了操作系统第四个部分的学习&#xff0c;也就是操作系统对设备的驱动与管理。 上一讲我们探讨的是显示器&#xff0c;并且提到&#xff0c;一个终端设备是由显示…...

编程日记 2025/6/4 18:46:37

matlab分布式电源接入对配电网的影响

MATLAB仿真的分布式电源接入对于配电网的影响&#xff0c;潮流计算加了固定的pq 分布式电源接入对配电网的影响/bustypes.m , 1004 分布式电源接入对配电网的影响/case34.m , 5385 分布式电源接入对配电网的影响/case9.m , 1366 分布式电源接入对配电网的影响/dSbus_dV.m , 14…...

编程日记 2025/6/4 18:45:35

前端ul-image的src接收base64快捷写法

前端ul-image的src接收base64快捷写法 data:image/png;base64,你的base64数据 注意如果是jpg就改成jpg&#xff0c;中间的逗号格式要注意&#xff0c;/注意不要反了 假设后端返回的detail中的url已经是base64格式&#xff0c;下面是示例 <u-image height"120rpx"…...

编程日记 2025/6/4 18:44:32

交通违法拍照数据集，可识别接打电话，不系安全带的行为，支持YOLO，COCO JSON，VOC XML格式的标注数据集 最高正确识别率可达88.6%

交通违法拍照数据集 数据集概述 数据来源&#xff1a;交通监控摄像头、执法记录仪、公开数据集数据类型&#xff1a;图像、视频、元数据&#xff08;时间、地点、车辆信息&#xff09;违法类型标注&#xff1a;接打电话、未系安全带 数据采集与标注方法 采集设备&#xff1…...

编程日记 2025/6/6 15:57:21

Qt OpenGL 3D 编程入门

Qt 提供了强大的 OpenGL 集成功能&#xff0c;使得在 Qt 应用中实现 3D 图形变得更加简单。以下是使用 Qt 进行 OpenGL 3D 编程的基础知识。 1. 环境配置 创建 Qt 项目 新建 Qt Widgets Application 项目 在 .pro 文件中添加 OpenGL 模块&#xff1a; qmake QT co…...

编程日记 2025/6/4 18:42:24

性能优化 - 工具篇：基准测试 JMH

文章目录 Pre引言1. JMH 简介2. JMH 执行流程详解3. 关键注解详解3.1 Warmup3.2 Measurement3.3 BenchmarkMode3.4 OutputTimeUnit3.5 Fork3.6 Threads3.7 Group 与 GroupThreads3.8 State3.9 Setup 与 TearDown3.10 Param3.11 CompilerControl 4. 示例代码与分析4.1 关键点解读…...

编程日记 2025/6/6 13:23:06

Ubuntu 中安装 PostgreSQL 及常规操作指南

目录 一、安装 PostgreSQL 最新版本安装&#xff08;推荐&#xff09; 安装特定版本&#xff08;如 14&#xff09; 二、基本服务管理 三、连接数据库 四、常规数据库操作 1. 用户与权限管理 2. 数据库管理 3. 表操作 4. 数据操作 五、常用 psql 元命令 六、备份与恢…...

编程日记 2025/6/6 11:57:38

Nginx网站服务：从入门到LNMP架构实战

&#x1f3e1;作者主页&#xff1a;点击&#xff01; Nginx-从零开始的服务器之旅专栏&#xff1a;点击&#xff01; &#x1f427;Linux高级管理防护和群集专栏&#xff1a;点击&#xff01; ⏰️创作时间&#xff1a;2025年5月30日14点22分 前言 说起Web服务器&#xff0c…...

编程日记 2025/6/5 20:16:25

Java面试八股--08-数据结构和算法篇

1、怎么理解时间复杂度和空间复杂度 时间复杂度和空间复杂度一般是针对算法而言&#xff0c;是衡量一个算法是否高效的重要标准。先纠正一个误区&#xff0c;时间复杂度并不是算法执行的时间&#xff0c;在纠正一个误区&#xff0c;算法不单单指冒泡排序之类的&#xff0c;一个…...

编程日记 2025/6/6 12:03:00

Java面试八股--06-Linux篇

目录 一、Git 1、工作中git开发使用流程&#xff08;命令版本描述&#xff09; 2.Reset与Rebase&#xff0c;Pull与Fetch的区别 3、git merge和git rebase的区别 4、git如何解决代码冲突 5、项目开发时git分支情况 二、Linux 1、Linux常用的命令 2、如何查看测试项目的…...

编程日记 2025/6/6 11:45:47

Ajax技术分析方法全解：从基础到企业级实践（2025最新版）

引言 Ajax技术自2005年正式命名以来，已支撑全球83%的Web应用实现异步交互。2025年最新数据显示，单页面应用（SPA）的Ajax请求密度已达日均120亿次/应用。本文将系统化解析Ajax分析方法论，涵盖从基础原理到企业级工程实践的完整技术栈。 一、Ajax技术架构解构 1.1 核心组件…...

编程日记 2025/6/6 11:22:48

Unity 性能优化终极指南 — GameObject 篇

&#x1f3af; Unity 性能优化终极指南 — GameObject 方法篇 &#x1f9e9; GameObject 是什么&#xff1f;—— Unity世界的核心实体 GameObject 是 Unity 引擎中最核心、最基础的构建单元。它代表了场景中的一个实体对象&#xff0c;可以是一个角色、一个UI元素、一盏灯光、…...

编程日记 2025/6/6 9:12:13