当前位置： 首页 > news >正文

deepspeed zero3

news 文章来源：https://blog.csdn.net/hahachenchen789/article/details/132156513 2025/5/6 9:44:04

zero3。它是纵向切分权重（intra-layer，每一层的权重切成n块）。但是这样会增加通讯时间。你可以根据自己的模型，估算下切分后的通讯量和通讯时间。其次，pipeline并行一般指横向切分权重（inter-layer，每一层放在一块卡上，有n层就放n张卡），所以它和zero3的切分不是一个类型的。总结一下，zero3可以帮你切权重，但不是pipeline的那种切法，zero3切分权重后会增加通讯量，进而增加训练时间。

megatron+deepspeed 实现3D并行。效率更高。：megatron提供tp，deepspeed 提供dp和pp。

参考资料：

https://huggingface.co/blog/zh/bloom-megatron-deepspeed

图解大模型训练之：数据并行下篇( DeepSpeed ZeRO，零冗余优化) - 知乎
https://huggingface.co/blog/zh/megatron-training

相关文章：

deepspeed zero3

zero3。它是纵向切分权重（intra-layer，每一层的权重切成n块）。但是这样会增加通讯时间。你可以根据自己的模型，估算下切分后的通讯量和通讯时间。其次，pipeline并行一般指横向切分权重（inter-layer&#xf…...

编程日记 2023/8/8 1:57:57

代驾小程序怎么做

代驾小程序是一款专门为用户提供代驾服务的手机应用程序。它具有以下功能： 1. 预约代驾：代驾小程序允许用户在需要代驾服务时提前进行预约。用户可以选择出发地点、目的地以及预计用车时间，系统会自动匹配最合适的代驾司机，并确保…...

编程日记 2023/8/8 1:56:56

探索 AJAX 技术：实现动态数据交互的前端利器

简介： AJAX（Asynchronous JavaScript and XML）技术在 Web 前端开发中扮演着重要的角色，它通过异步通信和动态内容更新，为用户带来更好的交互体验。本篇笔记将详细探索 AJAX 技术，并通过生动的代码演示来展示…...

编程日记 2023/8/8 1:55:53

深度学习Redis（3）：主从复制

前言 在前面的两篇文章中，分别介绍Redis内存模型和Redis持久化 在Redis的持久化中曾提到，Redis高可用的方案包括持久化、主从复制（及读写分离）、哨兵和集群。其中持久化侧重解决的是Redis数据的单机备份问题（从内存到…...

编程日记 2023/8/8 1:54:52

php笔记1

php环境 PHP作为一种服务器端脚本语言，可以在各种操作系统上运行。搭建PHP网站的环境，你需要以下几个要素： Web服务器：常见的选择有Apache、Nginx和IIS。你需要安装和配置其中一个服务器软件。PHP解释器：PHP是一种解…...

编程日记 2023/8/8 1:53:50

2023 ChinaJoy 圆满闭幕，FairGuard游戏加固亮相 BTOB 展区

提振行业 产业复苏 2023年7月28日至7月31日，第二十届中国国际数码互动娱乐展览会( ChinaJoy)于上海新国际博览中心圆满举办。本届ChinaJoy作为疫情结束后的第一个国际性数字娱乐领域的重要产业盛会，对于提振行业信心、加快产业复苏、增进国际间的交流与…...

编程日记 2023/8/8 1:52:49

数据规约策略

有很多概念平时一直在说，但是具体的应用场景却一直不明确，这会导致我们在实际应用过程中对应该使用的方法不够明确，在此对常用的几种数据挖掘方法使用场景进行分类和整合。 数据降维 为什么要降维 数据稀疏，维度高高维数据采用…...

编程日记 2023/8/8 1:51:47

服务器带宽独享跟共享有什么区别103.36.166.x

独享带宽 独享带宽针对对带宽有较高的要求，其业务的内容和性质决定只有使用独立的带宽资源才能满足品质的需求，而这种只给单独客户使用的带宽资源称为独享带宽. 使用独享带宽，整个带宽资源归属于一个客户 独享带宽的优点是可自由使用带宽量…...

编程日记 2023/8/8 1:50:45

【cluster_block_exception】写操作elasticsearch索引报错

【cluster_block_exception】操作elasticsearch索引b报错 背景导致原因：解决方法： 背景 今天线上elk的数据太多，服务器的空间不足了。所以打算删除一些没用用的数据。我是用下面的request： POST /{index_name}/_delete_by_query…...

编程日记 2023/8/8 1:49:43

chaitin-Nginx+Docker

Nginx实战 任务一 1、源码包安装NGINX A，搭建Web Server，任意HTML页面，其8080端口提供Web访问服务，截图成功访问http(s)😕/[Server1]:8080并且回显Web页面 官网地址：http://nginx.org/en/download.html 步骤…...

编程日记 2023/8/8 1:48:40

具体面试题

具体面试题 Java 基础 JDK 和 JRE 有什么区别？ 和 equals 的区别是什么？ 两个对象的 hashCode() 相同，则 equals() 也一定为 true，对吗？ final 在 java 中有什么作用？ java 中的 Math.round(-1.5) 等…...

编程日记 2023/8/8 1:47:39

Logback ThresholdFilter LevelFilter

当我们需要对日志的打印要做一些范围的控制的时候，通常都是通过为各个Appender设置不同的Filter配置来实现。在Logback中自带了两个过滤器实现： ch.qos.logback.classic.filter.LevelFilter和 ch.qos.logback.classic.filter.ThresholdFilter&#xff0c…...

编程日记 2023/8/8 1:46:37

python+django+mysql项目实践二（前端及数据库）

python项目实践 环境说明： Pycharm 开发环境 Django 前端 MySQL 数据库 Navicat 数据库管理 前端模板 添加模板 在templates下创建 views文件中添加 创建数据库 连接数据库 在setting文件中进行配置 创建表...

编程日记 2023/8/8 1:45:36

Kubernetes高可用集群二进制部署（五）kubelet、kube-proxy、Calico、CoreDNS

Kubernetes概述 使用kubeadm快速部署一个k8s集群 Kubernetes高可用集群二进制部署（一）主机准备和负载均衡器安装 Kubernetes高可用集群二进制部署（二）ETCD集群部署 Kubernetes高可用集群二进制部署（三）部署…...

编程日记 2023/8/8 1:44:30

拦截器对接口细粒度权限校验

文章目录 一、逻辑分析二、校验规则1.规则类型2.规则划分3.规则配置信息4.规则案例说明5.规则加载 三、拦截器定义1.自定义拦截器2.注册拦截器 四、获取请求参数1.获取get提交方式参数2.获取post提交方式参数（1）定义RequestWrapper类（2&#…...

编程日记 2023/8/8 1:43:30

计算机科技历史纵横：8月6日的十大里程碑

计算机科技历史纵横：8月6日的十大里程碑 目录 引言1951年：EDSAC电脑完成第一个实际计算任务1964年：IBM发布System/360系列1973年：Xerox PARC开发出第一台个人电脑Xerox Alto1976年：Apple发布Apple I电脑1981年&#…...

编程日记 2023/8/8 1:42:29

知识图谱实战应用23-【知识图谱的高级用法】Neo4j图算法的Cypher查询语句实例

大家好，我是微学AI，今天给大家介绍一下知识图谱实战应用23-【知识图谱的高级用法】Neo4j图算法的Cypher查询语句实例，Neo4j图算法是一套在Neo4j图数据库上运行的算法集合。这些算法专门针对图数据结构进行设计，用于分析、查询和处理图数据。图算法可以帮助我们发现图中的模…...

编程日记 2023/8/8 1:41:28

C++ 头文件函数大全

<cstdio>头文件&#xff1a; scanf("%d",&a); cin>>a; scanf("%d%d",&a,&b); cin>>a>>b; for(i1;i<n;i) scanf("&d,&alil); cin>>a[i]; printf("%d",a); cout&l…...

编程日记 2023/8/8 1:40:27

智慧物流园区整体架构方案【46页PPT】

导读&#xff1a;原文《智慧物流园区整体架构方案【46页PPT】》&#xff08;获取来源见文尾&#xff09;&#xff0c;本文精选其中精华及架构部分&#xff0c;逻辑清晰、内容完整&#xff0c;为快速形成售前方案提供参考。 完整版领取方式 完整版领取方式&#xff1a; 如需获取…...

编程日记 2023/8/8 1:39:26

llama2模型下载

介绍 LLaMA 2-CHAT与OpenAI ChatGPT效果一样好。LLaMA 2与LLaMA 1架构相同，LLaMA 2训练数据是2000000000000个tokens，还是用了1000000个人类新标注的数据。上下文长度由2048提升为4096。 本教程提供两种下载方式： 1官方下载脚本下载 2hugging face网站下载 官网资格申请 …...

编程日记 2023/8/8 1:38:25

C高级【day4】

思维导图&#xff1a; 写一个函数&#xff0c;获取用户的uid和gid并使用变量接收&#xff1a; #!/bin/bashfunction get_uid {my_uidid -umy_gidid -g }get_uid echo "当前用户的UID&#xff1a;$my_uid" echo "当前用户的GID&#xff1a;$my_gid"整理冒泡…...

编程日记 2023/8/8 1:37:23

【前端实习生备战秋招】—HTML 和 CSS面试题总结（一）

【前端实习生备战秋招】—HTML 和 CSS面试题总结&#xff08;一&#xff09; 1. 你做的页面在哪些流览器测试过&#xff1f;这些浏览器的内核分别是什么? IE:trident内核 Firefox&#xff1a;gecko内核 Safari:webkit内核 Opera:以前是presto内核&#xff0c;Opera现已改用Goo…...

编程日记 2023/8/8 1:36:22

【从零学习python 】02. 开发工具介绍

文章目录 编写Python代码一、常见的代码编辑工具二、运行Python程序三、Pycharm的下载和安装PyCharm的主要功能区域进阶案例 编写Python代码 根据我们之前介绍的知识&#xff0c;我们知道&#xff0c;所谓代码其实就是将一段普通文本按照一定的规范编写&#xff0c;然后交给电…...

编程日记 2023/8/8 1:35:20

Python：Spider爬虫工程化入门到进阶（2）使用Spider Admin Pro管理scrapy爬虫项目

Python&#xff1a;Spider爬虫工程化入门到进阶系列: Python&#xff1a;Spider爬虫工程化入门到进阶&#xff08;1&#xff09;创建Scrapy爬虫项目Python&#xff1a;Spider爬虫工程化入门到进阶&#xff08;2&#xff09;使用Spider Admin Pro管理scrapy爬虫项目 目录 1、使…...

编程日记 2023/8/8 1:34:19

CubeMap convert into Octahedral思路

看了一些介绍&#xff0c;大多都是如何采样Octahedral的&#xff0c;那么如何把cubemap转成为这个呢 首先&#xff0c;我们想想 Vec4 Sample(Vec3 direction) { // Some logicwait wait wait think about what weve got here UV UV UV! return SampleTexture(Image, UV); }这个…...

编程日记 2023/8/8 1:33:18

vue项目实战-脑图编辑管理系统kitymind百度脑图

前言 项目为前端vue项目&#xff0c;把kitymind百度脑图整合到前端vue项目中&#xff0c;显示了脑图的绘制&#xff0c;编辑&#xff0c;到处为json&#xff0c;png&#xff0c;text等格式的功能 文章末尾有相关的代码链接&#xff0c;代码只包含前端项目&#xff0c;在原始的…...

编程日记 2023/8/8 1:32:17

c++调用ffmpeg api录屏 并进行rtmp推流

代码及工程见https://download.csdn.net/download/daqinzl/88156528 开发工具&#xff1a;visual studio 2019 记得启动rtmp流媒体服务 nginx的rtmp服务见https://download.csdn.net/download/daqinzl/20478812 播放&#xff0c;采用ffmpeg工具集里的ffplay.exe, 执行命令 f…...

编程日记 2023/8/8 1:31:15

SQL分类及通用语法数据类型（超详细版）

一、SQL分类 SQL是结构化查询语言&#xff08;Structured Query Language&#xff09;的缩写。它是一种用于管理和操作关系型数据库系统的标准化语言。SQL分类如下&#xff1a; DDL: 数据定义语言&#xff0c;用来定义数据库对象&#xff08;数据库、表、字段&#xff09;DML:…...

编程日记 2023/8/8 1:30:14

配置Hive远程服务详细步骤

HiveServer2支持多客户端的并发和认证&#xff0c;为开放API客户端如JDBC、ODBC提供了更好的支持。 &#xff08;1&#xff09;修改hive-site.xml&#xff0c;在文件中添加以下内容&#xff1a; <property><name>hive.metastore.event.db.notification.api.auth&l…...

编程日记 2023/8/8 1:29:13

Java中实现图片和Base64的互相转化

文章目录 前言一、代码二、测试三、结果 前言 公司项目中用到了实名认证此&#xff0c;采用的第三方平台。后端中用到的单项功能为身份证信息人像对比功能&#xff0c;在写demo的过程中发现&#xff0c;它们所要求的图片信息为base64编码格式。 一、代码 package com.bajiao…...

编程日记 2023/8/8 1:28:11