deepspeed zero3
zero3。它是纵向切分权重（intra-layer，每一层的权重切成n块）。但是这样会增加通讯时间。你可以根据自己的模型，估算下切分后的通讯量和通讯时间。其次，pipeline并行一般指横向切分权重（inter-layer，每一层放在一块卡上，有n层就放n张卡），所以它和zero3的切分不是一个类型的。总结一下，zero3可以帮你切权重，但不是pipeline的那种切法，zero3切分权重后会增加通讯量，进而增加训练时间。
megatron+deepspeed 实现3D并行。效率更高。：megatron提供tp，deepspeed 提供dp和pp。
参考资料：
https://huggingface.co/blog/zh/bloom-megatron-deepspeed
图解大模型训练之：数据并行下篇( DeepSpeed ZeRO，零冗余优化) - 知乎
https://huggingface.co/blog/zh/megatron-training
相关文章：
deepspeed zero3
zero3。它是纵向切分权重（intra-layer，每一层的权重切成n块）。但是这样会增加通讯时间。你可以根据自己的模型，估算下切分后的通讯量和通讯时间。其次，pipeline并行一般指横向切分权重（inter-layer…...
代驾小程序怎么做
代驾小程序是一款专门为用户提供代驾服务的手机应用程序。它具有以下功能： 1. 预约代驾：代驾小程序允许用户在需要代驾服务时提前进行预约。用户可以选择出发地点、目的地以及预计用车时间，系统会自动匹配最合适的代驾司机，并确保…...
探索 AJAX 技术：实现动态数据交互的前端利器
简介： AJAX（Asynchronous JavaScript and XML）技术在 Web 前端开发中扮演着重要的角色，它通过异步通信和动态内容更新，为用户带来更好的交互体验。本篇笔记将详细探索 AJAX 技术，并通过生动的代码演示来展示…...
深度学习Redis（3）：主从复制
前言 在前面的两篇文章中，分别介绍Redis内存模型和Redis持久化 在Redis的持久化中曾提到，Redis高可用的方案包括持久化、主从复制（及读写分离）、哨兵和集群。其中持久化侧重解决的是Redis数据的单机备份问题（从内存到…...
php笔记1
php环境 PHP作为一种服务器端脚本语言，可以在各种操作系统上运行。搭建PHP网站的环境，你需要以下几个要素： Web服务器：常见的选择有Apache、Nginx和IIS。你需要安装和配置其中一个服务器软件。PHP解释器：PHP是一种解…...
2023 ChinaJoy 圆满闭幕，FairGuard游戏加固亮相 BTOB 展区
提振行业 产业复苏 2023年7月28日至7月31日，第二十届中国国际数码互动娱乐展览会( ChinaJoy)于上海新国际博览中心圆满举办。本届ChinaJoy作为疫情结束后的第一个国际性数字娱乐领域的重要产业盛会，对于提振行业信心、加快产业复苏、增进国际间的交流与…...
数据规约策略
有很多概念平时一直在说，但是具体的应用场景却一直不明确，这会导致我们在实际应用过程中对应该使用的方法不够明确，在此对常用的几种数据挖掘方法使用场景进行分类和整合。 数据降维 为什么要降维 数据稀疏，维度高高维数据采用…...
服务器带宽独享跟共享有什么区别103.36.166.x
独享带宽 独享带宽针对对带宽有较高的要求，其业务的内容和性质决定只有使用独立的带宽资源才能满足品质的需求，而这种只给单独客户使用的带宽资源称为独享带宽. 使用独享带宽，整个带宽资源归属于一个客户 独享带宽的优点是可自由使用带宽量…...
【cluster_block_exception】写操作elasticsearch索引报错
【cluster_block_exception】操作elasticsearch索引b报错 背景导致原因：解决方法： 背景 今天线上elk的数据太多，服务器的空间不足了。所以打算删除一些没用用的数据。我是用下面的request： POST /{index_name}/_delete_by_query…...
chaitin-Nginx+Docker
Nginx实战 任务一 1、源码包安装NGINX A，搭建Web Server，任意HTML页面，其8080端口提供Web访问服务，截图成功访问http(s)😕/[Server1]:8080并且回显Web页面 官网地址：http://nginx.org/en/download.html 步骤…...
具体面试题
具体面试题 Java 基础 JDK 和 JRE 有什么区别？ 和 equals 的区别是什么？ 两个对象的 hashCode() 相同，则 equals() 也一定为 true，对吗？ final 在 java 中有什么作用？ java 中的 Math.round(-1.5) 等…...
Logback ThresholdFilter LevelFilter
当我们需要对日志的打印要做一些范围的控制的时候，通常都是通过为各个Appender设置不同的Filter配置来实现。在Logback中自带了两个过滤器实现： ch.qos.logback.classic.filter.LevelFilter和 ch.qos.logback.classic.filter.ThresholdFilter，…...
python+django+mysql项目实践二（前端及数据库）
python项目实践 环境说明： Pycharm 开发环境 Django 前端 MySQL 数据库 Navicat 数据库管理 前端模板 添加模板 在templates下创建 views文件中添加 创建数据库 连接数据库 在setting文件中进行配置 创建表...
Kubernetes高可用集群二进制部署（五）kubelet、kube-proxy、Calico、CoreDNS
Kubernetes概述 使用kubeadm快速部署一个k8s集群 Kubernetes高可用集群二进制部署（一）主机准备和负载均衡器安装 Kubernetes高可用集群二进制部署（二）ETCD集群部署 Kubernetes高可用集群二进制部署（三）部署…...
拦截器对接口细粒度权限校验
文章目录 一、逻辑分析二、校验规则1.规则类型2.规则划分3.规则配置信息4.规则案例说明5.规则加载 三、拦截器定义1.自定义拦截器2.注册拦截器 四、获取请求参数1.获取get提交方式参数2.获取post提交方式参数（1）定义RequestWrapper类（2&#…...
计算机科技历史纵横：8月6日的十大里程碑
计算机科技历史纵横：8月6日的十大里程碑 目录 引言1951年：EDSAC电脑完成第一个实际计算任务1964年：IBM发布System/360系列1973年：Xerox PARC开发出第一台个人电脑Xerox Alto1976年：Apple发布Apple I电脑1981年&#…...
知识图谱实战应用23-【知识图谱的高级用法】Neo4j图算法的Cypher查询语句实例
大家好，我是微学AI，今天给大家介绍一下知识图谱实战应用23-【知识图谱的高级用法】Neo4j图算法的Cypher查询语句实例，Neo4j图算法是一套在Neo4j图数据库上运行的算法集合。这些算法专门针对图数据结构进行设计，用于分析、查询和处理图数据。图算法可以帮助我们发现图中的模…...
C++ 头文件函数大全
<cstdio>头文件： scanf("%d",&a); cin>>a; scanf("%d%d",&a,&b); cin>>a>>b; for(i1;i<n;i) scanf("&d,&alil); cin>>a[i]; printf("%d",a); cout&l…...
智慧物流园区整体架构方案【46页PPT】
导读：原文《智慧物流园区整体架构方案【46页PPT】》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。 完整版领取方式 完整版领取方式： 如需获取…...
llama2模型下载
介绍 LLaMA 2-CHAT与OpenAI ChatGPT效果一样好。LLaMA 2与LLaMA 1架构相同，LLaMA 2训练数据是2000000000000个tokens，还是用了1000000个人类新标注的数据。上下文长度由2048提升为4096。 本教程提供两种下载方式： 1官方下载脚本下载 2hugging face网站下载 官网资格申请 …...
零门槛NAS搭建：WinNAS如何让普通电脑秒变私有云？
一、核心优势：专为Windows用户设计的极简NAS WinNAS由深圳耘想存储科技开发，是一款收费低廉但功能全面的Windows NAS工具，主打“无学习成本部署” 。与其他NAS软件相比，其优势在于： 无需硬件改造：将任意W…...
进程地址空间（比特课总结）
一、进程地址空间 1. 环境变量 1 ）⽤户级环境变量与系统级环境变量 全局属性：环境变量具有全局属性，会被⼦进程继承。例如当bash启动⼦进程时，环 境变量会⾃动传递给⼦进程。 本地变量限制：本地变量只在当前进程(ba…...
Leetcode 3576. Transform Array to All Equal Elements
Leetcode 3576. Transform Array to All Equal Elements 1. 解题思路2. 代码实现 题目链接：3576. Transform Array to All Equal Elements 1. 解题思路 这一题思路上就是分别考察一下是否能将其转化为全1或者全-1数组即可。 至于每一种情况是否可以达到…...
模型参数、模型存储精度、参数与显存
模型参数量衡量单位 M：百万（Million） B：十亿（Billion） 1 B 1000 M 1B 1000M 1B1000M 参数存储精度 模型参数是固定的，但是一个参数所表示多少字节不一定，需要看这个参数以什么…...
中南大学无人机智能体的全面评估！BEDI：用于评估无人机上具身智能体的综合性基准测试
作者：Mingning Guo, Mengwei Wu, Jiarun He, Shaoxian Li, Haifeng Li, Chao Tao单位：中南大学地球科学与信息物理学院论文标题：BEDI: A Comprehensive Benchmark for Evaluating Embodied Agents on UAVs论文链接：https://arxiv.…...
【论文笔记】若干矿井粉尘检测算法概述
总的来说，传统机器学习、传统机器学习与深度学习的结合、LSTM等算法所需要的数据集来源于矿井传感器测量的粉尘浓度，通过建立回归模型来预测未来矿井的粉尘浓度。传统机器学习算法性能易受数据中极端值的影响。YOLO等计算机视觉算法所需要的数据集来源于…...
unix/linux，sudo，其发展历程详细时间线、由来、历史背景
sudo 的诞生和演化，本身就是一部 Unix/Linux 系统管理哲学变迁的微缩史。来，让我们拨开时间的迷雾，一同探寻 sudo 那波澜壮阔（也颇为实用主义）的发展历程。 历史背景：su的时代与困境 ( 20 世纪 70 年代 - 80 年代初) 在 sudo 出现之前，Unix 系统管理员和需要特权操作的…...
AI书签管理工具开发全记录（十九）：嵌入资源处理
1.前言 📝 在上一篇文章中，我们完成了书签的导入导出功能。本篇文章我们研究如何处理嵌入资源，方便后续将资源打包到一个可执行文件中。 2.embed介绍 🎯 Go 1.16 引入了革命性的 embed 包，彻底改变了静态资源管理的…...
Docker 本地安装 mysql 数据库
Docker: Accelerated Container Application Development 下载对应操作系统版本的 docker ；并安装。 基础操作不再赘述。 打开 macOS 终端，开始 docker 安装mysql之旅 第一步 docker search mysql 》〉docker search mysql NAME DE…...
R语言速释制剂QBD解决方案之三
本文是《Quality by Design for ANDAs: An Example for Immediate-Release Dosage Forms》第一个处方的R语言解决方案。 第一个处方研究评估原料药粒径分布、MCC/Lactose比例、崩解剂用量对制剂CQAs的影响。 第二处方研究用于理解颗粒外加硬脂酸镁和滑石粉对片剂质量和可生产…...