当前位置： 首页 > news >正文

增量预训练经验积累（3）

news 2026/3/27 17:53:19

站在巨人的肩膀上才能走的更远~本文主要是针对《千亿参数开源大模型 BLOOM 背后的技术》进行学习和提取关键经验。

1、BLOOM与Megatron-DeepSpeed

1.1 BLOOM训练细节

BLOOM 的模型架构与 GPT3 非常相似，只是增加了一些改进，176B BLOOM 模型的训练于 2022 年 3 月至 7 月期间，耗时约 3.5 个月完成 (约 100 万计算时)，以下是其训练的一些细节信息。

硬件： 384 张 80GB A100 GPU
软件： Megatron-DeepSpeed
模型架构： 基于 GPT3
数据集： 含 59 种语言，共 3500 亿词元
训练时长： 3.5 个月

1.1.1 训练硬件
  • GPU: 384 张 NVIDIA A100 80GB GPU (48 个节点) + 32 张备用 GPU
  • 每个节点 8 张 GPU，4 条 NVLink 卡间互联，4 条 OmniPath 链路
  • CPU: AMD EPYC 7543 32 核处理器
  • CPU 内存: 每个节点 512GB
  • GPU 显存: 每个节点 640GB
  • 节点间连接: 使用 Omni-Path Architecture (OPA) 网卡，网络拓扑为无阻塞胖树
  • NCCL - 通信网络: 一个完全专用的子网
  • 磁盘 IO 网络: GPFS 与其他节点和用户共享
1.1.2 checkpoints
  • 主 checkpoints（https://huggingface.co/bigscience/bloom）
  • 每个 checkpoint 含精度为 fp32 的优化器状态和精度为 bf16+fp32 的权重，占用存储空间为 2.3TB。如只保存
    bf16 的权重，则仅占用 329GB 的存储空间。
1.1.3 数据集
  • 41.5TB 经过大量去重和清洗的文本，包含 46 种语言，最终转换为 350B 个词元
  • 模型的词汇表含 250,680 个词元
  • 更详细信息，请参阅 The BigScience Corpus A 1.6TB Composite Multilingual
    Dataset（https://openreview.net/forum?id=UoEw6KigkUn）

1.2 Megatron-DeepSpeed

176B BLOOM 模型使用 Megatron-DeepSpeed进行训练，它结合了两种主要技术:

  • DeepSpeed 是一个深度学习优化库，让分布式训练变得简单、高效且有效。
  • Megatron-LM 是由 NVIDIA 的应用深度学习研究团队开发的大型、强大的 transformer 模型框架。

DeepSpeed 团队通过将 DeepSpeed 库中的 ZeRO 分片和流水线并行 (Pipeline Parallelism) 与 Megatron-LM 中的张量并行 (Tensor Parallelism) 相结合，开发了一种基于 3D 并行的方案。有关每个组件的更多详细信息，请参见下表。

请注意，BigScience 的 Megatron-DeepSpeed 是基于原始 Me

相关文章：

增量预训练经验积累（3）

站在巨人的肩膀上才能走的更远~本文主要是针对《千亿参数开源大模型 BLOOM 背后的技术》进行学习和提取关键经验。 1、BLOOM与Megatron-DeepSpeed 1.1 BLOOM训练细节 BLOOM 的模型架构与 GPT3 非常相似，只是增加了一些改进，176B BLOOM 模型的训练于 2022 年 3 月至 7 月期…...

编程日记 2024/1/4 2:09:48

R语言【CoordinateCleaner】——cc_dupl()：根据物种名称和坐标以及用户定义的附加列删除或标记重复的记录

Package CoordinateCleaner version 2.0-20 Parameters cc_dupl(x,lon "decimallongitude",lat "decimallatitude",species "species",additions NULL,value "clean",verbose TRUE ) 参数【x】：data.frame。包含地…...

编程日记 2024/1/4 2:08:47

Hadoop安装笔记1单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

将下发的ds_db01.sql数据库文件放置mysql中 12、编写Scala代码，使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info。字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String&am…...

编程日记 2024/1/4 2:05:44

python数据分析之交叉验证

python数据分析之交叉验证 1、常用的分类算法 有监督：SVM向量机、梯度提升、决策树（随机森林）、朴素贝叶斯、逻辑斯蒂回归、神经网络（cnn、rnn） 无监督：k-means、隐马尔可夫 2、数据分析过程 1、采集数据 2、数据预处理 3、特征选择 4、模型训练、评估、保存 5、模型…...

编程日记 2024/1/4 2:03:42

机器人技能学习--数据集剖析

文章目录 前言数据总览数据介绍actionsrobot0_eef_poserobot0_eef_quatstatesobject 参考资料 前言 一切为了能自己构建属于自己的数据集，所以，从现有数据集剖析入手。    目前，基于 MimicGen 官方提供的数据集，初始数据集有11组…...

编程日记 2024/1/4 2:01:40

Jenkins的Transfers路径怎么配置，解决Transfers配置不生效的问题

Transfers配置： 1.配置Source files： 要填写jar包的相对路径，从当前项目工作空间的根目录开始，看看我的工作空间你就懂了 ！如图 我填的是 parent/build/libs/parent-1.0.0.jar，即不要 fdw1/ 的前缀 2.配置Remote directory： 远程目标文件夹，也就是你jar包要放到远程…...

编程日记 2024/1/4 2:00:39

php安装扩展event 提示 No package ‘openssl‘ found 解决方法

在使用pecl编译安装最新版event模块的时候提示 No package openssl found , 可是本机是安装了openssl的, 编译时找不到, 大概率就是环境配置的问题了, 增加 OPENSSL_CFLAGS OPENSSL_LIBS环境变量即可解决. 异常提示信息: checking for openssl > 1.0.2... no configure: …...

编程日记 2024/1/4 1:59:38

基于SpringBoot的动物领养平台的设计与实现

文章目录 项目介绍主要功能截图：部分代码展示设计总结项目获取方式🍅 作者主页：超级无敌暴龙战士塔塔开 🍅 简介：Java领域优质创作者🏆、 简历模板、学习资料、面试题库【关注我，都给你】 🍅文末获取源码联系🍅 项目介绍 基于SpringBoot的动物领养平台的设计与实…...

编程日记 2024/1/4 1:54:33

计算机网络期末复习——计算大题（一）

个人名片： 🦁作者简介：一名喜欢分享和记录学习的在校大学生 🐯个人主页：妄北y 🐧个人QQ：2061314755 🐻个人邮箱：2061314755qq.com 🦉个人WeChat：V…...

编程日记 2024/1/4 1:53:31

2024年深度学习、计算机视觉与大模型面试题综述，六大专题数百道题目

DeepLearning-Interview-Awesome-2024 本项目涵盖了大模型(LLMs)专题、计算机视觉与感知算法专题、深度学习基础与框架专题、自动驾驶、智慧医疗等行业垂域专题、手撕项目代码专题、优异开源资源推荐专题共计6大专题模块。我们将持续整理汇总最新的面试题并详细解析这些题目&a…...

编程日记 2024/1/4 1:52:31

解读 $mash 通证 “Fair Launch” 规则，将公平发挥极致

Solmash 是 Solana 生态中由社区主导的铭文资产 LaunchPad 平台，该平台旨在为 Solana 原生铭文项目，以及通过其合作伙伴 SoBit 跨链桥桥接到 Solana 的 Bitcoin 生态铭文项目提供更广泛的启动机会。有了 Solmash，将会有更多的 Solana 生态的铭…...

编程日记 2024/1/4 1:47:26

06、docker 安装mysql8

Docker 安装 MySQL8 下载mysql8的镜像 docker pull mysql:8.0.32启动镜像 docker run -p 3307:3306 --name mysql8 -e MYSQL_ROOT_PASSWORD123456 -d mysql:8.0.32配置挂载 创建挂载目录 mkdir -p /docker/mysql8.0.32/copy配置文件到创建的目录下 docker cp mysql:/etc/mysql…...

编程日记 2024/1/4 1:45:22

魔改Stable Diffusion，开源创新“单目深度估计”模型

单目深度估计一直是计算机视觉领域的难点。仅凭一张 RGB 图像,想要还原出场景的三维结构,在几何结构上非常不确定,必须依赖复杂的场景理解能力。 即便使用更强大的深度学习模型来实现，也面临算力需求高、图像数据注释量大、泛化能力弱等缺点。 为了解决这些难题&a…...

编程日记 2024/1/4 1:43:20

使用JAVA Zookeeper构建分布式键值存储

在这篇文章中，我将使用 JAVA 和网络套接字构建一个简单的分布式键值存储。 我将展示如何在具有多个分区和复制的集群中使用 Zookeeper 作为协调服务。 本系统中Zookeeper服务的功能如下： 维护从服务器到分区的映射，即哪些服务器属于分区“i”。这些数据还可用于推断哪些服务…...

编程日记 2024/1/4 1:42:19

2023-12-19 LeetCode每日一题（寻找峰值 II）

2023-12-19每日一题 一、题目编号 1901. 寻找峰值 II二、题目链接 点击跳转到题目位置 三、题目描述 一个 2D 网格中的 峰值 是指那些 严格大于 其相邻格子(上、下、左、右)的元素。 给你一个 从 0 开始编号 的 m x n 矩阵 mat ，其中任意两个相邻格子的值都 不…...

编程日记 2024/1/4 1:40:17

gin框架使用系列之五——表单校验

系列目录 《gin框架使用系列之一——快速启动和url分组》《gin框架使用系列之二——uri占位符和占位符变量的获取》《gin框架使用系列之三——获取表单数据》《gin框架使用系列之四——json和protobuf的渲染》 一 、表单验证的基本理论 在第三篇中，我们介绍了如何…...

编程日记 2024/1/4 1:38:14

HackTheBox - Medium - Linux - Interface

Interface Interface 是一种中等难度的 Linux 机器，具有“DomPDF”API 端点，该端点通过将“CSS”注入处理后的数据而容易受到远程命令执行的影响。“DomPDF”可以被诱骗在其字体缓存中存储带有“PHP”文件扩展名的恶意字体，然后可以通过从其…...

编程日记 2024/1/4 1:36:13

C++ 字符串操作说明 续

一、strstr函数 extern char *strstr(char *str1, const char *str2); 1. strstr(str1,str2) 函数用于判断字符串str2是否是str1的子串。如果是，则该函数返回str2在str1中首次出现的地址；否则，返回NULL。 2. str1: 被查找目标　string …...

编程日记 2024/1/4 1:35:12

[情商-7]：如何回答没有标准答案的两难问题

目录 前言： 一、用“逻辑推理思维”回答两难问题 二、用“情绪思维”回答两难问题 1.1 关注提问者提出问题背后的情绪状态和情绪/情感诉求 1.2 常见的常见的情绪和情感诉求 1.3 女性情感分析 1.4 理解女性情感的语言 1.5 如何通过语言理解女性的情绪需求 三…...

编程日记 2024/1/4 1:34:10

对偶问题的基本性质

写于：2024年1月3日晚 修改于： 原规划与对偶规划 原规划对偶规划 max ⁡ z C T X s.t. { A X ≤ b , 其中 X ( m ∗ 1 ) X ≥ 0 \begin{aligned} & \max \mathrm{z}\mathbf{C}^T \mathbf{X} \\ & \text { s.t. }\left\{\begin{array}{l}\mat…...

编程日记 2024/1/4 1:30:08

从零到上线：用Vue3+AntV G2快速搭建企业级数据大屏

从零到上线：用Vue3AntV G2快速搭建企业级数据大屏 在数字化转型浪潮中，数据可视化已成为企业决策的重要支撑。想象这样一个场景：会议室里，高管们围坐在大屏前，实时业务数据通过动态图表清晰呈现，关键指标一…...

编程新知 2026/3/27 16:43:31

Qwen3.5-4B-Claude推理模型在算法面试辅导中的实战：分步推导+代码示例生成

Qwen3.5-4B-Claude推理模型在算法面试辅导中的实战：分步推导代码示例生成 1. 模型介绍与核心能力 Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF是一个专门针对推理任务优化的AI模型，它基于Qwen3.5-4B架构，通过蒸馏训练强化了结构化…...

编程新知 2026/3/27 15:59:16

OpenClaw+GLM-4.7-Flash：个人网络安全监控助手

OpenClawGLM-4.7-Flash：个人网络安全监控助手 1. 为什么需要个人网络安全监控 去年我的开发机遭遇了一次恶意脚本攻击，导致本地Git仓库被篡改。事后排查发现，攻击者通过一个陈旧的SSH密钥漏洞入侵，而系统日志里其实早有异常登录…...

编程新知 2026/3/27 15:53:13

突破联想笔记本BIOS限制：LEGION BIOS高级设置工具全解析

突破联想笔记本BIOS限制：LEGION BIOS高级设置工具全解析 【免费下载链接】LEGION_Y7000Series_Insyde_Advanced_Settings_Tools 支持一键修改 Insyde BIOS 隐藏选项的小工具，例如关闭CFG LOCK、修改DVMT等等 项目地址: https://gitcode.com/gh_mirrors…...

编程新知 2026/3/27 15:22:56

给嵌入式新手的Cortex-M0内核超详细图解：从寄存器到中断，一篇搞定STM32/GD32入门

给嵌入式新手的Cortex-M0内核超详细图解：从寄存器到中断，一篇搞定STM32/GD32入门 刚拿到STM32开发板时，看着密密麻麻的引脚和上百页的芯片手册，我完全不知道从哪里开始。直到导师指着原理图说："把芯片想象成一个忙…...

编程新知 2026/3/27 15:22:56

EVA-01场景应用：电商商品分析、文档信息提取，真实工作流分享

EVA-01场景应用：电商商品分析、文档信息提取，真实工作流分享 1. 从科幻到现实：EVA-01的商业价值 在电商运营和文档处理的日常工作中，我们常常面临这样的挑战：海量商品图片需要人工标注关键信息，繁杂的合同…...

编程新知 2026/3/27 15:10:51

手把手教你用STM32实现BLDC电机的SPWM控制（附代码调试心得）

STM32实战：无刷直流电机SPWM控制全解析与代码优化指南 从理论到实践：BLDC电机控制的核心逻辑 第一次接触无刷直流电机(BLDC)控制时，我被它优雅的工作原理所吸引——没有电刷的火花和磨损，却能实现高效的能量转换。在工业自动化、无…...

编程新知 2026/3/27 14:01:16

Charticulator：颠覆式图表构建引擎如何让数据工作者实现零代码可视化创新

Charticulator：颠覆式图表构建引擎如何让数据工作者实现零代码可视化创新 【免费下载链接】charticulator Interactive Layout-Aware Construction of Bespoke Charts 项目地址: https://gitcode.com/gh_mirrors/ch/charticulator 数据可视化领域长期面临着模…...

编程新知 2026/3/27 13:08:57

FModel：虚幻引擎资源解析的技术突破与实践指南

FModel：虚幻引擎资源解析的技术突破与实践指南 【免费下载链接】FModel Unreal Engine Archives Explorer 项目地址: https://gitcode.com/gh_mirrors/fm/FModel 在游戏开发与逆向工程领域，资源解析工具的选择直接影响工作效率与成果质量。当面对…...

编程新知 2026/3/27 12:26:40

从数组到哈夫曼树：用Python代码图解软考数据结构核心算法

从数组到哈夫曼树：Python实战软考核心数据结构 1. 线性结构的Python实现 1.1 顺序栈与队列的实现 Python的列表(list)天然适合实现顺序存储结构。我们先来看栈的实现： class ArrayStack:def __init__(self, capacity10):self._items []self._capacity …...

编程新知 2026/3/27 11:46:08