当前位置： 首页 > news >正文

如何让人工智能训练更快

news 2025/7/12 11:29:12

影响人工智能训练时间的因素

在深度学习训练中，训练时间的计算涉及到多个因素，包括 epoch 数、全局 batch size、微 batch size、计算设备数量等。下面是一个基本的公式来说明这些参数之间的关系（注意，这只是一个基本的说明公式，主要说明比例和反比例关系，实际训练可能还需要考虑更多因素）：

博客文章缩略图 2，标题为“如何加快 AI 训练速度”

他们之中-

  • 时期是指模型处理整个训练数据集的次数。
  • 样本总数是训练数据集中的样本总数。
  • 全局批次大小是每次训练迭代中处理的数据样本总数。
  • Time per Step 是每次训练迭代所需的时间，取决于硬件性能、模型复杂度、优化算法等因素。
  • 设备数量是用于训练的计算设备的数量，例如 GPU 的数量。

此公式提供了一个基本框架，但请注意，实际训练时间可能受到许多其他因素的影响，包括 I/O 速度、网络延迟（对于分布式训练）、CPU-GPU 通信速度、GPU 训练期间硬件故障的频率 等。因此，此公式只能作为粗略估计，实际训练时间可能会有所不同。

 

详细解释

深度学习模型的训练时间由多种因素决定，包括但不限于以下因素：

  • 周期数：周期表示模型处理了整个训练数据集一次。周期越多，模型需要处理的数据越多，因此训练时间越长。
  • 全局批大小：全局批大小是每次训练迭代中处理的数据样本总数。全局批大小越大，每次迭代处理的数据越多，这可能会减少每个时期所需的迭代次数，从而缩短总训练时间。但是，如果全局批大小过大，可能会导致内存溢出。
  • 微批次大小：微批次大小是指每个计算设备在每次训练迭代中处理的数据样本数量。微批次大小越大，每个设备每次迭代处理的数据越多，这可以提高计算效率，从而缩短训练时间。但是，如果微批次大小过大，可能会导致内存溢出。
  • 硬件性能：所使用的计算设备（如 CPU、GPU）的性能也会影响训练时间。更强大的设备可以更快地进行计算，从而缩短训练时间。
  • 模型复杂度：模型的复杂度（例如层数、参数数量等）也会影响训练时间。模型越复杂，需要的计算量就越多，因此训练时间越长。
  • 优化算法：所使用的优化算法（例如 SGD、Adam 等）和学习率等超参数设置也会影响训练时间。
  • 并行策略：数据并行、模型并行等并行计算策略的采用也会影响训练时间。


决定训练时间长短的因素有很多，需要根据具体的训练任务和环境综合考虑。

所以，在这个公式中

博客文章缩略图 3，标题为“如何加快 AI 训练速度”

应该理解为每步时间主要与 GPU 的计算能力有关。“每步时间”，即每个训练步骤所需的时间，由多种因素决定，包括但不限于以下因素：
  • 硬件性能：所使用的计算设备（如 CPU、GPU）的性能将直接影响每次训练迭代的速度。功能更强大的设备可以更快地执行计算。
  • 模型复杂度：模型的复杂度（例如层数、参数数量等）也会影响每次训练迭代的时间。模型越复杂，所需的计算量就越大。
  • 优化算法：所使用的优化算法（例如 SGD、Adam 等）也会影响每次训练迭代的时间。某些优化算法可能需要更复杂的计算步骤来更新模型参数。
  • 训练时使用的数据类型：训练时使用的不同数据类型对每步时间有显著影响。数据类型包括FP32，FP/BF16，FP8等。

训练步骤

那么，总训练步数由什么决定呢？“总训练步数”由训练周期数和每周期步数决定。具体来说，它等于周期数乘以每周期步数。这可以用以下公式来表示：
 

博客文章缩略图 4，标题为“如何加快 AI 训练速度”

 
全局批次大小
那么，什么决定了全局批次大小？
 

博客文章缩略图 5，标题为“如何加快 AI 训练速度”

<span style="color:#333333"><span style="background-color:#ffffff"><span style="background-color:#2b2b2b"><span style="color:#f8f8f2"><code class="language-applescript">global_batch_size <span style="color:#00e0e0">=</span> 
gradient_accumulation_steps 
<span style="color:#00e0e0">*</span> nnodes （node mumbers） 
<span style="color:#00e0e0">*</span> nproc_per_node （GPU <span style="color:#00e0e0">in</span> one node） 
<span style="color:#00e0e0">*</span> per_device_train_batch_si（micro bs size） </code></span></span></span></span>
假设一个场景： 
<span style="color:#333333"><span style="background-color:#ffffff"><span style="background-color:#2b2b2b"><span style="color:#f8f8f2"><code class="language-applescript">batch_size <span style="color:#00e0e0">=</span> <span style="color:#00e0e0">10</span>  <span style="color:#d4d0ab"># Batch size  </span>
total_num <span style="color:#00e0e0">=</span> <span style="color:#00e0e0">1000</span>  <span style="color:#d4d0ab"># Total number of training data  </span></code></span></span></span></span>

当训练一批数据，更新一次梯度时（梯度累积步数=1）：

 

<span style="background-color:#2b2b2b"><span style="color:#f8f8f2"><code class="language-applescript">train_steps <span style="color:#00e0e0">=</span> total_num <span style="color:#00e0e0">/</span> batch_size <span style="color:#00e0e0">=</span> <span style="color:#00e0e0">1000</span> <span style="color:#00e0e0">/</span> <span style="color:#00e0e0">10</span> <span style="color:#00e0e0">=</span> <span style="color:#00e0e0">100</span>  </code></span></span>

 

这意味着每个 epoch 有 100 个步骤，梯度更新步骤也是 100。
当内存不足以支持 10 的批大小时，我们可以使用梯度累积来减少每个微批的大小。假设我们将梯度累积步骤设置为 2：

 

<span style="background-color:#2b2b2b"><span style="color:#f8f8f2"><code class="language-applescript">gradient_accumulation_steps <span style="color:#00e0e0">=</span> <span style="color:#00e0e0">2</span>  
micro_batch_size <span style="color:#00e0e0">=</span> batch_size <span style="color:#00e0e0">/</span> gradient_accumulation_steps <span style="color:#00e0e0">=</span> <span style="color:#00e0e0">10</span> <span style="color:#00e0e0">/</span> <span style="color:#00e0e0">2</span> <span style="color:#00e0e0">=</span> <span style="color:#00e0e0">5</span>  </code></span></span>

 

这意味着对于每次梯度更新，我们从 2 个微批次中累积数据，每个微批次大小为 5。这减少了内存压力，但每次梯度更新的数据大小仍然是 10 个数据点。

结果：

  • 每个时期的训练步数（train_steps）保持为 100，因为数据总量和每个时期的步数都没有改变。
  • 梯度更新步骤保持为 100，因为每次梯度更新都会累积来自 2 个微批次的数据。

需要注意的是，使用梯度累积时，每个训练步骤都会处理来自多个微批次的梯度的累积，这可能会稍微增加每个步骤的计算时间。因此，如果内存足够，最好增加批次大小以减少梯度累积的次数。当内存不足时，梯度累积是一种有效的方法。

全局批次大小会显著影响模型的训练效果。通常，较大的全局批次大小可以提供更准确的梯度估计，有助于模型收敛。然而，它也会增加每个设备的内存压力。如果内存资源有限，使用较大的全局批次大小可能不可行。

在这种情况下，可以使用梯度累积。通过在每个设备上使用较小的微批次大小进行训练，我们可以减少内存压力，同时保持较大的全局批次大小以获得准确的梯度估计。这允许在有限的硬件资源上训练大型模型，而不会牺牲全局批次大小。

总之，梯度累积是在内存资源有限的情况下平衡全局批次大小和训练效果的一种权衡策略。


因此，如果我们看一下这两个公式：

博客文章缩略图 6，标题为“如何加快 AI 训练速度”

 

博客文章缩略图 7，标题为“如何加快 AI 训练速度”

全局batch size越大，在不发生OOM（Out of Memory）且没有充分利用GPU计算能力的前提下，总的训练时间越短。

 

数据并行和批次大小的关系

 本节主要分析一下这个公式：

<span style="color:#333333"><span style="background-color:#ffffff"><span style="background-color:#2b2b2b"><span style="color:#f8f8f2"><code class="language-applescript">global_batch_size <span style="color:#00e0e0">=</span> 
gradient_accumulation_steps 
<span style="color:#00e0e0">*</span> nnodes （The <span style="color:#abe338">number</span> <span style="color:#00e0e0">of</span> nodes <span style="color:#00e0e0">is</span><span style="color:#fefefe">,</span> <span style="color:#00e0e0">in</span> effect<span style="color:#fefefe">,</span> <span style="color:#00e0e0">the</span> PP） 
<span style="color:#00e0e0">*</span> nproc_per_node （The <span style="color:#abe338">number</span> <span style="color:#00e0e0">of</span> cards per node <span style="color:#00e0e0">is</span><span style="color:#fefefe">,</span> <span style="color:#00e0e0">in</span> effect<span style="color:#fefefe">,</span> <span style="color:#00e0e0">the</span> TP） 
<span style="color:#00e0e0">*</span> per_device_train_batch_si（micro bs size） </code></span></span></span></span>

在分布式深度学习中，数据并行是一种常见的策略。训练数据被分成多个小批量，并分布到不同的计算节点。每个节点都有模型的副本，并在其数据子集上进行训练，从而加快训练过程。

在每个训练步骤结束时，使用 AllReduce 操作同步所有节点的模型权重。AllReduce 会聚合来自所有节点的梯度并广播结果，从而允许每个节点更新其模型参数。

如果在单个设备上进行训练，则不需要 AllReduce，因为所有计算都发生在同一设备上。然而，在分布式训练中，尤其是在数据并行的情况下，AllReduce 或类似操作对于跨设备同步模型参数是必要的。

许多深度学习框架（例如 PyTorch、TensorFlow）使用 NVIDIA 的 NCCL 进行多 GPU 之间的通信。每个 GPU 在其数据子集上进行训练，并在每个步骤结束时使用 NCCL 的 AllReduce 同步模型权重。

虽然 AllReduce 在数据并行中很常用，但根据框架和策略，也可以采用其他 NCCL 操作。

数据并行 (DP) 和微批次大小相互关联。DP 涉及在多台设备上进行训练，每台设备处理一部分数据。微批次大小是每台设备每次迭代处理的样本数。使用 DP，原始批次大小被拆分为跨设备的微批次。如果没有 DP 或模型并行 (MP)，微批次大小等于全局批次大小。使用 DP 或 MP，全局批次大小是所有微批次的总和。DP

可应用于单个服务器或跨多个服务器的多个设备。将 DP 设置为 8 表示在 8 台设备上进行训练，这些设备可以位于同一服务器上，也可以分布在多个服务器上。

管道并行 (PP) 是一种不同的策略，其中不同的模型部分在不同的设备上运行。在 PP 中将 DP 设置为 8 表示 8 台设备在每个管道阶段并行处理数据。

总之，DP 和 PP 可同时在单个服务器或跨多个服务器的设备上使用。

相关文章：

如何让人工智能训练更快

影响人工智能训练时间的因素 在深度学习训练中&#xff0c;训练时间的计算涉及到多个因素&#xff0c;包括 epoch 数、全局 batch size、微 batch size、计算设备数量等。下面是一个基本的公式来说明这些参数之间的关系&#xff08;注意&#xff0c;这只是一个基本的说明公式&…...

编程日记 2024/9/12 5:06:05

linux/ubuntu国内镜像安装gitleaks敏感信息扫描工具教程及避坑点

1、背景 利用gitleaks扫描git仓库或者文件 GitHub上有比较详细的教程&#xff0c;但是由于每个人的安装环境不同&#xff0c;坑很多&#xff0c;网上能查到的有效信息也比较少。这里就以我坑很多的环境为例&#xff0c;捋一下步骤。 GitHub - gitleaks/gitleaks: Protect an…...

编程日记 2024/9/12 5:05:03

JavaScript高级程序设计基础（二）

二、语言基础 2.1语法 &#xff08;简单的语法基础将在文章省略&#xff09; 2.1.1严格模式 严格模式是一种不同的 JavaScript 解析和执行模型&#xff0c;不规范写法在这种模式下会被处理 只需在脚本开头加上"use strict" 也可以单独指定一个函数在严格模式下执…...

编程日记 2024/9/12 5:04:02

使用Spring Boot开发自习室预定系统

开发一个自习室预定系统涉及到用户管理、自习室管理、预定管理等功能。以下是使用Spring Boot开发自习室预定系统的步骤和关键点&#xff1a; 1. 需求分析 确定系统的基本需求&#xff0c;例如&#xff1a; 用户注册和登录管理员管理自习室信息用户浏览可用自习室用户预定自…...

编程日记 2024/9/12 5:01:59

最近读书总结

1《More Joel on Software》读后感【2024年8月29日】 1.1 本书概要 本书讲解了如何发现优秀的IT人才&#xff0c;并把他们招聘进来&#xff1b;如何对智力密集型的IT企业&#xff08;软件企业&#xff09;进行管理&#xff0c;即最好采用情感认同法&#xff1b;对计算机大学生…...

编程日记 2024/9/12 5:00:58

python列表判断是否为空的三种方式

#列表是否为空判断 a[]一&#xff1a; if a:print(not null) else:print(null)二&#xff1a; b len(a) if b 0:print(null) else:print(not null)三&#xff1a; if not a:print(null) else:print(not null)运行结果&#xff1a;...

编程日记 2024/9/12 4:59:57

二十三种模式之原型模式(类比制作陶器更好理解一些)

1. 设计模式的分类 创建型模式(五种)&#xff1a;工厂方法模式、单例模式、抽象工厂模式、原型模式、建造者模式。 结构型模式(七种)&#xff1a;适配器模式、代理模式、装饰器模式、桥接模式、外观模式、享元模式、组合模式。 行为型模式(十一种)&#xff1a;状态模式、模板方…...

编程日记 2024/9/12 4:58:54

9.9日记录

1.常见排序算法的复杂度 1.快速排序 1.1快速排序为什么快 从名称上就能看出&#xff0c;快速排序在效率方面应该具有一定的优势。尽管快速排序的平均时间复杂度与“归并排序”和“堆排序”相同&#xff0c;但通常快速排序的效率更高&#xff0c;主要有以下原因。 出现最差情况…...

编程日记 2024/9/12 4:57:53

鸿蒙交互事件开发04——手势事件

1 概 述 手势事件是移动应用开发中最常见的事件之一&#xff0c;鸿蒙提供了一些方法来绑定手势事件。通过给各个组件绑定不同的手势事件&#xff0c;并设计事件的响应方式&#xff0c;当手势识别成功时&#xff0c;ArkUI框架将通过事件回调通知组件手势识别的结果。 …...

编程日记 2024/9/12 4:55:50

研1日记9

1.理解conv1d和conv2d a. 1和2处理的数据不同&#xff0c;1维数据和图像 b. 例如x输入形状为(32,19,512)时&#xff0c;卷积公式是针对512的&#xff0c;而19应该变换为参数中指定的输出通道。 2.“SE块”&#xff08;Squeeze-and-Excitation Block&#xff09;它可以帮助模…...

编程日记 2024/9/12 4:54:45

HAL库学习目录查询表

日期内容2024.09.11基于STM32C8T6的CubeMX&#xff1a;HAL库点亮LED2024.09.11STMCuBeMX新建项目的两种匪夷所思的问题2024.09.11STMCubeMX文件下载后会出现其他项目无法下载的问题...

编程日记 2024/9/12 4:53:44

pandas DataFrame日期字段数据处理

pandas DataFrame日期字段数据处理 1、pandas读取表格文件日期字段存入数据库不需要时分秒 在使用 pandas 读取表格文件，并将日期字段存入数据库时，如果你只关心日期部分而不需要时分秒，可以通过以下步骤来处理： 读取数据并转换日期字段： 首先，你需要读取你的数据，并确…...

编程日记 2024/9/12 4:52:43

swift：qwen2 VL 多模态图文模型lora微调swift

参考： https://swift.readthedocs.io/zh-cn/latest/Multi-Modal/qwen2-vl%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.html 在线demo： https://colab.research.google.com/drive/16yl6Z0wxHLX3qJ5q-SIbvPn251k3r2JC?usp=sharing 安装： !git clone https://github.com/modelsc…...

编程日记 2024/9/12 4:51:41

Vue.js中computed的使用方法

在Vue.js中&#xff0c;computed 属性是基于它们的依赖进行缓存的响应式属性。只有当相关依赖发生改变时&#xff0c;才会重新求值。这意味着只要computed属性依赖的源数据&#xff08;如data中的属性&#xff09;没有发生变化&#xff0c;多次访问computed属性会立即返回之前的…...

编程日记 2024/9/12 4:50:40

python之pyecharts制作可视化数据大屏

文章目录 前言一、安装 Pyecharts二、创建 Pyecharts 图表三、设计大屏布局四、实时数据更新五、部署和展示总结前言 使用 Pyecharts 制作可视化数据大屏是一个复杂但有趣的过程，因为 Pyecharts 本身是一个用于生成 Echarts 图表的 Python 库，而 Echarts 是由百度开发的一个…...

编程日记 2024/9/12 4:48:38

Chrome、Edge、360及Firefox浏览器加载多个ActiveX插件的介绍

allWebPlugin简介 allWebPlugin中间件是一款为用户提供安全、可靠、便捷的浏览器插件服务的中间件产品&#xff0c;致力于将浏览器插件重新应用到所有浏览器。它将现有ActiveX控件直接嵌入浏览器&#xff0c;实现插件加载、界面显示、接口调用、事件回调等。支持Chrome、Firefo…...

编程日记 2024/9/12 4:47:36

裸金属服务器与云服务器的区别有哪些？

随着云计算服务的快速发展&#xff0c;云服务器与裸金属服务器则称为各大企业基础设施的两大核心选择&#xff0c;会运用在不同的场景当中&#xff0c;本文就来介绍一下裸金属服务器与云服务器的区别都有哪些吧&#xff01; 裸金属服务器相对于云服务器来说有着卓越的性能&…...

编程日记 2024/9/12 4:46:35

Pr：序列设置 - VR 视频

在“新建序列”对话框的“VR 视频” VR Video选项卡&#xff0c;或者在“序列设置”对话框的“VR 属性” VR Properties选项卡中&#xff0c;允许用户创建和编辑虚拟现实 (VR) 视频序列。 VR 视频能够提供 360 沉浸式的观看体验&#xff0c;通常使用专门的相机进行拍摄&#xf…...

编程日记 2024/9/12 4:45:34

采用qt做一个命令行终端

qt做一个类似系统命令行终端的工具&#xff0c;方便集成到自己的软件里使用&#xff0c;这样能保证软件的整体性&#xff0c;而且是真正的做到和系统命令行终端一样的交互方式&#xff0c;而不是单独搞个编辑框的方式输入命令&#xff08;大部分博客都是做成这个样子&#xff0…...

编程日记 2024/9/12 4:44:33

TQA相关

ReAct Prompting: 原理、实现与应用 ReAct Prompting&#xff08;推理与行动提示&#xff09;是一种引导大型语言模型&#xff08;LLM&#xff09;进行推理和行动的策略&#xff0c;广泛应用于复杂问题求解、对话生成和自动化任务等领域。ReAct Prompting 通过将模型的思考过程…...

编程日记 2024/9/12 4:43:32

VB.net复制Ntag213卡写入UID

本示例使用的发卡器&#xff1a;https://item.taobao.com/item.htm?ftt&id615391857885 一、读取旧Ntag卡的UID和数据 Private Sub Button15_Click(sender As Object, e As EventArgs) Handles Button15.Click轻松读卡技术支持:网站:Dim i, j As IntegerDim cardidhex, …...

编程新知 2025/7/9 13:10:23

【HarmonyOS 5.0】DevEco Testing：鸿蒙应用质量保障的终极武器

——全方位测试解决方案与代码实战 一、工具定位与核心能力 DevEco Testing是HarmonyOS官方推出的​​一体化测试平台​​&#xff0c;覆盖应用全生命周期测试需求&#xff0c;主要提供五大核心能力&#xff1a; ​​测试类型​​​​检测目标​​​​关键指标​​功能体验基…...

编程新知 2025/7/10 11:47:34

java调用dll出现unsatisfiedLinkError以及JNA和JNI的区别

UnsatisfiedLinkError 在对接硬件设备中&#xff0c;我们会遇到使用 java 调用 dll文件 的情况&#xff0c;此时大概率出现UnsatisfiedLinkError链接错误&#xff0c;原因可能有如下几种 类名错误包名错误方法名参数错误使用 JNI 协议调用&#xff0c;结果 dll 未实现 JNI 协…...

编程新知 2025/7/11 9:25:21

聊聊 Pulsar：Producer 源码解析

一、前言 Apache Pulsar 是一个企业级的开源分布式消息传递平台&#xff0c;以其高性能、可扩展性和存储计算分离架构在消息队列和流处理领域独树一帜。在 Pulsar 的核心架构中&#xff0c;Producer&#xff08;生产者&#xff09; 是连接客户端应用与消息队列的第一步。生产者…...

编程新知 2025/7/7 17:18:31

什么是库存周转？如何用进销存系统提高库存周转率？

你可能听说过这样一句话&#xff1a; “利润不是赚出来的&#xff0c;是管出来的。” 尤其是在制造业、批发零售、电商这类“货堆成山”的行业&#xff0c;很多企业看着销售不错&#xff0c;账上却没钱、利润也不见了&#xff0c;一翻库存才发现&#xff1a; 一堆卖不动的旧货…...

编程新知 2025/7/10 20:23:57

【SQL学习笔记1】增删改查+多表连接全解析（内附SQL免费在线练习工具）

可以使用Sqliteviz这个网站免费编写sql语句&#xff0c;它能够让用户直接在浏览器内练习SQL的语法&#xff0c;不需要安装任何软件。 链接如下&#xff1a; sqliteviz 注意&#xff1a; 在转写SQL语法时&#xff0c;关键字之间有一个特定的顺序&#xff0c;这个顺序会影响到…...

编程新知 2025/7/11 11:20:23

爬虫基础学习day2

# 爬虫设计领域 工商&#xff1a;企查查、天眼查短视频&#xff1a;抖音、快手、西瓜 ---> 飞瓜电商&#xff1a;京东、淘宝、聚美优品、亚马逊 ---> 分析店铺经营决策标题、排名航空&#xff1a;抓取所有航空公司价格 ---> 去哪儿自媒体&#xff1a;采集自媒体数据进…...

编程新知 2025/7/6 13:55:34

AI，如何重构理解、匹配与决策？

AI 时代&#xff0c;我们如何理解消费&#xff1f; 作者&#xff5c;王彬 封面&#xff5c;Unplash 人们通过信息理解世界。 曾几何时&#xff0c;PC 与移动互联网重塑了人们的购物路径&#xff1a;信息变得唾手可得&#xff0c;商品决策变得高度依赖内容。 但 AI 时代的来…...

编程新知 2025/7/10 21:45:52

Python Ovito统计金刚石结构数量

大家好，我是小马老师。 本文介绍python ovito方法统计金刚石结构的方法。 Ovito Identify diamond structure命令可以识别和统计金刚石结构，但是无法直接输出结构的变化情况。 本文使用python调用ovito包的方法，可以持续统计各步的金刚石结构，具体代码如下： from ovito…...

编程新知 2025/7/11 10:41:24

宇树科技，改名了！

提到国内具身智能和机器人领域的代表企业&#xff0c;那宇树科技&#xff08;Unitree&#xff09;必须名列其榜。 最近&#xff0c;宇树科技的一项新变动消息在业界引发了不少关注和讨论&#xff0c;即&#xff1a; 宇树向其合作伙伴发布了一封公司名称变更函称&#xff0c;因…...

编程新知 2025/7/10 13:54:07