当前位置： 首页 > news >正文

不同参数规模大语言模型在不同微调方法下所需要的显存总结

news 2026/3/31 3:11:33

原文来自DataLearnerAI官方网站：

不同参数规模大语言模型在不同微调方法下所需要的显存总结 | 数据学习者官方网站(Datalearner)icon-default.png?t=N7T8https://www.datalearner.com/blog/1051703254378255

大模型的微调是当前很多人都在做的事情。微调可以让大语言模型适应特定领域的任务，识别特定的指令等。但是大模型的微调需要的显存较高，而且比较难以估计。与推理不同，微调过程微调方法的选择以及输入序列的长度、批次大小都会影响微调显存的需求。本文根据LLaMA Factory的数据总结一下大模型微调的显存要求。

在此前的文章中，我们已经解释了大模型推理和显存之间的估算方法：需要多少GPU显存才能运行预训练大语言模型？大语言模型参数规模与显存大小的关系估算方法~。即大模型推理显存约等于模型参数乘以2，而微调则只给了方法没有具体公式。

不同参数规模的大模型在不同微调方法下所需的显存大小，十分有参考意义：

微调方法模型精度70亿参数模型130亿参数模型300亿参数模型650亿参数模型8x7B（MoE）
Full16160GB320GB600GB1200GB1000GB
Freeze1620GB40GB120GB240GB200GB
LoRA1616GB32GB80GB160GB120GB
QLoRA810GB16GB40GB80GB80GB
QLoRA46GB12GB24GB48GB32GB

这里的微调方法介绍参考和数据来源见原文：不同参数规模大语言模型在不同微调方法下所需要的显存总结 | 数据学习者官方网站(Datalearner)

这里比较重要的参考是8×7B的MoE模型。这个显然就是前段时间刚刚发布的Mixtral大模型（即Mistral 8×7B MoE，详情参考：MistralAI的混合专家大模型Mistral-7B×8-MoE详细介绍，效果超过LLaMA2-70B和GPT-3.5，推理速度快6倍）。这个模型实际参数450亿，每次推理只会激活120亿的参数。这个模型在微调的时候需要的显存大小和450亿参数规模的模型相当。也就是说，MoE最大的优点应该是提升推理速度。推理现存与微调显存实际上不会有什么优势（根据实际测试，Mixtral 8×7B MoE推理最少也要90多G的显存）。如果使用QLoRA方法，那么显存大小会显著降低。不过，这也会降低一点精度。

原文来自DataLearnerAI：不同参数规模大语言模型在不同微调方法下所需要的显存总结 | 数据学习者官方网站(Datalearner)

相关文章：

不同参数规模大语言模型在不同微调方法下所需要的显存总结

原文来自DataLearnerAI官方网站： 不同参数规模大语言模型在不同微调方法下所需要的显存总结 | 数据学习者官方网站(Datalearner)https://www.datalearner.com/blog/1051703254378255 大模型的微调是当前很多人都在做的事情。微调可以让大语言模型适应特定领域的任…...

编程日记 2023/12/26 3:57:58

Crow：Middlewares 庖丁解牛6 middleware_call_helper

Crow：http请求到Rule绑定的handler_的调用链-CSDN博客 介绍了handler_的调用顺序，其中的一个调用过程是Connection::->handle void handle() {...ctx_ = detail::context<Middlewares...>();req_.middleware_context = static_cast<void*>(&ctx_);req_.m…...

编程日记 2023/12/26 3:53:55

MyBatis：Generator

MyBatis Generator附批量操作分页查询存储过程 Generator 介绍网址&#xff1a;Introduction to MyBatis Generator Generator &#xff0c;一个用于 MyBatis 的代码生成工具&#xff0c;可以根据数据库表结构自动生成对应的实体类、DAO 接口和 SQL 映射文件&#xff0c;提高…...

编程日记 2023/12/26 3:48:50

rabbitmq的事务实现、消费者的事务实现

RabbitMQ提供了事务机制&#xff0c;可以确保消息在发送和确认过程中的一致性。使用事务机制可以将一系列的消息操作&#xff08;发送、确认、回滚&#xff09;作为一个原子操作&#xff0c;要么全部执行成功&#xff0c;要么全部回滚。 下面是使用RabbitMQ事务的一般步骤&…...

编程日记 2023/12/26 3:45:47

龙芯杯个人赛串口——做一个 UART串口——RS-232

文章目录 Async transmitterAsync receiver1. RS-232 串行接口的工作原理DB-9 connectorAsynchronous communicationHow fast can we send data? 2.波特率时钟生成器Parameterized FPGA baud generator 3.RS-232 transmitter数据序列化完整代码&#xff1a; 4.RS-232 receiver…...

编程日记 2023/12/26 3:44:46

验证码服务使用指南

验证码服务使用指南 1 部署验证码服务 1.1 基础环境 Java 1.8 Maven3.3.9 1.2 安装Redis 参考“Redis安装指南” 1.3 部署验证码服务 1.3.1 下载源码 使用git从远程下载验证码服务代码(开源)。 1.3.2 使用idea打开项目 使用idea打开上一步下载的sailing目录&#xf…...

编程日记 2023/12/26 3:43:44

js中Math.min(...arr)和Math.max(...arr)的注意点

当arr变量为空数组时&#xff0c;这两个函数和不传参数时的结果是一样的 Math.max() // -Infinity Math.max(...[]) // -InfinityMath.min() // Infinity Math.min(...[]) // Infinity...

编程日记 2023/12/26 3:42:43

【zookeeper特点和集群架构】

文章目录 1. Zookeeper介绍2、ZooKeeper数据结构3、Zookeeper集群架构 1. Zookeeper介绍 ZooKeeper 是一个开源的分布式协调框架&#xff0c;是Apache Hadoop 的一个子项目&#xff0c;主要用来解决分 布式集群中应用系统的一致性问题。Zookeeper 的设计目标是将那些复杂且容易…...

编程日记 2023/12/26 3:39:40

MySQL集群架构搭建以及多数据源管理实战

MySQL集群架构搭建以及多数据源管理实战 ​ 数据库的分库分表操作&#xff0c;是互联网大型应用所需要面对的最核心的问题。因为数据往往是一个应用最核心的价值所在。但是&#xff0c;在最开始的时候&#xff0c;需要强调下&#xff0c;在实际应用中&#xff0c;对于数据库&a…...

编程日记 2023/12/26 3:35:36

C# WPF上位机开发（从demo编写到项目开发）

【 声明&#xff1a;版权所有&#xff0c;欢迎转载&#xff0c;请勿用于商业用途。 联系信箱&#xff1a;feixiaoxing 163.com】 C# WPF编程&#xff0c;特别是控件部分&#xff0c;其实学起来特别快。只是后面多了多线程、锁、数据库、网络这部分稍微复杂一点&#xff0c;不过…...

编程日记 2023/12/26 3:34:35

微信小程序引入 vant组件（详细步骤）

vant官方地址 https://vant-contrib.gitee.io/vant-weapp/#/quickstart 步骤一、 通过 npm 安装 # 通过 npm 安装 npm i vant/weapp -S --production# 通过 yarn 安装 yarn add vant/weapp --production# 安装 0.x 版本 npm i vant-weapp -S --production步骤二 修改 app.js…...

编程日记 2023/12/26 3:33:34

Django之按钮（actions）

开篇就是道歉&#xff0c;哈哈哈哈&#xff0c;托更了好久好久&#xff0c;最近太忙了没啥时间更新&#xff0c;各位看官有催更的阔以给我私信哇&#xff0c;希望各位看官给个三连&#xff01;&#xff01;&#xff01;&#x1f60d;&#x1f60d;&#x1f60d;&#x1f60d; …...

编程日记 2023/12/26 3:32:32

从YOLOv1到YOLOv8的YOLO系列最新综述【2023年4月】

作者&#xff1a;Juan R. Terven 、Diana M. Cordova-Esparaza 摘要&#xff1a;YOLO已经成为机器人、无人驾驶汽车和视频监控应用的核心实时物体检测系统。我们对YOLO的演变进行了全面的分析&#xff0c;研究了从最初的YOLO到YOLOv8每次迭代的创新和贡献。我们首先描述了标准…...

编程日记 2023/12/26 3:30:30

浙江大唐乌沙山电厂选择ZStack Cloud打造新一代云基础设施

浙江大唐乌沙山电厂选择云轴科技ZStack Cloud云平台为其提供高性能、高可用的云主机、云存储和云网络&#xff0c;构建了简单、稳定、安全、高效的云基础设施&#xff1b;通过ZStackCloud为其提供可视化服务编排、多租户自服务等模块&#xff0c;帮助电厂提高IT资源利用率&…...

编程日记 2023/12/26 3:28:27

电脑开机快捷启动，启动菜单没有u盘怎么办

电脑开机快捷启动键找不到u盘怎么办 对于快捷启动键找不到u盘的问题&#xff0c;小编很了解其中的门道&#xff0c;因为开机找不到u盘是我们使用电脑时候的常见问题。那么我们到底要如何解决开机找不到u盘的问题呢?其实方法还是蛮简单的&#xff0c;下面小编就来教大家电脑开…...

编程日记 2023/12/26 3:25:25

线程的同步与互斥

抢票的例子 竞争过程 进程A被切走 进程B被切走 结论&#xff1a; 互斥 int pthread_mutex_init(pthread_mutex_t *mutex, const pthread_mutexattr_t *attr); mutex: 指向要初始化的互斥锁的指针。attr: 用于设置互斥锁属性的指针&#xff0c;通常可以传入 NULL 以使用默认属性…...

编程日记 2023/12/26 3:21:20

低代码实施复杂应用的实践方法

内容来自演讲&#xff1a;韦有炬 | 柳州知行远企业管理咨询有限公司 | 总经理 摘要 本文探讨了在全民开发时代如何使用低代码实施复杂应用并降低上线风险。文章分析了复杂系统实施失败的风险&#xff0c;包括项目规划不周、人员变动、企业基础管理不足等&#xff0c;并对比了低…...

编程日记 2023/12/26 3:19:18

算法学习系列（十一）：KMP算法

目录 引言一、算法概念二、题目描述三、思路讲解三、代码实现四、测试 引言 这个KMP算法就是怎么说呢&#xff0c;就是不管算法竞赛还是找工作笔试面试&#xff0c;都是非常爱问爱考的&#xff0c;其实也是因为这个算法比较难懂&#xff0c;其实就是很难&#xff0c;所以非常个…...

编程日记 2023/12/26 3:16:15

****Linux下Mysql的安装和配置

1、安装mysql 1.1、安装mysql sudo aptitude search mysql sudo apt-get install mysql-server mysql-client1.2、启动停止mysql： service mysql stop service mysql restart mysql -u debian-sys-maint -p mysql命令详细解释如下： 一、 启动方式 1、使用 service 启动…...

编程日记 2023/12/26 3:15:14

第十六节TypeScript 类

1、简介 TypeScript是面向对象的JavaScript。 类描述了所创建的对象共同的属性与方法。 2、类的定义 class class_name { // 类作用域 } 定义类的关键字是class&#xff0c;后面紧跟类名&#xff0c;类可以包含以下几个模块&#xff1a; 字段 – 字段是类里面声明的变量。字…...

编程日记 2023/12/26 3:13:13

用MQTT协议玩转OneNet物联网：STM32F103+ESP8266实现温湿度监控（附心跳包优化技巧）

STM32F103与ESP8266的物联网实战&#xff1a;MQTT协议深度优化与温湿度监控系统设计 1. 资源受限环境下的物联网通信架构设计 在嵌入式物联网设备开发中&#xff0c;资源优化始终是核心挑战。STM32F103C8T6作为经典的Cortex-M3内核微控制器&#xff0c;仅有64KB Flash和20KB RA…...

编程新知 2026/3/31 2:15:27

CPCIe507全国产信号处理板卡：FT-M6678+JFM7VX690T互联调试

CPCIe507 为标准的6U CPCIe 板卡&#xff0c;采用全国产芯片设计。出于匠行科技技术团队。主处理器采用复旦微电子FPGA JFM7VX690T36和长城银河多核 DSP FT-M6678N&#xff0c;二者之间通过SRIO x5 互联。板卡对外高速接口为PCIe3.0 x4、预留GTH x4&#xff0c;低速接口RS422 x…...

编程新知 2026/3/31 1:39:15

IBM Rhapsody 9.0.2 配置与编译问题解决指南

1. IBM Rhapsody 9.0.2环境配置常见问题解析 第一次接触IBM Rhapsody 9.0.2时&#xff0c;我遇到了不少配置上的坑。这个强大的系统建模工具虽然功能全面&#xff0c;但在环境搭建阶段确实需要特别注意几个关键点。最典型的问题就是Visual Studio版本兼容性&#xff0c;这也是大…...

编程新知 2026/3/31 1:13:03

如何永久保存微信聊天记录？WeChatMsg完整备份方案详解

如何永久保存微信聊天记录&#xff1f;WeChatMsg完整备份方案详解 【免费下载链接】WeChatMsg 提取微信聊天记录&#xff0c;将其导出成HTML、Word、CSV文档永久保存&#xff0c;对聊天记录进行分析生成年度聊天报告 项目地址: https://gitcode.com/GitHub_Trending/we/WeCha…...

编程新知 2026/3/31 0:28:44

eXoCAN：轻量级汽车电子CAN协议栈设计与实践

1. eXoCAN库概述&#xff1a;面向嵌入式汽车电子的轻量级CAN协议栈eXoCAN是一个专为资源受限嵌入式系统设计的轻量级、可移植CAN&#xff08;Controller Area Network&#xff09;驱动框架。其名称“eXoCAN”源自“eXtensible Open CAN”&#xff0c;强调其开放性、可扩展性与硬…...

编程新知 2026/3/31 0:14:35

设备维护日历可视化：用低代码平台打造智能保养提醒看板（含模板下载）

设备维护日历可视化&#xff1a;用低代码平台打造智能保养提醒看板 在制造业的日常运营中&#xff0c;设备维护保养常常被视为"必要但繁琐"的后台工作。传统的手工记录或Excel表格管理方式&#xff0c;不仅效率低下&#xff0c;还容易因人为疏忽导致关键保养任务被遗…...

编程新知 2026/3/30 23:06:17

7个终极技巧：提升SwiftyUserDefaults性能，避开常见陷阱

7个终极技巧&#xff1a;提升SwiftyUserDefaults性能&#xff0c;避开常见陷阱 【免费下载链接】SwiftyUserDefaults Modern Swift API for NSUserDefaults 项目地址: https://gitcode.com/gh_mirrors/sw/SwiftyUserDefaults SwiftyUserDefaults是一个为NSUserDefaults提…...

编程新知 2026/3/30 21:55:16

实战部署指南：高效配置SadTalker音频驱动人脸动画的完整方案

实战部署指南&#xff1a;高效配置SadTalker音频驱动人脸动画的完整方案 【免费下载链接】SadTalker [CVPR 2023] SadTalker&#xff1a;Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation 项目地址: https://gitco…...

编程新知 2026/3/30 21:29:00

Comsol 锂枝晶耦合应力模型探索

comsol锂枝晶耦合应力模型 耦合了浓度场电势场应力场 Comsol锂枝晶模拟-相场法加应力 复现参考文献&#xff1a;《How Does External Pressure Shape Li Dendrites in Li Metal Batterie 利用相场法耦合&#xff1a;化学场、电势场、浓度场、应力场。在锂离子电池研究领域&…...

编程新知 2026/3/30 20:50:47

Flux.1-Dev深海幻境在网络安全领域的应用：恶意流量日志可视化分析

Flux.1-Dev深海幻境在网络安全领域的应用&#xff1a;恶意流量日志可视化分析 每天&#xff0c;安全运维中心的告警大屏上&#xff0c;成千上万条日志像瀑布一样滚动。分析师小李紧盯着屏幕&#xff0c;试图从这些密密麻麻的IP地址、端口号和状态码中&#xff0c;分辨出一次真…...

编程新知 2026/3/30 20:20:27