当前位置： 首页 > news >正文

不同参数规模大语言模型在不同微调方法下所需要的显存总结

news 2026/5/15 23:07:54

原文来自DataLearnerAI官方网站：

不同参数规模大语言模型在不同微调方法下所需要的显存总结 | 数据学习者官方网站(Datalearner)icon-default.png?t=N7T8https://www.datalearner.com/blog/1051703254378255

大模型的微调是当前很多人都在做的事情。微调可以让大语言模型适应特定领域的任务，识别特定的指令等。但是大模型的微调需要的显存较高，而且比较难以估计。与推理不同，微调过程微调方法的选择以及输入序列的长度、批次大小都会影响微调显存的需求。本文根据LLaMA Factory的数据总结一下大模型微调的显存要求。

在此前的文章中，我们已经解释了大模型推理和显存之间的估算方法：需要多少GPU显存才能运行预训练大语言模型？大语言模型参数规模与显存大小的关系估算方法~。即大模型推理显存约等于模型参数乘以2，而微调则只给了方法没有具体公式。

不同参数规模的大模型在不同微调方法下所需的显存大小，十分有参考意义：

微调方法模型精度70亿参数模型130亿参数模型300亿参数模型650亿参数模型8x7B（MoE）
Full16160GB320GB600GB1200GB1000GB
Freeze1620GB40GB120GB240GB200GB
LoRA1616GB32GB80GB160GB120GB
QLoRA810GB16GB40GB80GB80GB
QLoRA46GB12GB24GB48GB32GB

这里的微调方法介绍参考和数据来源见原文：不同参数规模大语言模型在不同微调方法下所需要的显存总结 | 数据学习者官方网站(Datalearner)

这里比较重要的参考是8×7B的MoE模型。这个显然就是前段时间刚刚发布的Mixtral大模型（即Mistral 8×7B MoE，详情参考：MistralAI的混合专家大模型Mistral-7B×8-MoE详细介绍，效果超过LLaMA2-70B和GPT-3.5，推理速度快6倍）。这个模型实际参数450亿，每次推理只会激活120亿的参数。这个模型在微调的时候需要的显存大小和450亿参数规模的模型相当。也就是说，MoE最大的优点应该是提升推理速度。推理现存与微调显存实际上不会有什么优势（根据实际测试，Mixtral 8×7B MoE推理最少也要90多G的显存）。如果使用QLoRA方法，那么显存大小会显著降低。不过，这也会降低一点精度。

原文来自DataLearnerAI：不同参数规模大语言模型在不同微调方法下所需要的显存总结 | 数据学习者官方网站(Datalearner)

相关文章：

不同参数规模大语言模型在不同微调方法下所需要的显存总结

原文来自DataLearnerAI官方网站： 不同参数规模大语言模型在不同微调方法下所需要的显存总结 | 数据学习者官方网站(Datalearner)https://www.datalearner.com/blog/1051703254378255 大模型的微调是当前很多人都在做的事情。微调可以让大语言模型适应特定领域的任…...

编程日记 2023/12/26 3:57:58

Crow：Middlewares 庖丁解牛6 middleware_call_helper

Crow：http请求到Rule绑定的handler_的调用链-CSDN博客 介绍了handler_的调用顺序，其中的一个调用过程是Connection::->handle void handle() {...ctx_ = detail::context<Middlewares...>();req_.middleware_context = static_cast<void*>(&ctx_);req_.m…...

编程日记 2023/12/26 3:53:55

MyBatis：Generator

MyBatis Generator附批量操作分页查询存储过程 Generator 介绍网址&#xff1a;Introduction to MyBatis Generator Generator &#xff0c;一个用于 MyBatis 的代码生成工具&#xff0c;可以根据数据库表结构自动生成对应的实体类、DAO 接口和 SQL 映射文件&#xff0c;提高…...

编程日记 2023/12/26 3:48:50

rabbitmq的事务实现、消费者的事务实现

RabbitMQ提供了事务机制&#xff0c;可以确保消息在发送和确认过程中的一致性。使用事务机制可以将一系列的消息操作&#xff08;发送、确认、回滚&#xff09;作为一个原子操作&#xff0c;要么全部执行成功&#xff0c;要么全部回滚。 下面是使用RabbitMQ事务的一般步骤&…...

编程日记 2023/12/26 3:45:47

龙芯杯个人赛串口——做一个 UART串口——RS-232

文章目录 Async transmitterAsync receiver1. RS-232 串行接口的工作原理DB-9 connectorAsynchronous communicationHow fast can we send data? 2.波特率时钟生成器Parameterized FPGA baud generator 3.RS-232 transmitter数据序列化完整代码&#xff1a; 4.RS-232 receiver…...

编程日记 2023/12/26 3:44:46

验证码服务使用指南

验证码服务使用指南 1 部署验证码服务 1.1 基础环境 Java 1.8 Maven3.3.9 1.2 安装Redis 参考“Redis安装指南” 1.3 部署验证码服务 1.3.1 下载源码 使用git从远程下载验证码服务代码(开源)。 1.3.2 使用idea打开项目 使用idea打开上一步下载的sailing目录&#xf…...

编程日记 2023/12/26 3:43:44

js中Math.min(...arr)和Math.max(...arr)的注意点

当arr变量为空数组时&#xff0c;这两个函数和不传参数时的结果是一样的 Math.max() // -Infinity Math.max(...[]) // -InfinityMath.min() // Infinity Math.min(...[]) // Infinity...

编程日记 2023/12/26 3:42:43

【zookeeper特点和集群架构】

文章目录 1. Zookeeper介绍2、ZooKeeper数据结构3、Zookeeper集群架构 1. Zookeeper介绍 ZooKeeper 是一个开源的分布式协调框架&#xff0c;是Apache Hadoop 的一个子项目&#xff0c;主要用来解决分 布式集群中应用系统的一致性问题。Zookeeper 的设计目标是将那些复杂且容易…...

编程日记 2023/12/26 3:39:40

MySQL集群架构搭建以及多数据源管理实战

MySQL集群架构搭建以及多数据源管理实战 ​ 数据库的分库分表操作&#xff0c;是互联网大型应用所需要面对的最核心的问题。因为数据往往是一个应用最核心的价值所在。但是&#xff0c;在最开始的时候&#xff0c;需要强调下&#xff0c;在实际应用中&#xff0c;对于数据库&a…...

编程日记 2023/12/26 3:35:36

C# WPF上位机开发（从demo编写到项目开发）

【 声明&#xff1a;版权所有&#xff0c;欢迎转载&#xff0c;请勿用于商业用途。 联系信箱&#xff1a;feixiaoxing 163.com】 C# WPF编程&#xff0c;特别是控件部分&#xff0c;其实学起来特别快。只是后面多了多线程、锁、数据库、网络这部分稍微复杂一点&#xff0c;不过…...

编程日记 2023/12/26 3:34:35

微信小程序引入 vant组件（详细步骤）

vant官方地址 https://vant-contrib.gitee.io/vant-weapp/#/quickstart 步骤一、 通过 npm 安装 # 通过 npm 安装 npm i vant/weapp -S --production# 通过 yarn 安装 yarn add vant/weapp --production# 安装 0.x 版本 npm i vant-weapp -S --production步骤二 修改 app.js…...

编程日记 2023/12/26 3:33:34

Django之按钮（actions）

开篇就是道歉&#xff0c;哈哈哈哈&#xff0c;托更了好久好久&#xff0c;最近太忙了没啥时间更新&#xff0c;各位看官有催更的阔以给我私信哇&#xff0c;希望各位看官给个三连&#xff01;&#xff01;&#xff01;&#x1f60d;&#x1f60d;&#x1f60d;&#x1f60d; …...

编程日记 2023/12/26 3:32:32

从YOLOv1到YOLOv8的YOLO系列最新综述【2023年4月】

作者&#xff1a;Juan R. Terven 、Diana M. Cordova-Esparaza 摘要&#xff1a;YOLO已经成为机器人、无人驾驶汽车和视频监控应用的核心实时物体检测系统。我们对YOLO的演变进行了全面的分析&#xff0c;研究了从最初的YOLO到YOLOv8每次迭代的创新和贡献。我们首先描述了标准…...

编程日记 2023/12/26 3:30:30

浙江大唐乌沙山电厂选择ZStack Cloud打造新一代云基础设施

浙江大唐乌沙山电厂选择云轴科技ZStack Cloud云平台为其提供高性能、高可用的云主机、云存储和云网络&#xff0c;构建了简单、稳定、安全、高效的云基础设施&#xff1b;通过ZStackCloud为其提供可视化服务编排、多租户自服务等模块&#xff0c;帮助电厂提高IT资源利用率&…...

编程日记 2023/12/26 3:28:27

电脑开机快捷启动，启动菜单没有u盘怎么办

电脑开机快捷启动键找不到u盘怎么办 对于快捷启动键找不到u盘的问题&#xff0c;小编很了解其中的门道&#xff0c;因为开机找不到u盘是我们使用电脑时候的常见问题。那么我们到底要如何解决开机找不到u盘的问题呢?其实方法还是蛮简单的&#xff0c;下面小编就来教大家电脑开…...

编程日记 2023/12/26 3:25:25

线程的同步与互斥

抢票的例子 竞争过程 进程A被切走 进程B被切走 结论&#xff1a; 互斥 int pthread_mutex_init(pthread_mutex_t *mutex, const pthread_mutexattr_t *attr); mutex: 指向要初始化的互斥锁的指针。attr: 用于设置互斥锁属性的指针&#xff0c;通常可以传入 NULL 以使用默认属性…...

编程日记 2023/12/26 3:21:20

低代码实施复杂应用的实践方法

内容来自演讲&#xff1a;韦有炬 | 柳州知行远企业管理咨询有限公司 | 总经理 摘要 本文探讨了在全民开发时代如何使用低代码实施复杂应用并降低上线风险。文章分析了复杂系统实施失败的风险&#xff0c;包括项目规划不周、人员变动、企业基础管理不足等&#xff0c;并对比了低…...

编程日记 2023/12/26 3:19:18

算法学习系列（十一）：KMP算法

目录 引言一、算法概念二、题目描述三、思路讲解三、代码实现四、测试 引言 这个KMP算法就是怎么说呢&#xff0c;就是不管算法竞赛还是找工作笔试面试&#xff0c;都是非常爱问爱考的&#xff0c;其实也是因为这个算法比较难懂&#xff0c;其实就是很难&#xff0c;所以非常个…...

编程日记 2023/12/26 3:16:15

****Linux下Mysql的安装和配置

1、安装mysql 1.1、安装mysql sudo aptitude search mysql sudo apt-get install mysql-server mysql-client1.2、启动停止mysql： service mysql stop service mysql restart mysql -u debian-sys-maint -p mysql命令详细解释如下： 一、 启动方式 1、使用 service 启动…...

编程日记 2023/12/26 3:15:14

第十六节TypeScript 类

1、简介 TypeScript是面向对象的JavaScript。 类描述了所创建的对象共同的属性与方法。 2、类的定义 class class_name { // 类作用域 } 定义类的关键字是class&#xff0c;后面紧跟类名&#xff0c;类可以包含以下几个模块&#xff1a; 字段 – 字段是类里面声明的变量。字…...

编程日记 2023/12/26 3:13:13

高光谱图像分类避坑指南：Hughes现象、同物异谱，这些坑你踩过吗？

高光谱图像分类实战避坑手册&#xff1a;从Hughes现象到模型优化的深度解析 当你的高光谱分类模型在验证集上表现优异&#xff0c;却在真实场景中频频失误时&#xff0c;或许正遭遇着这个领域特有的"暗礁"。不同于常规RGB图像分类&#xff0c;高光谱数据特有的图谱合…...

编程新知 2026/5/15 22:59:44

2026届最火的AI论文助手解析与推荐

Ai论文网站排名&#xff08;开题报告、文献综述、降aigc率、降重综合对比&#xff09; TOP1. 千笔AI TOP2. aipasspaper TOP3. 清北论文 TOP4. 豆包 TOP5. kimi TOP6. deepseek 在人工智能生成内容&#xff08;AIGC&#xff09;技术迅猛发展之际&#xff0c;它一方面提升…...

编程新知 2026/5/15 22:23:36

nRF52 ADC配置与实战：从原理到电池监测与低功耗优化

1. 项目概述&#xff1a;为什么nRF52的ADC值得你花时间研究&#xff1f; 如果你正在用nRF52系列芯片&#xff08;比如nRF52832或nRF52840&#xff09;做物联网设备、可穿戴设备或者任何需要感知物理世界的项目&#xff0c;那么模数转换器&#xff08;ADC&#xff09;绝对是你绕…...

编程新知 2026/5/15 20:03:03

【最新 v2.7.1 版本】5 分钟搞定 OpenClaw Windows 环境部署配置

OpenClaw&#xff08;小龙虾&#xff09;Windows 一键部署保姆级教程 | 10 分钟搭建专属数字员工【点击下载最新OpenClaw安装包】 前言 2026 年开源圈热门 AI 智能体 OpenClaw&#xff08;昵称小龙虾&#xff09;&#xff0c;GitHub 星标突破 28 万&#xff0c;凭借本地运行 …...

编程新知 2026/5/15 19:10:21

LaserGRBL：5分钟掌握开源激光雕刻控制软件的核心功能

LaserGRBL&#xff1a;5分钟掌握开源激光雕刻控制软件的核心功能 【免费下载链接】LaserGRBL Laser optimized GUI for GRBL 项目地址: https://gitcode.com/gh_mirrors/la/LaserGRBL LaserGRBL是一款专为GRBL控制器优化的开源激光雕刻控制软件&#xff0c;为Windows用户…...

编程新知 2026/5/15 18:52:04

Matlab控制建模实战：从开环到闭环的传递函数构建

1. 从零开始认识传递函数 第一次接触控制系统的朋友可能会被"传递函数"这个概念吓到&#xff0c;但其实它就像是我们日常生活中的"快递单号"。想象一下&#xff0c;你在网上购物时&#xff0c;商家把货物&#xff08;输入信号&#xff09;交给快递公司&…...

编程新知 2026/5/15 18:34:03

告别官网SDK的迷茫：手把手教你为MSP430f5529在CCS中搭建‘私人定制’开发环境

告别官网SDK的迷茫&#xff1a;手把手教你为MSP430f5529在CCS中搭建‘私人定制’开发环境 嵌入式开发者常陷入这样的困境&#xff1a;每次新建项目都要重复配置开发环境&#xff0c;不仅浪费时间&#xff0c;还容易因配置不一致导致各种奇怪的问题。对于MSP430f5529这样的经典型…...

编程新知 2026/5/15 16:53:56

深度学习入门实战：从PyTorch环境搭建到CNN模型调优全指南

1. 项目概述&#xff1a;一个面向初学者的深度学习实战指南 如果你刚刚踏入深度学习的大门&#xff0c;面对PyTorch、TensorFlow这些框架&#xff0c;以及各种复杂的模型代码感到无从下手&#xff0c;那么“datawhalechina/leedl-tutorial”这个开源项目&#xff0c;很可能就是…...

编程新知 2026/5/15 16:45:48

在 Taotoken 平台如何根据项目需求与预算在模型广场进行选型

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 在 Taotoken 平台如何根据项目需求与预算在模型广场进行选型 当你准备为一个新项目引入大模型能力时&#xff0c;面对市场上众多的…...

编程新知 2026/5/15 16:10:22

Parabolic视频下载神器：一站式跨平台解决方案的终极指南

Parabolic视频下载神器&#xff1a;一站式跨平台解决方案的终极指南 【免费下载链接】Parabolic Download web video and audio 项目地址: https://gitcode.com/GitHub_Trending/pa/Parabolic Parabolic是一款基于yt-dlp引擎的专业级视频下载工具&#xff0c;为技术爱好…...

编程新知 2026/5/15 16:09:59