当前位置： 首页 > news >正文

llamafactory报错：双卡4090GPU，训练qwen2.5:7B、14B时报错GPU显存不足（out of memory），轻松搞定~~~

news 2026/4/2 6:19:29

实际问题场景：

使用llamafactory进行微调qwen2.5 7B和14B的大模型时，会出现out of memory的报错。尝试使用降低batch_size（原本是2，现在降到1）的方式，可以让qwen2.5:7B跑起来，但时不时会不稳定，还是会报这个错误；微调14B的话，直接就报错了，根本跑起来。（显卡配置为两张23G的4090显卡，显存一共46G）目测lora微调显存的大小是模型本身大小的3倍以上，才能正常跑起来。

解决办法:

  1. 去qwen的官网找到下载ds_config_zero3.json这个文件
    https://github.com/QwenLM/Qwen/blob/main/finetune/ds_config_zero3.json
  2. 将文件放在llamafactory目录下
  3. 编辑ds_config_zero3.json这个文件，将device改成cpu即可
"zero_optimization": {"stage": 3,"offload_optimizer": {"device": "cpu","pin_memory": true},"offload_param": {"device": "cpu","pin_memory": true},

注: 若不知道这个配置的代表什么含义的话，可以看这一篇deepspeed配置讲解

  1. 启动llamafactory-cli webui ，把参数设置好，然后预览下启动命令，复制出来
  2. 将命令复制出来 ，在llamafactory当前目录下直接粘贴，启动就大功告成了！！！
    （据说更大的模型都可以训练，只是需要的时间很多，没办法，时间换空间是这样了）

启动后查看显卡使用情况，显卡直接拉满

命令：nvitop
如果没有这个命令，pip install nvitop ，就可以实时查看显卡使用情况了

起飞在这里插入图片描述在这里插入图片描述

相关文章：

llamafactory报错：双卡4090GPU，训练qwen2.5:7B、14B时报错GPU显存不足（out of memory），轻松搞定~~~

实际问题场景： 使用llamafactory进行微调qwen2.5 7B和14B的大模型时，会出现out of memory的报错。尝试使用降低batch_size（原本是2，现在降到1）的方式，可以让qwen2.5:7B跑起来，但时不时会不稳定…...

编程日记 2024/12/28 16:16:19

全局webSocket 单个页面进行监听并移除单页面监听

之前全局封装的 webSocket 在某些特定的页面中使用会直接去调用 webSocket 的 onMessage 方法 已进入页面就会调，如果退出页面移除整个监听的话全局监听就会被移除 这是修改后的 全局封装 let token uni.getStorageSync(token) const HEARTBEAT_INTERVAL 1 *…...

编程日记 2024/12/28 16:14:16

JVM调优实践篇

理论篇 1多功能养鱼塘－JVM内存 大鱼塘O（可分配内存）： JVM可以调度使用的总的内存数，这个数量受操作系统进程寻址范围、系统虚拟内存总数、系统物理内存总数、其他系统运行所占用的内存资源等因素的制约。 小池塘A&a…...

编程日记 2024/12/28 16:02:03

【JavaEE】Spring Web MVC

目录 一、Spring Web MVC简介 1.1 MVC简介1.2 Spring MVC1.3 RequestMapping注解1.3.1 使用1.3.2 RequestMapping的请求设置 1.3.2.1 方法11.3.2.2 方法2 二、Postman介绍 2.1 创建请求2.2 界面如下：2.3 传参介绍 一、Spring Web MVC简介 官方文档介绍&#xff…...

编程日记 2024/12/28 15:58:00

VSCode 插件开发实战（七）：插件支持了哪些事件，以及如何利用和监听这些事件

前言 VSCode 作为现代开发者的首选编辑器之一，其核心优势在于其高度可扩展性。通过自定义插件，开发者可以根据自己的需求对编辑器进行功能扩展和优化。在这些插件开发过程中，事件处理和监听机制尤为重要，它们允许插件在特定事件发…...

编程日记 2024/12/28 15:54:57

指针详解之 多层嵌套的关系

1 例子之指向3个字符串的指针数组，易混淆！ 1.1过程详解： char *str[3]{ "Hello,thisisasample!", "Hi,goodmorning.", "Helloworld" }; char s[80]； strcpy(s,str[0]); //也可写成strcpy(s,*st…...

编程日记 2024/12/28 15:53:55

Animated Drawings：让纸上的角色动起来

前言 今天介绍的这个工具非常的有意思：它可以让我们在纸上绘画的角色动起来。先一起来看看效果： 准备 首先，我们先准备一张绘画。可以在纸上进行绘制，也可以在电子设备上进行绘制。绘制内容不限，在这里为了方便演示&am…...

编程日记 2024/12/28 15:50:51

技术与教育的结合：高校听课评价系统的设计与实施

3.1系统可行性分析 需要使用大部分精力开发的高校听课评价系统为了充分降低开发风险，特意在开发之前进行可行性分析这个验证系统开发是否可行的步骤。本文就会从技术角度，经济角度，还有用户使用的程序的运行角度进行综合阐述。 3.1.1 技术可行…...

编程日记 2024/12/28 15:44:45

web移动端项目常用解决方案

移动端总会遇到一系列特定于移动设备的问题，分享下常见的移动端常见问题的处理方案。 1px边框问题 在高清屏幕下，1px的边框显示得比较粗。 .border-1px {position: relative; } .border-1px::after {position: absolute;content: ;width: 200%;height:…...

编程日记 2024/12/28 15:42:41

LabVIEW软件项目设计方案如何制定

制定LabVIEW软件项目设计方案需要综合考虑需求分析、架构设计、功能模块划分和时间预算等多个方面，确保项目开发过程高效、可控且最终满足目标要求。以下是一个详细的制定流程： ​ 1. 需求分析 目标定义：明确项目的目标，例如数据采…...

编程日记 2024/12/28 15:41:39

数据结构（Java）——链表

1.概念及结构 链表是一种 物理存储结构上非连续 存储结构，数据元素的 逻辑顺序 是通过链表中的 引用链接 次序实现的 。 2.分类 链表的结构非常多样，以下情况组合起来就有 8 种链表结构： （1）单向或者双向 （…...

编程日记 2024/12/28 15:39:36

变量与数据类型 - 整型、浮点型、字符型等

引言 在编程中，变量和数据类型是基础中的基础。理解它们如何工作以及如何正确使用它们对于编写高效且无误的代码至关重要。本文将详细介绍 C 中的几种基本数据类型：整型、浮点型、字符型等，并通过实例帮助读者更好地理解和掌握这些概念。 一…...

编程日记 2024/12/28 15:38:35

MacOS安装Xcode（非App Store）

文章目录 访问官网资源页面 访问官网资源页面 直接访问官网的历史版本下载资源页面地址：https://developer.apple.com/download/more/完成APP ID的登陆，直接找到需要的软件下载即可 解压后，安装将xcode.app移动到应用程序文件夹。...

编程日记 2024/12/28 15:37:34

运行Zr.Admin项目（后端）

1.下载Zr.Admin代码压缩包 https://codeload.github.com/izhaorui/Zr.Admin.NET/zip/refs/heads/main 2.打开项目 我这里装的是VS2022社区版 进入根目录，双击ZRAdmin.sln打开项目 3.安装.net7运行时 我当时下载的代码版本是.net7的 点击安装 点击安装&#xff0…...

编程日记 2024/12/28 15:35:33

Ubuntu24.04最新版本安装详细教程

Ubuntu 24.04 LTS发布说明 推荐的系统配置要求： 双核2 GHz处理器或更高 4 GB系统内存 25 GB磁盘存储空间 可访问的互联网 光驱或USB安装介质 Ubuntu 24.04官方下载网址：https://cn.ubuntu.com/download/desktop 04. Ubuntu 22.04(创建虚拟机方式一) 4…...

编程日记 2024/12/28 15:32:29

js版本之ES6特性简述【Proxy、Reflect、Iterator、Generator】(五)

目录 Proxy Reflect 静态方法 部分实例 Iterator 实际开发迭代器的使用实例 迭代器（Iterator）应用 Generator Proxy Proxy 是 ES6 中新增的对象 Proxy 是JavaScript中的内置对象，它提供了一种机制，可以拦截并自定义各种…...

编程日记 2024/12/28 15:30:27

CSS实现一个自定义的滚动条

要使用CSS创建一个自定义的滚动条&#xff0c;你可以使用伪元素和CSS的伪类来控制滚动条的外观和行为。以下是一个简单的例子&#xff0c;展示如何为任何HTML元素添加一个自定义的滚动条样式&#xff1a; <!DOCTYPE html> <html lang"en"> <head> …...

编程日记 2024/12/28 15:26:18

CKA认证 | Day8 K8s安全

第八章 Kubernetes安全 1、Kubernetes RBAC授权 Kubernetes 基于角色的访问控制&#xff08;Role-Based Access Control, RBAC&#xff09; 是一种强大的权限管理机制&#xff0c;用于控制用户、用户组、服务账户对 Kubernetes 集群资源的访问。通过 RBAC&#xff0c;可以细…...

编程日记 2024/12/28 15:21:12

深度分析java 使用 proguard 如何解析混淆后的堆栈

经过proguard混淆过后&#xff0c;发生异常时堆栈也进行了混淆&#xff0c;那么如果获取的原始的堆栈呢&#xff1f;我们下面来看下 使用proguard 根据mapping文件直接解析 import proguard.obfuscate.MappingReader; import proguard.retrace.FrameInfo; import proguard.re…...

编程日记 2024/12/28 15:18:10

bash 中 ${-#*i} 是什么意思?

-------------------------------------------------- author: hjjdebug date: 2024年 12月 25日 星期三 17:43:45 CST description: bash 中 ${-#*i} 是什么意思? -------------------------------------------------- 在centos 的 /etc/profile 中有这样的语句 for i in /…...

编程日记 2024/12/28 15:17:08

解决SlowFast环境配置中的‘No module named torch._six’等疑难杂症：从修改压缩包到调整import路径

SlowFast环境配置深度排障指南&#xff1a;从源码修改到路径调整的完整解决方案 在视频理解领域&#xff0c;SlowFast作为Facebook Research开源的优秀框架&#xff0c;凭借其双路径网络设计在动作识别任务中表现出色。然而&#xff0c;许多开发者在环境配置阶段就会遭遇各种&q…...

编程新知 2026/4/2 5:56:02

Android开发秘籍：给图片加上独特水印

Android开发秘籍&#xff1a;给图片加上独特水印 为什么要给图片加水印 在当今这个信息飞速传播的时代&#xff0c;图片作为一种直观且富有表现力的信息载体&#xff0c;在我们的生活和工作中无处不在。无论是在社交媒体上分享的精美摄影作品&#xff0c;还是电商平台上展示的…...

编程新知 2026/4/2 5:50:01

SEO和PPC广告之间的关系是什么_如何通过定期分析优化网站的SEO表现

SEO和PPC广告之间的关系是什么_如何通过定期分析优化网站的SEO表现 在当今的数字营销环境中&#xff0c;网站的SEO&#xff08;搜索引擎优化&#xff09;和PPC&#xff08;负责付费广告&#xff09;广告是两种重要的推广工具。了解它们之间的关系&#xff0c;并通过定期分析优…...

编程新知 2026/4/2 4:07:08

Oracle19c EM Express配置与访问全攻略：从零到可视化管理的实践指南

1. 环境准备与基础检查 第一次接触Oracle 19c EM Express时&#xff0c;很多人会直接跳进配置环节&#xff0c;结果往往被各种报错打得措手不及。我刚开始接触时也犯过这个错误&#xff0c;后来才发现做好前期检查能省去80%的麻烦。下面这些准备工作&#xff0c;建议你逐项打勾…...

编程新知 2026/4/2 3:57:05

JDK 17 + Spring Boot 3.5.8:企业级开发技术栈全景分析

JDK 17与Spring Boot 3.5.8的核心特性JDK 17 LTS特性 JDK 17作为长期支持版本&#xff08;LTS&#xff09;&#xff0c;提供多项生产级增强&#xff1a;密封类&#xff08;Sealed Classes&#xff09;&#xff1a;通过sealed和permits关键字限制类的继承关系&#xff0c;增强领…...

编程新知 2026/4/2 3:56:59

雪花算法：分布式世界的“身份证号”

嘿&#xff0c;朋友&#xff01;想象一下&#xff0c;你是一家拥有几千台服务器的互联网大厂架构师。现在有个小麻烦&#xff1a;你的订单系统每秒钟要生成几万个订单号。如果让数据库自己搞&#xff08;自增ID&#xff09;&#xff0c;几台数据库凑在一起&#xff0c;肯定会出…...

编程新知 2026/4/2 3:36:10

OpenClaw数据清洗：Qwen3-4B-Thinking-2507-GPT-5-Codex-Distill-GGUF处理混乱CSV文件

OpenClaw数据清洗&#xff1a;Qwen3-4B-Thinking-2507-GPT-5-Codex-Distill-GGUF处理混乱CSV文件 1. 为什么需要自动化数据清洗 上周我接手了一个市场调研项目&#xff0c;客户发来的CSV文件打开就让我头皮发麻——编码混乱、字段名全是大写拼音缩写、日期格式五花八门。手动…...

编程新知 2026/4/2 3:13:30

基于GA - XGBoost的时间序列预测：抑制过拟合与参数优化

基于遗传算法优化算法优化XGBoost(GA-XGBoost)的时间序列预测 GA-XGBoost时间序列 采用交叉验证抑制过拟合问题 优化参数为迭代次数、最大深度和学习率 matlab代码&#xff0c;注&#xff1a;暂无Matlab版本要求 -- 推荐 2016B 版本及以上 注&#xff1a;采用 XGBoost 工具箱&a…...

编程新知 2026/4/2 3:03:29

电路原理与人生哲学的奇妙对应关系

1. 电路与人生的奇妙映射作为一名在电子行业摸爬滚打十多年的工程师&#xff0c;我常常惊叹于电路原理与人生百态之间的惊人相似。记得刚入行时&#xff0c;我的导师就说过&#xff1a;"读懂电路&#xff0c;就读懂了人生。"当时只觉得是句玩笑话&#xff0c;直到这些…...

编程新知 2026/4/2 0:53:48

4步攻克Fiji在macOS系统的启动难题：从诊断到长效维护的全方位解决方案

4步攻克Fiji在macOS系统的启动难题&#xff1a;从诊断到长效维护的全方位解决方案 【免费下载链接】fiji A "batteries-included" distribution of ImageJ :battery: 项目地址: https://gitcode.com/gh_mirrors/fi/fiji 问题定位&#xff1a;精准识别Fiji启动…...

编程新知 2026/4/2 0:18:54