当前位置： 首页 > news >正文

LLaMA Factory多卡微调的实战教程（持续更新）

news 2026/3/30 13:21:21

  大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

  本文主要介绍了LLaMA Factory多卡微调的实战教程（持续更新），希望对学习大语言模型的同学们有所帮助。需要说明的是，本篇是LLaMA Factory发生重大更新后的迭代版本，所以会持续进行更新。

文章目录

  • 1. 前言
  • 2. 配置环境
    • 2.1 安装虚拟环境
    • 2.2 安装依赖库
    • 2.3 模型选型与下载
    • 2.4 配置多卡环境
  • 3. 运行代码
    • 3.1 构建训练数据
    • 3.2 修改配置文件
    • 3.3 微调
      • 3.3.1 zero3微调
      • 3.3.2 启动API
      • 3.3.3 模型测试

1. 前言

  在之前博客中介绍了LLaMA Factory单机微调的实战教程，但模型参数量大了以后，必须就要使用多卡进行微调和训练了。尤其最近新出了几个效果很不错的开源大模型，比如Qwen 2-72B-Chat、Qwen1.5-72B-Chat、Command R+(104B)，所以即使是A100 80G，也需要多卡进行微调。

  一般来说，是使用deepspeed进行多卡微调的。但是配置环境却并不是那么一帆风顺的。为了帮助同学们加快多卡微调的进度，最终将逐步的操作过程总结如下。希望能对遇到同样需求的同学们有所帮助。

在这里插入图片描述

2. 配置环境

  需要说明的是以下两点：

  1. 本文是在Centos 7+C

相关文章：

LLaMA Factory多卡微调的实战教程（持续更新）

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…...

编程日记 2024/6/18 15:07:07

IOUtils的妙用

查看IOUtils的api文档，它的方法大部分都是重载的，方法的用法总结如下： 方法名使用说明buffer将传入的流进行包装，变成缓冲流。并可以通过参数指定缓冲大小closeQueitly关闭流contentEquals比较两个流中的内容的是否一致copy将输入…...

编程日记 2024/6/18 15:05:03

目标检测——室内服务机器人LifelongSLAM数据集

引言 亲爱的读者们，您是否在寻找某个特定的数据集，用于研究或项目实践？欢迎您在评论区留言，或者通过公众号私信告诉我，您想要的数据集的类型主题。小编会竭尽全力为您寻找，并在找到后第一时间与您分享。 …...

编程日记 2024/6/18 15:03:57

Mysql学习笔记-进阶篇

一、存储引擎 1、MYSQL体系结构 连接层、服务层、引擎层、存储层； 2、存储引擎简介 存储引擎就是存储数据、建立索引、更新/查询数据等技术的实现方式。存储引擎是基于表的，而不是库的，所以存储引擎也可被称为表类型。 1）在创…...

编程日记 2024/6/18 15:02:55

AI写真：ControlNet 之 InstantID

但是 IPAdapter-FaceId 目前只在 SD 1.5 模型上表现较好，SDXL 模型上的表现较差，不能用于实际生产。可是很多同学已经在使用SDXL了，而且SDXL确实整体上出图效果更好，怎么办？ 这篇文章就来给大家介绍一个在SDXL中创作A…...

编程日记 2024/6/18 15:00:52

单元测试的思考与实践

1. 什么是单元测试 通常来说单元测试，是一种自动化测试，同时包含一下特性： 验证很小的一段代码（业务意义 或者 代码逻辑 上不可再分割的单元），能够更准确的定位到问题代码的位置 能够快速运行（…...

编程日记 2024/6/18 14:59:51

C# Socket通讯简单Demo

C# Socket通讯简单Demo Client端Listener端 Client端 static void Main(string[] args) {XSocketService XSocketService new XSocketService();XSocketService.Init();while (true){Console.Write("请输入消息：");var msg Console.ReadLine();XSocket…...

编程日记 2024/6/18 14:58:50

视频融合共享平台LntonCVS视频监控管理平台技术方案详细介绍

LntonCVS国标视频综合管理平台是一款以视频为核心的智慧物联应用平台。它基于分布式、负载均衡等流媒体技术进行开发，提供广泛兼容、安全可靠、开放共享的视频综合服务。该平台具备多种功能，包括视频直播、录像、回放、检索、云存储、告警上报、语音对讲…...

编程日记 2024/6/18 14:54:46

C#ListView的单元格支持添加基本及自定义任意控件

功能说明 使用ListView时，希望可以在单元格显示图片或其他控件，发现原生的ListView不支持，于是通过拓展，实现ListView可以显示任意控件的功能，效果如下： 实现方法 本来想着在单元格里面实现控件的自绘的…...

编程日记 2024/6/18 14:52:43

数据库选型实践：如何避开分库分表痛点 | OceanBase用户实践

随着企业业务的不断发展，数据量往往呈现出快速的增长趋势。使用MySQL的用户面对这种增长，普遍选择采用分库分表技术作为应对方案。然而，这一方案常在后期会遇到很多痛点。 分库分表的痛点 痛点 1：难以保证数据一致性。由于分库分…...

编程日记 2024/6/18 14:51:42

3个火火火的AI项目，开源了！

友友们，今天我要给你们安利三个超酷的开源项目，它们都和AI有关，而且每一个都能让你的日常生活变得更加有趣和便捷！(最近AI绘图又又超神了，分享以下美图养眼) 01 字节出品，文字转语音Seed-TTS 字节推出了一…...

编程日记 2024/6/18 14:47:37

算法 | 子集数排列树满m叉树二分搜索归并排序快速排序

子集树：O(2^n) 一个序列的所有子集为2^n，即可看成具有2^n个叶节点的满二叉树 int backtrack(int k) //k表示扩展结点在解空间树中所处的层次 {if(k>n) //n标识问题的规模output(x); //x是存放当前解的一维数组if(constraint(k)…...

编程日记 2024/6/18 14:46:36

SpringBoot配置第三方专业缓存技术jetcache方法缓存方案

jetcache方法缓存 我们可以给每个方法配置缓存方案 JetCache 是一个基于 Java 的缓存库，支持多种缓存方案和缓存策略，主要用于提升应用程序的性能和响应速度。它提供了多种缓存模式和特性，可以根据需求选择合适的缓存方案。 JetCache 的主…...

编程日记 2024/6/18 14:45:33

游戏开发丨基于PyGame的消消乐小游戏

文章目录 写在前面PyGame消消乐注意事项系列文章写在后面 写在前面 本期内容：基于pygame实现喜羊羊与灰太狼版消消乐小游戏 下载地址：https://download.csdn.net/download/m0_68111267/88700193 实验环境 python3.11及以上pycharmpygame 安装pygame…...

编程日记 2024/6/18 14:44:31

软件项目管理概述

1.什么是项目？ 2.项目管理的定义 3.项目管理的本质 4.项目成功的标志 5.项目管理的基本方法 6.项目的生命周期（启动 计划 执行 控制 结束） 7.结合生活中的某件事，谈谈项目管理的作用 项目管理在日常生活中扮演着重要的角色&…...

编程日记 2024/6/18 14:43:30

FastAdmin后台开发框架 lang 任意文件读取漏洞复现

0x01 产品简介 FastAdmin是一款基于PHPBootstrap的开源后台框架，专为开发者精心打造。它基于ThinkPHP和Bootstrap两大主流技术构建，拥有完善的权限管理系统和一键生成CRUD等强大功能。FastAdmin致力于提高开发效率，降低开发成本，…...

编程日记 2024/6/18 14:42:28

数字时代PLM系统的重要性

什么是 PLM（产品生命周期管理）？ 从最基本的层面上讲，产品生命周期管理 (PLM)是管理产品从最初构思、开发、服务和处置的整个过程的战略流程。换句话说，PLM 意味着管理产品从诞生到消亡所涉及的一切。 什么是 PLM 软件…...

编程日记 2024/6/18 14:41:27

安卓实现圆形按钮轮廓以及解决无法更改按钮颜色的问题

1.实现按钮轮廓 在drawable文件新建xml文件 <shape xmlns:android"http://schemas.android.com/apk/res/android"<!--实现圆形-->android:shape"oval"><!--指定内部的填充色--><solid android:color"#FFFFFF"/><!-…...

编程日记 2024/6/18 14:39:24

常用原语介绍

1.在Xilinx的example&#xff08;wavegen example&#xff09;中看到他们的顶层模块的输入输出管脚都手动例化原语IBUF以及OBUF——工具也会自动给我们加上不必要自己加 2.非mrcc个srcc的管脚输入的时钟信号&#xff0c;无法进入mmcm和bufg————试验过会报错 3.实际上&…...

编程日记 2024/6/18 14:38:20

29. 透镜阵列

导论&#xff1a; 物理传播光学&#xff08;POP&#xff09;不仅可以用于简单系统&#xff0c;也可以设计优化复杂的光学系统&#xff0c;比如透镜阵列。 设计流程&#xff1a; 透镜阵列建模 在孔径类型中选择“入瞳直径”&#xff0c;并输入2 在视场设定中。设置一个视场&…...

编程日记 2024/6/18 14:37:19

libvirt 有哪些命令

除了 virsh 外&#xff0c;还有很多有意思的命令。virt-manager 用于打开 libvirt 交互的界面除了连接本地电脑&#xff0c;也可以访问远程电脑的 libvirtd 服务virt-clone 快速克隆一个虚拟机。在 virt-manager 界面上也集成了这个功能。如下图&#xff0c;就是这么简单快捷&a…...

编程新知 2026/3/30 12:38:15

Phi-4-reasoning-vision-15B在金融图表分析中的实战：趋势识别与异常定位

Phi-4-reasoning-vision-15B在金融图表分析中的实战&#xff1a;趋势识别与异常定位 1. 金融图表分析的挑战与机遇 金融从业者每天需要分析大量图表数据&#xff0c;从K线图到财务报表&#xff0c;从趋势分析到异常检测。传统的人工分析方法存在三个明显痛点&#xff1a; 效…...

编程新知 2026/3/30 12:28:13

深度解析：关系型数据库与非关系型数据库（区别+原理+适用场景，一文吃透）

在后端开发、数据存储领域&#xff0c;“关系型数据库&#xff08;SQL&#xff09;”和“非关系型数据库&#xff08;NoSQL&#xff09;”是两个绕不开的核心概念。很多开发者在选型时会困惑&#xff1a;到底该用MySQL还是MongoDB&#xff1f;PostgreSQL和Redis的区别是什么&am…...

编程新知 2026/3/30 12:20:12

试盘Z之主力操盘线

试盘K&#xff0c;以满足特定条件后对该K线标注为试盘字样方便查看。同时通达对9日最低值与9日最高值进行EMA移动平均&#xff0c;得出主力操盘线&#xff01;试盘Z源码:X_1:REF(EMA((HLC)/3,9),1);X_2:EMA(HHV(HIGH,9),3);X_3:EMA(LLV(LOW,9),3);主力操盘线:EMA(X_1*2-X_3,5),…...

编程新知 2026/3/30 12:12:10

连续使用 OpenClaw 50 天后，我总结了 3 个核心工作流和 5 个血泪教训

&#x1f525; 连续使用 OpenClaw 50 天后&#xff0c;我总结了 3 个核心工作流和 5 个血泪教训AI 不会取代你&#xff0c;但会用 AI 的人会取代你——这句话说烂了&#xff0c;但 50 天后我才真正明白它的意思。01 上周五下午 5 点&#xff0c;同事都在加班&#xff0c;我先走…...

编程新知 2026/3/30 12:02:04

Qwen3交互界面开发：利用JavaScript实现网页端字幕编辑器

Qwen3交互界面开发&#xff1a;利用JavaScript实现网页端字幕编辑器 1. 引言 做视频的朋友们&#xff0c;不知道你们有没有过这样的经历&#xff1a;用AI工具生成了视频字幕&#xff0c;时间轴对得总差那么一点&#xff0c;要么是话还没说完字幕就跳了&#xff0c;要么是沉默…...

编程新知 2026/3/30 11:29:49

如何快速上手OneMore：OneNote插件的安装与基础设置教程

如何快速上手OneMore&#xff1a;OneNote插件的安装与基础设置教程 【免费下载链接】OneMore A OneNote add-in with simple, yet powerful and useful features 项目地址: https://gitcode.com/gh_mirrors/on/OneMore 想要提升OneNote的使用效率吗&#xff1f;OneMore插…...

编程新知 2026/3/30 8:53:34

TSDoc贡献指南：如何为开源文档标准做出贡献的完整教程

TSDoc贡献指南&#xff1a;如何为开源文档标准做出贡献的完整教程 【免费下载链接】tsdoc A doc comment standard for TypeScript 项目地址: https://gitcode.com/gh_mirrors/ts/tsdoc TSDoc是一个为TypeScript设计的文档注释标准&#xff0c;旨在为不同的工具提供统一…...

编程新知 2026/3/30 8:13:21

Pixel Dream Workshop 助力前端开发：Vue.js 项目动态视觉素材生成指南

Pixel Dream Workshop 助力前端开发&#xff1a;Vue.js 项目动态视觉素材生成指南 1. 为什么前端开发者需要关注视觉素材生成 作为一名Vue.js开发者&#xff0c;你可能经常遇到这样的困扰&#xff1a;产品经理突然要求给新功能加个炫酷的Banner图&#xff0c;设计师资源紧张排…...

编程新知 2026/3/30 8:09:20

Mirage Flow 硬件开发入门：Keil5 MDK安装与嵌入式AI项目创建

Mirage Flow 硬件开发入门&#xff1a;Keil5 MDK安装与嵌入式AI项目创建 如果你对把AI模型塞进一个小小的单片机里感到好奇&#xff0c;想亲手试试让硬件“聪明”起来&#xff0c;那么你来对地方了。很多朋友在第一步——搭建开发环境上就卡住了&#xff0c;面对一堆安装包和配…...

编程新知 2026/3/30 7:59:13