当前位置: 首页 > news >正文

第十六章:基于开源大模型使用huggingface在deepspeed与accelerator下继承源码权重保存而实现resume与infer

文章目录

  • 前言
  • 一、huggingface的_save_checkpoint函数不同阶段保存内容介绍
    • 1、_save_checkpoint函数
    • 2、save_model函数
    • 3、_save函数
    • 4、save_pretrained函数
    • 5、resume说明
  • 二、模型训练Resume相关内容重载
    • 1、Resume的一次性权重载入(deepspeed_load_checkpoint)
    • 2、Resume的optimizer.pt与scheduler.pt选择性载入
    • 3、Resume的state状态载入(trainer_state.json)
    • 4、Resume随机状态载入(rng_state.pth)
    • 5、小节总结
  • 三、模型训练权重customer保存源码继承
    • 1、模型推理加载方法
      • 1、第一阶段推理加载方法
      • 2、第二阶段推理加载方法
    • 2、继承custormer保存内容完整Demo
      • 1、huggingface的deepspeed方式保存内容
      • 2、customer的optimizer.pt与scheduler.pt保存
      • 3、映射层训练相关内容保存
      • 4、LoRA训练相关内容保存
  • 总结

前言

本篇文章继续升级使用huggingface来灵活保存相关内容为模型推理使用。我使用llava开源模型对特征提取vit的lora、映射层微调、大语言模型lora训练等相关内容保存,而实现推理与resume功能。基于此,本篇文章会给出llava不同推理需要使用文件内容介绍、 deepspeed训练的resume加载相关内容与如何保存其相关内容等方法。最终,本篇文章升级deepspeed与accelerator方法下自由个性化的相关内容实现resume训练与推理过程。

本篇文章会给出Demo继承huggingface在deepspeed方法的LoRA方式与accelerator实现resume与推理。

一、huggingface的_save_checkpoint函数不同阶段保存内容介绍

假设:我以LLAVA模型举例,在训练时候调用deepspeed方法的LoRA方式与accelerator加速方法,那么我们可以看到模型在保存权重相关内容。

首先,是调用trainer类中_save_checkpoint,该_save_checkpoint包含save_model函数(位于trainer类中),而save_model函数中有一个_save函数(也位于trainer类中),而_save函数中有个 self.model.save_pretrained( output_dir, state_dict=state_dict, safe_serialization=self.args.save_safetensors )函数调用,该 self.model.save_pretrained就是peft_model.py文件的类class PeftModel(PushToHubMixin, torch.nn.Module)

相关文章:

第十六章:基于开源大模型使用huggingface在deepspeed与accelerator下继承源码权重保存而实现resume与infer

文章目录 前言一、huggingface的_save_checkpoint函数不同阶段保存内容介绍1、_save_checkpoint函数2、save_model函数3、_save函数4、save_pretrained函数5、resume说明二、模型训练Resume相关内容重载1、Resume的一次性权重载入(deepspeed_load_checkpoint)2、Resume的optimi…...

ZooKeeper 入门:初学者指南

在分布式系统领域,协调和同步至关重要。Apache ZooKeeper 是一种分布式协调服务,是帮助管理和同步分布式环境中服务的基本组件。本指南旨在深入分析 ZooKeeper、其架构及其在现代分布式系统中的作用。我们还将探索一个示例来展示其实际影响。 ZooKeeper…...

【数据结构(邓俊辉)学习笔记】二叉搜索树04——AVL树

文章目录 1.重平衡1.1 AVL BBST1.2 平衡因子1.3 适度平衡1.4 接口1.5 失衡 复衡 2. 插入2.1 单旋2.2 双旋2.3 实现 3. 删除3.1 单旋3.2 双旋3.3 实现 4. (3 4)-重构4.1 "34"重构4.2 "34"实现4.3 rotateAt4.4 综合评价 1.重平衡 1…...

SpringMVC基础详解

文章目录 一、SpringMVC简介1、什么是MVC2、MVC架构模式与三层模型的区别3、什么是SpringMVC 二、HelloWorld程序1、pom文件2、springmvc.xml3、配置web.xml文件4、html文件5、执行Controller 三、RequestMapping注解1、value属性1.1、基础使用1.2、Ant风格(模糊匹配…...

SQL SERVER 设置端口

要在SQL Server中设置端口&#xff0c;可以通过SQL Server Configuration Manager来完成。以下是详细的步骤&#xff1a; 1. 打开SQL Server Configuration Manager 在Windows中&#xff0c;按 Win R 键打开运行窗口。输入 SQLServerManager<version>.msc 并按回车。例…...

华芯微特2024慕尼黑上海电子展预告

7月8日-7月10日&#xff0c;2024慕尼黑上海电子展在上海新国际博览中心举办。华芯微特展号:E4.4815&#xff0c;诚意邀请各位莅临参观。 公司介绍 华芯微特是一家由留美归国资深技术团队创立的中国芯片设计公司&#xff0c;是国家高新技术企业。2014年进军MCU产业&#xff0c;专…...

DETR End-to-End Object Detection with Transformers

End-to-End Object Detection with Transformers 论文链接&#xff1a;http://arxiv.org/abs/2005.12872 代码地址&#xff1a;https://github.com/facebookresearch/detr 一、摘要 提出了一种将目标检测视为直接集合预测问题的新方法。该方法简化了检测流程&#xff0c;有效…...

【后端面试题】【中间件】【NoSQL】ElasticSearch 节点角色、写入数据过程、Translog和索引与分片

中间件的常考方向&#xff1a; 中间件如何做到高可用和高性能的&#xff1f; 你在实践中怎么做的高可用和高性能的&#xff1f; Elasticsearch节点角色 Elasticsearch的节点可以分为很多种角色&#xff0c;并且一个节点可以扮演多种角色&#xff0c;下面列举几种主要的&…...

【TB作品】玩具电子琴,ATMEGA128单片机,Proteus仿真

题目 7 &#xff1a;玩具电子琴 基于单片机设计一能够发出中音八个音阶的音乐信号的电子琴&#xff0c;能够实现弹奏和音符显示功 能。 具有 8 个音阶按键&#xff0c;每按下一个按键时&#xff0c;所对应的 LED 点亮&#xff0c;音符进行显示。 具体要求如下&#xff1a; &…...

1974Springboot医院远程诊断管理系统idea开发mysql数据库web结构java编程计算机网页源码maven项目

一、源码特点 springboot医院远程诊断管理系统是一套完善的信息系统&#xff0c;结合springboot框架和bootstrap完成本系统&#xff0c;对理解JSP java编程开发语言有帮助系统采用springboot框架&#xff08;MVC模式开发&#xff09;&#xff0c;系统具有完整的源代码和数据库…...

SQL游标的应用场景及使用方法

SQL游标的应用场景及使用方法 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01;今天我们将深入探讨SQL中游标的应用场景及使用方法。游标在SQL中是一种重要的数据…...

LLama-Factory使用教程

本文是github项目llama-factory的使用教程 注意&#xff0c;最新的llama-factory的github中训练模型中&#xff0c;涉及到本文中的操作全部使用了.yaml配置。 新的.yaml的方式很简洁但不太直观&#xff0c;本质上是一样的。新的readme中的.yaml文件等于下文中的bash指令 PS: …...

Java面试题:讨论在Java Web应用中实现安全的认证和授权机制,如使用Spring Security

在Java Web应用中&#xff0c;实现安全的认证和授权是至关重要的&#xff0c;Spring Security是一个强大的框架&#xff0c;可以简化这项工作。以下是详细讨论如何在Java Web应用中使用Spring Security实现安全的认证和授权机制。 Spring Security简介 Spring Security是一个…...

如何在Vue3项目中使用Pinia进行状态管理

**第一步&#xff1a;安装Pinia依赖** 要在Vue3项目中使用Pinia进行状态管理&#xff0c;首先需要安装Pinia依赖。可以使用以下npm命令进行安装&#xff1a; bash npm install pinia 或者如果你使用的是yarn&#xff0c;可以使用以下命令&#xff1a; bash yarn add pinia *…...

【初阶数据结构】深入解析队列:探索底层逻辑

&#x1f525;引言 本篇将深入解析队列:探索底层逻辑&#xff0c;理解底层是如何实现并了解该接口实现的优缺点&#xff0c;以便于我们在编写程序灵活地使用该数据结构。 &#x1f308;个人主页&#xff1a;是店小二呀 &#x1f308;C语言笔记专栏&#xff1a;C语言笔记 &#…...

Go 语言环境搭建

本篇文章为Go语言环境搭建及下载编译器后配置Git终端方法。 目录 安装GO语言SDK Window环境安装 下载 安装测试 安装编辑器 下载编译器 设置git终端方法 总结 安装GO语言SDK Window环境安装 网站 Go下载 - Go语言中文网 - Golang中文社区 还有 All releases - The…...

javascript v8编译器的使用记录

我的机器是MacOS Mx系列。 一、v8源码下载构建 1.1 下载并更新depot_tools git clone https://chromium.googlesource.com/chromium/tools/depot_tools.git export PATH/path/to/depot_tools:$PATH 失败的话可能是网络问题&#xff0c;可以试一下是否能ping通&#xff0c;连…...

C语言--vs使用调试技巧

1.什么是bug? 1.产品说明书中规定要做的事情&#xff0c;而软件没有实现。 2.产品说明书中规定不要做的事情&#xff0c;而软件确实现了。 3.产品说明书中没有提到过的事情&#xff0c;而软件确实现了。 4.产品说明书中没有提到但是必须要做的事情&#xff0c;软件确没有实…...

Spring Boot中的国际化配置

Spring Boot中的国际化配置 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01;今天我们将探讨如何在Spring Boot应用中实现国际化配置&#xff0c;使得应用能够轻松…...

WPF的IValueConverter用于校验和格式化TextBox的数字输入

在数据绑定&#xff08;Data Binding&#xff09;的上下文中&#xff0c;我们经常使用继承 IValueConverter 接口的类&#xff0c;用于在源值和目标值之间进行转换。该接口定义了两个方法&#xff1a;Convert 和 ConvertBack&#xff0c;这两个方法分别用于从源值到目标值的转换…...

如何实现微信聊天记录的终极掌控:WeChatMsg完全指南

如何实现微信聊天记录的终极掌控&#xff1a;WeChatMsg完全指南 【免费下载链接】WeChatMsg 提取微信聊天记录&#xff0c;将其导出成HTML、Word、CSV文档永久保存&#xff0c;对聊天记录进行分析生成年度聊天报告 项目地址: https://gitcode.com/GitHub_Trending/we/WeChatM…...

跨平台游戏画质增强工具:OptiScaler打破显卡壁垒的全方位解决方案

跨平台游戏画质增强工具&#xff1a;OptiScaler打破显卡壁垒的全方位解决方案 【免费下载链接】OptiScaler DLSS replacement for AMD/Intel/Nvidia cards with multiple upscalers (XeSS/FSR2/DLSS) 项目地址: https://gitcode.com/GitHub_Trending/op/OptiScaler 在PC…...

CMW500实战指南:BLE射频关键指标测试与优化

1. CMW500与BLE测试基础入门 第一次接触CMW500进行BLE射频测试时&#xff0c;我被这个"黑盒子"复杂的按键界面吓到了。但实际用下来发现&#xff0c;只要掌握几个关键操作&#xff0c;就能快速完成BLE设备的核心指标验证。CMW500作为罗德与施瓦茨的旗舰级测试仪&…...

深耕.NET开发三载,我靠技术实力买下人生第一套房

作为一名深耕.NET领域的开发者&#xff0c;从刚毕业敲下第一行C#代码的青涩&#xff0c;到如今拿到属于自己的房产证&#xff0c;这一路&#xff0c;是技术能力的层层进阶&#xff0c;是职业道路的稳步前行&#xff0c;更是用代码筑造起现实生活的温暖港湾。在很多人眼里&#…...

GLM-4v-9b开源镜像实操手册:transformers/vLLM/llama.cpp三端调用

GLM-4v-9b开源镜像实操手册&#xff1a;transformers/vLLM/llama.cpp三端调用 1. 开篇&#xff1a;认识这个强大的多模态模型 今天给大家介绍一个特别实用的AI模型——GLM-4v-9b&#xff0c;这是一个能同时看懂图片和文字的多模态模型。想象一下&#xff0c;你给它一张图片&a…...

华为交换机Eth-Trunk配置实战:手工与LACP模式全解析(附排错指南)

华为交换机Eth-Trunk深度配置指南&#xff1a;从手工模式到LACP模式的技术实践 在企业网络架构中&#xff0c;带宽瓶颈和单点故障一直是困扰网络工程师的两大难题。记得去年参与某金融数据中心改造时&#xff0c;核心交换机之间的千兆链路在业务高峰时段频繁出现拥塞告警&#…...

CoPaw长文本处理极限测试:百万token上下文摘要与问答

CoPaw长文本处理极限测试&#xff1a;百万token上下文摘要与问答 1. 开场白&#xff1a;当AI遇上超长文本 最近遇到一个朋友吐槽&#xff1a;"我们公司那些技术文档动辄几百页&#xff0c;找点关键信息跟大海捞针似的。要是AI能帮忙就好了&#xff0c;但试了几个工具&am…...

别再只用Topic和Service了!ROS Action在无人机巡检项目中的三大高阶用法

别再只用Topic和Service了&#xff01;ROS Action在无人机巡检项目中的三大高阶用法 当你在凌晨三点调试无人机代码&#xff0c;发现巡检任务因为一个未处理的异常状态而卡死在空中&#xff0c;而所有日志都淹没在Topic的洪流中时&#xff0c;就会明白为什么ROS Action不是&quo…...

剪映视频去水印+去字幕+去logo三合一操作流程(新手必备)

在短视频创作热潮中&#xff0c;剪映凭借免费、易用的优势&#xff0c;成为多数创作者的首选剪辑工具。但在实际使用中&#xff0c;不少人会遇到一个共性问题&#xff1a;剪映导出的视频自带水印、素材中夹杂多余字幕&#xff0c;或搬运、引用的素材带有品牌Logo&#xff0c;尤…...

Dify工作流HTTP请求配置全攻略:从基础到进阶的系统优化指南

Dify工作流HTTP请求配置全攻略&#xff1a;从基础到进阶的系统优化指南 【免费下载链接】Awesome-Dify-Workflow 分享一些好用的 Dify DSL 工作流程&#xff0c;自用、学习两相宜。 Sharing some Dify workflows. 项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-…...