当前位置： 首页 > news >正文

迁移学习中模型训练加速（以mllm模型为例），提速15%以上

news 2026/4/8 3:26:18

根据模型训练过程的显存占用实测的分析，一个1g参数的模型（存储占用4g）训练大约需要20g的显存，其中梯度值占用的显存约一半。博主本意是想实现在迁移学习（冻结部分参数）中模型显存占用的降低，结果不太满意，只能实现训练速度提升，但无法实现显存占用优化。预计是在现有的训练框架中，对于显存占用优化做的十分到位，优化空间极小。但基于现有的策略，在不影响任何训练效果下，侥幸能实现训练速度提升15%也是十分有意义的。 这里以ms-swift框架为例，训练模型以Florence-2-large-ft（提速30%）与Qwen2-VL-2B-Instruct（提速16%）模型为例。只需要使用model=MyModel(model)替换一下原有模型即可。

1、核心修改

1.1 关键代码

将以下代码保存到 swift\llm 目录下，文件名为 MyModel.py


from torch import<

相关文章：

迁移学习中模型训练加速（以mllm模型为例），提速15%以上

根据模型训练过程的显存占用实测的分析，一个1g参数的模型（存储占用4g）训练大约需要20g的显存，其中梯度值占用的显存约一半。博主本意是想实现在迁移学习（冻结部分参数）中模型显存占用的降低，结果不太满意，只能实现训练速度提升，但无法实现显存占用优化。预计是在现有的…...

编程日记 2024/12/15 6:28:41

socket编程UDP-实现停等机制（接收确认、超时重传）

在下面博客中&#xff0c;我介绍了利用UDP模拟TCP连接、按数据包发送文件的过程&#xff0c;并附上完整源码。 socket编程UDP-文件传输&模拟TCP建立连接脱离连接&#xff08;进阶篇&#xff09;_udp socket发送-CSDN博客 下面博客实现的是滑动窗口机制&#xff1a; sock…...

编程日记 2024/12/15 6:25:37

前端面试题目 (Node.JS-Express框架)[二]

在 Express 中如何使用 Passport.js 进行身份认证? Passport.js 是一个 Node.js 的身份验证中间件&#xff0c;它可以很容易地与 Express 集成。下面是一个简单的示例&#xff0c;展示了如何使用 Passport.js 进行基本的身份认证。 安装依赖 npm install express passport …...

编程日记 2024/12/15 6:24:36

防范TCP攻击：策略与实践

TCP&#xff08;传输控制协议&#xff09;是互联网通信的核心协议之一&#xff0c;它确保了数据在网络上的可靠传输。然而&#xff0c;TCP也容易成为各种网络攻击的目标&#xff0c;如SYN洪水攻击、TCP连接耗尽攻击等。本文将探讨如何通过配置防火墙规则、优化服务器设置以及采…...

编程日记 2024/12/15 6:23:36

3D 生成重建034-NerfDiff借助扩散模型直接生成nerf

3D 生成重建034-NerfDiff借助扩散模型直接生成nerf 文章目录 0 论文工作1 论文方法2 实验结果 0 论文工作 感觉这个论文可能能shapE差不多同时期工作&#xff0c;但是shapE是生成任意种类。 本文提出了一种新颖的单图像视图合成方法NerfDiff&#xff0c;该方法利用神经辐射场 …...

编程日记 2024/12/15 6:22:35

分布式 Paxos算法 总结

前言 相关系列 《分布式 & 目录》《分布式 & Paxos算法 & 总结》《分布式 & Paxos算法 & 问题》 参考文献 《图解超难理解的 Paxos 算法&#xff08;含伪代码&#xff09;》《【超详细】分布式一致性协议 - Paxos》 Basic-Paxos 基础帕克索斯算法…...

编程日记 2024/12/15 6:21:32

我的宝贵经验

在技术的浩瀚海洋中&#xff0c;一份优秀的技术文档宛如精准的航海图。它是知识传承的载体&#xff0c;是团队协作的桥梁&#xff0c;更是产品成功的幕后英雄。然而&#xff0c;打造这样一份出色的技术文档并非易事。你是否在为如何清晰阐释复杂技术而苦恼&#xff1f;是否纠结…...

编程日记 2024/12/15 6:17:27

geoserver 瓦片地图，tomcat和nginx实现负载均衡

在地理信息系统&#xff08;GIS&#xff09;领域&#xff0c;GeoServer作为一个强大的开源服务器&#xff0c;能够发布各种地图服务&#xff0c;包括瓦片地图服务。为了提高服务的可用性和扩展性&#xff0c;结合Tomcat和Nginx实现负载均衡成为了一个有效的解决方案。本文将详细…...

编程日记 2024/12/15 6:16:26

Jenkins 启动 程序 退出后 被杀死问题

参考 Spawning Processes From Build (jenkins.io) 解决jenkins脚本启动项目后进程被杀死_jenkins杀进程-CSDN博客...

编程日记 2024/12/15 6:15:25

SEGGER | 基于STM32F405 + Keil - RTT组件01 - 移植SEGGER RTT

导言 RTT(Real Time Transfer)是一种用于嵌入式中与用户进行交互的技术&#xff0c;它结合了SWO和半主机的优点&#xff0c;具有极高的性能。 使用RTT可以从MCU非常快速输出调试信息和数据&#xff0c;且不影响MCU实时性。这个功能可以用于很多支持J-Link的设备和MCU&#xff0…...

编程日记 2024/12/15 6:14:23

分布式开发学习

1、kratos的特点 gRPC&#xff1a;Kratos 默认支持 gRPC&#xff0c;提供高性能的远程调用能力&#xff0c;适用于微服务间通信。 HTTP &#xff1a;同时支持 HTTP/1.1 和 HTTP/2&#xff0c;方便微服务与外部系统交互。 Protocol Buffers&#xff1a; protoc 工具生…...

编程日记 2024/12/15 6:12:21

freeswitch(开启支持MCU视频会议,使用mod_av模块)

亲测版本centos 7.9系统–》 freeswitch1.10.9 本人freeswitch安装路径（根据自己的路径进入） /usr/local/freeswitch/etc/freeswitch场景说明： 有些场景想使用视频会议MCU融合画面进行开会使用方法： 第一步：下载插件 yum install -y epel-release yum install...

编程日记 2024/12/15 6:10:19

Vue3常见api使用指南（TS版）

defineProps() 和 defineEmits() 内置函数&#xff0c;无需import导入&#xff0c;直接使用。传入到 defineProps 和 defineEmits 的选项会从 setup 中提升到模块的范围。因此&#xff0c;传入的选项不能引用在 setup 范围中声明的局部变量(比如设置默认值时)&#xff0c;但是…...

编程日记 2024/12/15 6:03:11

分布式 分布式事务 总结

前言 相关系列 《分布式 & 目录》《分布式 & 分布式事务 & 总结》《分布式 & 分布式事务 & 问题》 分布式事务 所谓分布式事务是指操作范围笼罩多个不同节点的事务。例如对于订单节点&库存节点而言&#xff0c;一次完整的交易需要同时调动两个节…...

编程日记 2024/12/15 6:02:10

onnx文件转pytorch pt模型文件

onnx文件转pytorch pt模型文件 1.onnx2torch转换及测试2.存在问题参考文献 从pytorch格式转onnx格式&#xff0c;官方有成熟的API&#xff1b;那么假如只有onnx格式的模型文件&#xff0c;该怎样转回pytorch格式&#xff1f; https://github.com/ENOT-AutoDL/onnx2torch提供了…...

编程日记 2024/12/15 5:58:07

智能座舱人机交互升级

我是穿拖鞋的汉子&#xff0c;魔都中坚持长期主义的汽车电子工程师。 老规矩&#xff0c;分享一段喜欢的文字&#xff0c;避免自己成为高知识低文化的工程师&#xff1a; 所谓鸡汤&#xff0c;要么蛊惑你认命&#xff0c;要么怂恿你拼命&#xff0c;但都是回避问题的根源&…...

编程日记 2024/12/15 5:56:03

RabbitMQ中点对点（Point-to-Point）通讯方式的Java实现

RabbitMQ是一个广泛使用的开源消息代理软件&#xff0c;它实现了高级消息队列协议&#xff08;AMQP&#xff09;。RabbitMQ支持多种消息传递模式&#xff0c;其中最基本的是点对点&#xff08;Point-to-Point&#xff09;通讯方式。在这种模式下&#xff0c;消息生产者将消息发…...

编程日记 2024/12/15 5:51:58

爬虫实战：获取1688接口数据全攻略

引言 在电商领域&#xff0c;数据的重要性不言而喻。1688作为中国领先的B2B电商平台&#xff0c;提供了海量的商品数据。通过爬虫技术获取这些数据&#xff0c;可以帮助企业进行市场分析、价格监控和供应链管理。本文将详细介绍如何使用Python爬虫技术合法合规地获取1688接口数…...

编程日记 2024/12/15 5:49:56

生成树协议STP工作步骤

第一步&#xff1a;选择根桥 优先级比较&#xff1a;首先比较优先级&#xff0c;优先级值越小的是根桥MAC地址比较&#xff1a;如果优先级相同&#xff0c;则比较MAC地址。MAC地址小的是根桥。 MAC地址比较的时候从左往右&#xff0c;一位一位去比 第二步&#xff1a;所有非根…...

编程日记 2024/12/15 5:47:54

Android14 AOSP支持短按关机

修改frameworks/base/services/core/java/com/android/server/policy/PhoneWindowManager.java diff --git a/base/services/core/java/com/android/server/policy/PhoneWindowManager.java b/base/services/core/java/com/android/server/policy/PhoneWindowManager.java in…...

编程日记 2024/12/15 5:44:52

从“数字员工”到“可控系统”：Agent 治理框架与审批流程

从“数字员工”到“可控系统”：Agent 治理框架与审批流程深度解析 摘要/引言 开门见山 你有没有在最近的科技峰会、企业新闻或者 GitHub 热榜里，听到过「Agent 接管 80% 重复性编程工作」「金融客服 Agent 日处理量破百万件」这类令人振奋又隐隐不安的消息？上周我和某银行…...

编程新知 2026/4/8 3:24:52

手把手教你实现西门子1200自动洗车博途仿真 自动洗车博图PLC程序洗车机控制HMI组态

西门子1200自动洗车博途仿真 自动洗车博图PLC程序洗车机控制HMI组态 、商品包含内容&#xff1a;①三种液体博途PLC与HMI仿真工程?(博途V14或以上) 一份&#xff1b;②三种液体配套有IO点表PLC接线图主电路图控制流程图 (CAD源文件可编辑);③三种液体博途仿真工程配套视频讲解…...

编程新知 2026/4/8 2:11:39

Linux线程创建机制与多线程编程实践

1. Linux线程创建机制解析在Linux系统中&#xff0c;线程创建是一个内核态与用户态协同工作的过程。与进程不同&#xff0c;线程不是完全由内核实现的机制&#xff0c;而是通过glibc库函数与内核系统调用的配合完成的。理解线程创建机制对开发高性能多线程程序至关重要。线程与…...

编程新知 2026/4/8 2:03:34

实测！用AI从0到1完成一个项目，需要多少token?

用AI编程工具&#xff0c;从零撸图书管理系统全记录现在全网都在聊AI写项目&#xff0c;但没人说真话&#xff1a;纯靠聊天瞎怼需求&#xff0c;到底浪费多少token&#xff1f;步骤乱不乱&#xff1f;代码能不能直接跑&#xff1f;今天不玩虚的&#xff0c;全程实测飞算JavaAI智…...

编程新知 2026/4/8 1:41:06

基于Fluent的SLM过程模拟：涵盖案例研究、热源UDF及粉末导入技术详解

基于fluent的slm过程模拟&#xff0c;包含案例&#xff0c;热源udf&#xff0c;粉末的导入都有涉及。在增材制造领域&#xff0c;选择性激光熔化&#xff08;SLM&#xff09;技术因其高精度和复杂形状的制造能力而备受关注。今天&#xff0c;我们就来聊聊如何基于Fluent进行SLM…...

编程新知 2026/4/8 1:36:59

从进度到资源：7款适合PMO的项目集管理系统

本文将深入对比7大项目集管理系统&#xff1a;PingCode、Worktile、GanttPRO、奥博思、TAPD、Trello、氚云 在管理大型、跨部门的复杂项目时&#xff0c;PMO&#xff08;项目管理办公室&#xff09;常面临资源冲突、信息孤岛和进度失控的挑战。传统的单项目管理工具已难以承载组…...

编程新知 2026/4/8 1:14:32

HFSS 2023 R1实战：手把手教你从ADS优化到Wilkinson功分器建模（附完整模型文件）

HFSS 2023 R1实战&#xff1a;从ADS优化到Wilkinson功分器三维建模全流程解析 在射频工程领域&#xff0c;将电路仿真结果准确转化为三维电磁场模型是一个关键但常被忽视的环节。许多工程师在ADS中完成了理想的参数优化后&#xff0c;却对如何在HFSS中实现同等性能感到困惑。本…...

编程新知 2026/4/7 23:40:57

音频算法可视化实战：用Android自定义View绘制专业级EQ/DRC曲线图

音频算法可视化实战&#xff1a;用Android自定义View绘制专业级EQ/DRC曲线图 在音频处理领域&#xff0c;EQ&#xff08;均衡器&#xff09;和DRC&#xff08;动态范围控制&#xff09;是两大核心算法。对于已经掌握这些算法原理的开发者来说&#xff0c;如何将它们直观地呈现给…...

编程新知 2026/4/7 23:38:56

BFS算法

题目解题思路代码#include <iostream> #include <queue> #include <cstring> using namespace std;typedef pair<int,int> PII; const int N410; int n,m,x,y; int dist[N][N];// 骑士8个移动方向 int dx[]{1,2,2,1,-1,-2,-2,-1}; int dy[]{2,1,-1…...

编程新知 2026/4/7 21:43:07

使用 winget 卸载 SQLiteStudio：从命令到细节的完整指南

一条命令安装，一条命令卸载——winget 让 Windows 软件管理变得前所未有的简单 前言 SQLiteStudio 是一款轻量、跨平台的 SQLite 数据库管理工具，因其简洁的界面和强大的功能，深受开发者喜爱。在 Windows 上，越来越多的人选择通过微软官方包管理器 winget 来安装它： win…...

编程新知 2026/4/7 21:22:42