迁移学习中模型训练加速（以mllm模型为例），提速15%以上
根据模型训练过程的显存占用实测的分析，一个1g参数的模型（存储占用4g）训练大约需要20g的显存，其中梯度值占用的显存约一半。博主本意是想实现在迁移学习（冻结部分参数）中模型显存占用的降低，结果不太满意，只能实现训练速度提升，但无法实现显存占用优化。预计是在现有的训练框架中，对于显存占用优化做的十分到位，优化空间极小。但基于现有的策略，在不影响任何训练效果下，侥幸能实现训练速度提升15%也是十分有意义的。 这里以ms-swift框架为例，训练模型以Florence-2-large-ft（提速30%）与Qwen2-VL-2B-Instruct（提速16%）模型为例。只需要使用model=MyModel(model)替换一下原有模型即可。
1、核心修改
1.1 关键代码
将以下代码保存到 swift\llm 目录下，文件名为 MyModel.py
from torch import<相关文章：
迁移学习中模型训练加速（以mllm模型为例），提速15%以上
根据模型训练过程的显存占用实测的分析，一个1g参数的模型（存储占用4g）训练大约需要20g的显存，其中梯度值占用的显存约一半。博主本意是想实现在迁移学习（冻结部分参数）中模型显存占用的降低，结果不太满意，只能实现训练速度提升，但无法实现显存占用优化。预计是在现有的…...
socket编程UDP-实现停等机制（接收确认、超时重传）
在下面博客中，我介绍了利用UDP模拟TCP连接、按数据包发送文件的过程，并附上完整源码。 socket编程UDP-文件传输&模拟TCP建立连接脱离连接（进阶篇）_udp socket发送-CSDN博客 下面博客实现的是滑动窗口机制： sock…...
[二])
前端面试题目 (Node.JS-Express框架)[二]
在 Express 中如何使用 Passport.js 进行身份认证? Passport.js 是一个 Node.js 的身份验证中间件，它可以很容易地与 Express 集成。下面是一个简单的示例，展示了如何使用 Passport.js 进行基本的身份认证。 安装依赖 npm install express passport …...
防范TCP攻击：策略与实践
TCP（传输控制协议）是互联网通信的核心协议之一，它确保了数据在网络上的可靠传输。然而，TCP也容易成为各种网络攻击的目标，如SYN洪水攻击、TCP连接耗尽攻击等。本文将探讨如何通过配置防火墙规则、优化服务器设置以及采…...
3D 生成重建034-NerfDiff借助扩散模型直接生成nerf
3D 生成重建034-NerfDiff借助扩散模型直接生成nerf 文章目录 0 论文工作1 论文方法2 实验结果 0 论文工作 感觉这个论文可能能shapE差不多同时期工作，但是shapE是生成任意种类。 本文提出了一种新颖的单图像视图合成方法NerfDiff，该方法利用神经辐射场 …...
分布式 Paxos算法 总结
前言 相关系列 《分布式 & 目录》《分布式 & Paxos算法 & 总结》《分布式 & Paxos算法 & 问题》 参考文献 《图解超难理解的 Paxos 算法（含伪代码）》《【超详细】分布式一致性协议 - Paxos》 Basic-Paxos 基础帕克索斯算法…...
我的宝贵经验
在技术的浩瀚海洋中，一份优秀的技术文档宛如精准的航海图。它是知识传承的载体，是团队协作的桥梁，更是产品成功的幕后英雄。然而，打造这样一份出色的技术文档并非易事。你是否在为如何清晰阐释复杂技术而苦恼？是否纠结…...
geoserver 瓦片地图，tomcat和nginx实现负载均衡
在地理信息系统（GIS）领域，GeoServer作为一个强大的开源服务器，能够发布各种地图服务，包括瓦片地图服务。为了提高服务的可用性和扩展性，结合Tomcat和Nginx实现负载均衡成为了一个有效的解决方案。本文将详细…...
Jenkins 启动 程序 退出后 被杀死问题
参考 Spawning Processes From Build (jenkins.io) 解决jenkins脚本启动项目后进程被杀死_jenkins杀进程-CSDN博客...
SEGGER | 基于STM32F405 + Keil - RTT组件01 - 移植SEGGER RTT
导言 RTT(Real Time Transfer)是一种用于嵌入式中与用户进行交互的技术，它结合了SWO和半主机的优点，具有极高的性能。 使用RTT可以从MCU非常快速输出调试信息和数据，且不影响MCU实时性。这个功能可以用于很多支持J-Link的设备和MCU࿰…...
分布式开发学习
1、kratos的特点 gRPC：Kratos 默认支持 gRPC，提供高性能的远程调用能力，适用于微服务间通信。 HTTP ：同时支持 HTTP/1.1 和 HTTP/2，方便微服务与外部系统交互。 Protocol Buffers： protoc 工具生…...
freeswitch(开启支持MCU视频会议,使用mod_av模块)
亲测版本centos 7.9系统–》 freeswitch1.10.9 本人freeswitch安装路径（根据自己的路径进入） /usr/local/freeswitch/etc/freeswitch场景说明： 有些场景想使用视频会议MCU融合画面进行开会使用方法： 第一步：下载插件 yum install -y epel-release yum install...
Vue3常见api使用指南（TS版）
defineProps() 和 defineEmits() 内置函数，无需import导入，直接使用。传入到 defineProps 和 defineEmits 的选项会从 setup 中提升到模块的范围。因此，传入的选项不能引用在 setup 范围中声明的局部变量(比如设置默认值时)，但是…...
分布式 分布式事务 总结
前言 相关系列 《分布式 & 目录》《分布式 & 分布式事务 & 总结》《分布式 & 分布式事务 & 问题》 分布式事务 所谓分布式事务是指操作范围笼罩多个不同节点的事务。例如对于订单节点&库存节点而言，一次完整的交易需要同时调动两个节…...
onnx文件转pytorch pt模型文件
onnx文件转pytorch pt模型文件 1.onnx2torch转换及测试2.存在问题参考文献 从pytorch格式转onnx格式，官方有成熟的API；那么假如只有onnx格式的模型文件，该怎样转回pytorch格式？ https://github.com/ENOT-AutoDL/onnx2torch提供了…...
智能座舱人机交互升级
我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 所谓鸡汤，要么蛊惑你认命，要么怂恿你拼命，但都是回避问题的根源&…...
RabbitMQ中点对点（Point-to-Point）通讯方式的Java实现
RabbitMQ是一个广泛使用的开源消息代理软件，它实现了高级消息队列协议（AMQP）。RabbitMQ支持多种消息传递模式，其中最基本的是点对点（Point-to-Point）通讯方式。在这种模式下，消息生产者将消息发…...
爬虫实战：获取1688接口数据全攻略
引言 在电商领域，数据的重要性不言而喻。1688作为中国领先的B2B电商平台，提供了海量的商品数据。通过爬虫技术获取这些数据，可以帮助企业进行市场分析、价格监控和供应链管理。本文将详细介绍如何使用Python爬虫技术合法合规地获取1688接口数…...
生成树协议STP工作步骤
第一步：选择根桥 优先级比较：首先比较优先级，优先级值越小的是根桥MAC地址比较：如果优先级相同，则比较MAC地址。MAC地址小的是根桥。 MAC地址比较的时候从左往右，一位一位去比 第二步：所有非根…...
Android14 AOSP支持短按关机
修改frameworks/base/services/core/java/com/android/server/policy/PhoneWindowManager.java diff --git a/base/services/core/java/com/android/server/policy/PhoneWindowManager.java b/base/services/core/java/com/android/server/policy/PhoneWindowManager.java in…...
调用支付宝接口响应40004 SYSTEM_ERROR问题排查
在对接支付宝API的时候，遇到了一些问题，记录一下排查过程。 Body:{"datadigital_fincloud_generalsaas_face_certify_initialize_response":{"msg":"Business Failed","code":"40004","sub_msg…...
RocketMQ延迟消息机制
两种延迟消息 RocketMQ中提供了两种延迟消息机制 指定固定的延迟级别 通过在Message中设定一个MessageDelayLevel参数，对应18个预设的延迟级别指定时间点的延迟级别 通过在Message中设定一个DeliverTimeMS指定一个Long类型表示的具体时间点。到了时间点后…...
Prompt Tuning、P-Tuning、Prefix Tuning的区别
一、Prompt Tuning、P-Tuning、Prefix Tuning的区别 1. Prompt Tuning（提示调优） 核心思想：固定预训练模型参数，仅学习额外的连续提示向量（通常是嵌入层的一部分）。实现方式：在输入文本前添加可训练的连续向量（软提示），模型只更新这些提示参数。优势：参数量少（仅提…...
FFmpeg 低延迟同屏方案
引言 在实时互动需求激增的当下，无论是在线教育中的师生同屏演示、远程办公的屏幕共享协作，还是游戏直播的画面实时传输，低延迟同屏已成为保障用户体验的核心指标。FFmpeg 作为一款功能强大的多媒体框架，凭借其灵活的编解码、数据…...
java调用dll出现unsatisfiedLinkError以及JNA和JNI的区别
UnsatisfiedLinkError 在对接硬件设备中，我们会遇到使用 java 调用 dll文件 的情况，此时大概率出现UnsatisfiedLinkError链接错误，原因可能有如下几种 类名错误包名错误方法名参数错误使用 JNI 协议调用，结果 dll 未实现 JNI 协…...
中关于正整数输入的校验规则)
Element Plus 表单(el-form)中关于正整数输入的校验规则
目录 1 单个正整数输入1.1 模板1.2 校验规则 2 两个正整数输入（联动）2.1 模板2.2 校验规则2.3 CSS 1 单个正整数输入 1.1 模板 <el-formref"formRef":model"formData":rules"formRules"label-width"150px"…...
2023赣州旅游投资集团
单选题 1.“不登高山，不知天之高也；不临深溪，不知地之厚也。”这句话说明_____。 A、人的意识具有创造性 B、人的认识是独立于实践之外的 C、实践在认识过程中具有决定作用 D、人的一切知识都是从直接经验中获得的 参考答案: C 本题解…...
华为OD机考-机房布局
import java.util.*;public class DemoTest5 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseSystem.out.println(solve(in.nextLine()));}}priv…...
Git 3天2K星标：Datawhale 的 Happy-LLM 项目介绍（附教程）
引言 在人工智能飞速发展的今天，大语言模型（Large Language Models, LLMs）已成为技术领域的焦点。从智能写作到代码生成，LLM 的应用场景不断扩展，深刻改变了我们的工作和生活方式。然而，理解这些模型的内部…...
Python 实现 Web 静态服务器（HTTP 协议）
目录 一、在本地启动 HTTP 服务器1. Windows 下安装 node.js1）下载安装包2）配置环境变量3）安装镜像4）node.js 的常用命令 2. 安装 http-server 服务3. 使用 http-server 开启服务1）使用 http-server2）详解 …...