当前位置： 首页 > news >正文

注入少量可学习的向量参数: 注入适配器IA3

news 2026/4/1 23:21:09

注入少量可学习的向量参数: 注入适配器IA3

  • 简介：IA3通过学习向量来对激活层加权进行缩放，从而获得更强的性能，同时仅引入相对少量的新参数。它的诞生背景是为了改进LoRA，与LoRA不同的是，IA3直接处理学习向量，而不是学习低秩权重矩阵，这使得可训练参数的数量更少，并且原始的预训练权重保持冻结状态，方便构建多个轻量级、便携式的模型用于不同下游任务，其性能与完全微调的模型相当，且不会增加推理延迟.
  • 使用方法：首先实例化基本模型，然后创建一个IA3Config配置对象，在其中定义IA3特定的参数，如任务类型、目标模块等。接着，使用get_peft_model()函数包装基础模型以获得可训练的PeftModel，最后像平常训练基础模型一样训练PeftModel即可.
  • 举例：对于一个机器翻译任务，使用T5模型作为基础模型，采用IA3微调方法。创建IA3Config配置，指定任务类型为SEQ_2_SEQ_LM，目标模块为(“k”, “v”, “wo”)，然后包装T5模型得到可训练的PeftModel

相关文章：

注入少量可学习的向量参数: 注入适配器IA3

注入少量可学习的向量参数: 注入适配器IA3 简介：IA3通过学习向量来对激活层加权进行缩放，从而获得更强的性能，同时仅引入相对少量的新参数。它的诞生背景是为了改进LoRA，与LoRA不同的是，IA3直接处理学习向量，而不是学习低秩权重矩阵，这使得可训练参数的数量更少，并且原…...

编程日记 2025/1/4 0:29:32

【C++】B2076 球弹跳高度的计算

博客主页： [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: C 文章目录 💯前言💯题目描述输入格式输出格式输入输出示例 💯两种代码实现及其对比我的代码实现代码分析优点与不足 老师的代码实现代码分析优点与不足 💯两种实现的对…...

编程日记 2025/1/4 0:28:23

【Python】selenium结合js模拟鼠标点击、拦截弹窗、鼠标悬停方法汇总（使用 execute_script 执行点击的方法）

我们在写selenium获取网络信息的时候，有时候我们会受到对方浏览器的监控，对方通过分析用户行为模式，如点击、滚动、停留时间等，网站可以识别出异常行为，进而对Selenium爬虫进行限制。 这里我们可以加入JavaScript的使…...

编程日记 2025/1/4 0:27:20

CatBoost算法详解与PyTorch实现

CatBoost算法详解与PyTorch实现 目录 CatBoost算法详解与PyTorch实现@[TOC](目录)1. CatBoost算法概述1.1 梯度提升树（GBDT）1.2 CatBoost的优势2. CatBoost的核心技术2.1 类别特征处理2.2 对称树结构2.3 有序提升技术2.4 正则化技术3. PyTorch实现CatBoost3.1 环境准备3.2 Py…...

编程日记 2025/1/4 0:25:18

“TypeScript版：数据结构与算法-初识算法“

引言 在算法与编程的广阔世界里，总有一些作品以其独特的魅力和卓越的设计脱颖而出，成为我们学习和研究的典范。今天，我非常荣幸地向大家分享一个令人印象深刻的算法——Hello算法。 Hello算法不仅展现了作者深厚的编程功底，更以…...

编程日记 2025/1/4 0:24:17

mysql中递归的使用 WITH RECURSIVE

MySQL递归查询的基本语法和用法 MySQL 8.0及以上版本支持使用WITH RECURSIVE来进行递归查询。WITH RECURSIVE定义了一个递归的公用表表达式（CTE），它包含两个部分：递归的基础部分（非递归部分）和递归部分。 …...

编程日记 2025/1/4 0:23:11

点击取消按钮，console出来数据更改了，页面视图没有更新

点击取消按钮，console出来数据更改了，页面视图没有更新 前言 实现效果：点击取消按钮，页面视图全部为空， 遇到的问题： 点击取消按钮，console出来数据更改了，SchemaJson 都是默认值啦…...

编程日记 2025/1/4 0:20:06

web框架在什么程度上受限 ？

Web框架提供了开发网站和Web应用的基础结构和工具，但它们也有一些限制。了解这些限制有助于选择合适的框架或决定何时可能需要寻找或开发替代方案。 1、问题背景 提问者计划构建一个 RESTful web 服务，该服务将只使用 JSON/XML 接口，不包含 …...

编程日记 2025/1/4 0:18:03

实践：事件循环

实践：事件循环 代码示例 console.log(1); setTimeout(() > console.log(2), 0); Promise.resolve(3).then(res > console.log(res)); console.log(4);上述的代码的输出结果是什么 1和4肯定优先输出，因为他们会立即方式堆栈的执行上下文中执行&am…...

编程日记 2025/1/4 0:14:55

C++ 设计模式：建造者模式（Builder Pattern）

链接：C 设计模式 链接：C 设计模式 - 工厂方法 链接：C 设计模式 - 抽象工厂 链接：C 设计模式 - 原型模式 建造者模式（Builder Pattern）是一种创建型设计模式，它允许你分步骤创建复杂对象。与其他…...

编程日记 2025/1/4 0:12:53

SQL偏移类窗口函数—— LAG（）、LEAD（）用法详解

SQL偏移类窗口函数：LAG() 和 LEAD() 用法详解 在 SQL 中，偏移类窗口函数 LAG() 和 LEAD() 用于访问当前行的前几行或后几行的值。 1. LAG() 函数 LAG() 函数返回当前行的前几行的数据。 LAG(Expression, OffSetValue, DefaultVar) OVER (PARTITION BY …...

编程日记 2025/1/4 0:07:43

基于Pytorch和yolov8n手搓安全帽目标检测的全过程

一.背景 还是之前的主题，使用开源软件为公司搭建安全管理平台，从视觉模型识别安全帽开始。主要参考学习了开源项目 https://github.com/jomarkow/Safety-Helmet-Detection，我是从运行、训练、标注倒过来学习的。由于工作原因，抽空…...

编程日记 2025/1/4 0:05:41

[CTF/网络安全] 攻防世界 upload1 解题详析

姿势 在txt中写入一句话木马<?php eval($_POST[qiu]);?> 回显如下&#xff1a; 查看源代码&#xff1a; Array.prototype.contains function (obj) { var i this.length; while (i--) { if (this[i] obj) { return true; } } return false; } function …...

编程日记 2025/1/4 0:03:39

03-其他

我们学校的教授们都还是很温柔&#xff0c;很有趣的&#xff0c;所以只要大家好好发挥&#xff0c;拿到90没问题的。 你以后打算研究什么&#xff1f; 你研究生的打算是什么&#xff1f;你计算机的前沿技术了解多少&#xff1f;&#xff08;这个问题我真没了解过。。拉了&…...

编程日记 2025/1/4 0:00:36

EasyExcel自定义动态下拉框（附加业务对象转换功能）

全文直接复制粘贴即可&#xff0c;测试无误 一、注解类 1、ExcelSelected.java 设置下拉框 Documented Target({ElementType.FIELD})//用此注解用在属性上。 Retention(RetentionPolicy.RUNTIME)//注解不仅被保存到class文件中&#xff0c;jvm加载class文件之后&#xff0c…...

编程日记 2025/1/3 23:57:33

2025.1.2

练习&#xff1a; 1> 创建一个工人信息库&#xff0c;包含工号&#xff08;主键&#xff09;、姓名、年龄、薪资。 2> 添加三条工人信息&#xff08;可以完整信息&#xff0c;也可以非完整信息&#xff09; 3> 修改某一个工人的薪资&#xff08;确定的一个&#xf…...

编程日记 2025/1/3 23:55:27

重庆大学软件工程复试怎么准备？

重大软件复试相对来说不算刁钻&#xff0c;关键是对自己的竞赛和项目足够了解&#xff0c;能应对老师的提问。专业课范围广&#xff0c;英文文献看个人水平&#xff0c;难度不算大&#xff0c;整体只要表现得得体从容&#xff0c;以及充分的准备&#xff0c;老师不会为难你。 …...

编程日记 2025/1/3 23:54:26

Ant Design Pro搭建react项目

1、使用pro-cli 来快速的初始化脚手架&#xff0c;先全局安装 npm i ant-design/pro-cli -g pro create myapp 2、选择模板类型 pro 是基础模板&#xff0c;只提供了框架运行的基本内容&#xff0c;complete 包含所有区块&#xff0c;不太适合当基础模板来进行二次开发。&a…...

编程日记 2025/1/3 23:49:20

mysql连接时报错1130-Host ‘hostname‘ is not allowed to connect to this MySQL server

不在mysql服务器上通过ip连接服务提示1130错误怎么回事呢。这个错误是因为在数据库服务器中的mysql数据库中的user的表中没有权限。 解决方案 查询mysql库的user表指定账户的连接方式 SELECT user, host FROM mysql.user;修改指定账户的host连接方式 update mysql.user se…...

编程日记 2025/1/3 23:40:04

办公 三之 Excel 数据限定录入与格式变换

开始-----条件格式------管理规则 IF($A4"永久",1,0) //如果A4包含永久&#xff0c;条件格式如下&#xff1a; OR($D5<60,$E5<60,$F5<60) 求取任意科目不及格数据 AND($D5<60,$E5<60,$F5<60) 若所有科目都不及格 显示为红色 IF($H4<EDATE…...

编程日记 2025/1/3 23:35:51

计算机毕业设计springboot基于web的好文阅读网站的设计与实现 SpringBoot在线文学阅读与创作平台的设计与实现 基于Web的数字化阅读社区系统构建

计算机毕业设计springboot基于web的好文阅读网站的设计与实现xl6429gd &#xff08;配套有源码 程序 mysql数据库 论文&#xff09; 本套源码可以在文本联xi,先看具体系统功能演示视频领取&#xff0c;可分享源码参考。随着互联网技术的飞速发展和数字阅读习惯的普及&#xff0…...

编程新知 2026/4/1 23:20:11

教师评估软件市场迎增长机遇：未来六年CAGR锁定6.7%，教育数字化转型添动能

据恒州诚思调研统计&#xff0c;2025年全球教师评估软件市场规模约30.58亿元&#xff0c;预计未来将持续平稳增长&#xff0c;到2032年市场规模将接近47.92亿元&#xff0c;未来六年复合年增长率&#xff08;CAGR&#xff09;为6.7%。在教育行业数字化转型加速的背景下&#xf…...

编程新知 2026/4/1 23:07:58

(全网最全)分享8款AI工具，毕业论文AIGC率速降至5%！

【CSDN AI底层算法专栏 / 核心摘要】 2026年&#xff0c;学术圈的反AI审查已经演变成了一场“算法级别的军备竞赛”。随着知网、万方全面接入大模型语义探针&#xff0c;靠改同义词、甚至靠传统Prompt洗稿的套路已全线崩溃。为了帮大家避坑&#xff0c;本期专栏我从代码和算法逻…...

编程新知 2026/4/1 21:14:22

雯雯的后宫-造相Z-Image-瑜伽女孩部署教程：腾讯云TI-ONE平台模型服务一键部署

雯雯的后宫-造相Z-Image-瑜伽女孩部署教程&#xff1a;腾讯云TI-ONE平台模型服务一键部署 本文介绍如何在腾讯云TI-ONE平台上一键部署"雯雯的后宫-造相Z-Image-瑜伽女孩"文生图模型服务&#xff0c;使用Xinference框架和Gradio界面&#xff0c;快速生成高质量的瑜伽主…...

编程新知 2026/4/1 21:14:15

一文了解嵌入式硬件通信核心：串口/CAN/以太网，底层逻辑居然全一样！

做嵌入式、工控、硬件通信开发久了&#xff0c;总会有一个突然顿悟的瞬间&#xff1a;串口、以太网、CAN、TCP、USB、蓝牙、Modbus……这些看似毫无关联、应用场景天差地别的通信方式&#xff0c;扒开底层逻辑才发现&#xff0c;居然是同一个模子刻出来的。看透这一点后&#x…...

编程新知 2026/4/1 21:08:12

内网穿透技术应用：在本地开发机部署Qwen3-ASR-0.6B并供外网测试

内网穿透技术应用&#xff1a;在本地开发机部署Qwen3-ASR-0.6B并供外网测试 你是不是也遇到过这种情况&#xff1f;在本地电脑上好不容易部署好了一个AI模型&#xff0c;比如Qwen3-ASR-0.6B这个语音识别模型&#xff0c;自己测试跑得挺欢。结果想给同事或者朋友演示一下&#…...

编程新知 2026/4/1 20:31:56

别再只玩单机了！用AirSim+Python实现你的第一个无人机编队（附完整代码）

从单机到编队&#xff1a;用AirSim和Python打造你的第一支无人机小队 想象一下&#xff0c;当你第一次在AirSim中成功让无人机起飞时的兴奋感——现在&#xff0c;是时候将这份快乐乘以N倍了。本文将带你跨越单机操作的舒适区&#xff0c;进入无人机编队控制的新世界。不需要复…...

编程新知 2026/4/1 20:15:43

多层PCB板层叠结构详解：如何选择适合你的设计？

多层PCB板层叠结构详解&#xff1a;如何选择适合你的设计&#xff1f; 在电子设计领域&#xff0c;PCB&#xff08;印制电路板&#xff09;是连接各种电子元器件的核心载体。随着电子产品功能的日益复杂&#xff0c;简单的单层或双层PCB已无法满足现代设计需求&#xff0c;多层…...

编程新知 2026/4/1 19:59:36

MATLAB xyz2stl实战：手把手教你修复GitHub热门工具包的常见报错（含stlWrite函数缺失解决方案）

MATLAB xyz2stl实战&#xff1a;从报错排查到完整工作流搭建 当你从GitHub下载了NWRichmond/xyz2stl工具包&#xff0c;满心期待地运行却看到"未定义函数或变量stlWrite"的红色报错时&#xff0c;这种挫败感我深有体会。作为MATLAB社区中下载量排名前10%的三维数据处…...

编程新知 2026/4/1 19:31:10

ESLint-Plugin-Unicorn规则优先级设置终极指南：如何平衡代码质量和开发效率

ESLint-Plugin-Unicorn规则优先级设置终极指南&#xff1a;如何平衡代码质量和开发效率 【免费下载链接】eslint-plugin-unicorn More than 100 powerful ESLint rules 项目地址: https://gitcode.com/gh_mirrors/es/eslint-plugin-unicorn ESLint-Plugin-Unicorn是一个…...

编程新知 2026/4/1 18:48:50