注入少量可学习的向量参数: 注入适配器IA3
注入少量可学习的向量参数: 注入适配器IA3
- 简介：IA3通过学习向量来对激活层加权进行缩放，从而获得更强的性能，同时仅引入相对少量的新参数。它的诞生背景是为了改进LoRA，与LoRA不同的是，IA3直接处理学习向量，而不是学习低秩权重矩阵，这使得可训练参数的数量更少，并且原始的预训练权重保持冻结状态，方便构建多个轻量级、便携式的模型用于不同下游任务，其性能与完全微调的模型相当，且不会增加推理延迟.
- 使用方法：首先实例化基本模型，然后创建一个IA3Config配置对象，在其中定义IA3特定的参数，如任务类型、目标模块等。接着，使用get_peft_model()函数包装基础模型以获得可训练的PeftModel，最后像平常训练基础模型一样训练PeftModel即可.
- 举例：对于一个机器翻译任务，使用T5模型作为基础模型，采用IA3微调方法。创建IA3Config配置，指定任务类型为SEQ_2_SEQ_LM，目标模块为(“k”, “v”, “wo”)，然后包装T5模型得到可训练的PeftModel
相关文章：
注入少量可学习的向量参数: 注入适配器IA3
注入少量可学习的向量参数: 注入适配器IA3 简介：IA3通过学习向量来对激活层加权进行缩放，从而获得更强的性能，同时仅引入相对少量的新参数。它的诞生背景是为了改进LoRA，与LoRA不同的是，IA3直接处理学习向量，而不是学习低秩权重矩阵，这使得可训练参数的数量更少，并且原…...
【C++】B2076 球弹跳高度的计算
博客主页： [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: C 文章目录 💯前言💯题目描述输入格式输出格式输入输出示例 💯两种代码实现及其对比我的代码实现代码分析优点与不足 老师的代码实现代码分析优点与不足 💯两种实现的对…...
【Python】selenium结合js模拟鼠标点击、拦截弹窗、鼠标悬停方法汇总（使用 execute_script 执行点击的方法）
我们在写selenium获取网络信息的时候，有时候我们会受到对方浏览器的监控，对方通过分析用户行为模式，如点击、滚动、停留时间等，网站可以识别出异常行为，进而对Selenium爬虫进行限制。 这里我们可以加入JavaScript的使…...
CatBoost算法详解与PyTorch实现
CatBoost算法详解与PyTorch实现 目录 CatBoost算法详解与PyTorch实现@[TOC](目录)1. CatBoost算法概述1.1 梯度提升树（GBDT）1.2 CatBoost的优势2. CatBoost的核心技术2.1 类别特征处理2.2 对称树结构2.3 有序提升技术2.4 正则化技术3. PyTorch实现CatBoost3.1 环境准备3.2 Py…...
“TypeScript版：数据结构与算法-初识算法“
引言 在算法与编程的广阔世界里，总有一些作品以其独特的魅力和卓越的设计脱颖而出，成为我们学习和研究的典范。今天，我非常荣幸地向大家分享一个令人印象深刻的算法——Hello算法。 Hello算法不仅展现了作者深厚的编程功底，更以…...
mysql中递归的使用 WITH RECURSIVE
MySQL递归查询的基本语法和用法 MySQL 8.0及以上版本支持使用WITH RECURSIVE来进行递归查询。WITH RECURSIVE定义了一个递归的公用表表达式（CTE），它包含两个部分：递归的基础部分（非递归部分）和递归部分。 …...
点击取消按钮，console出来数据更改了，页面视图没有更新
点击取消按钮，console出来数据更改了，页面视图没有更新 前言 实现效果：点击取消按钮，页面视图全部为空， 遇到的问题： 点击取消按钮，console出来数据更改了，SchemaJson 都是默认值啦…...
web框架在什么程度上受限 ？
Web框架提供了开发网站和Web应用的基础结构和工具，但它们也有一些限制。了解这些限制有助于选择合适的框架或决定何时可能需要寻找或开发替代方案。 1、问题背景 提问者计划构建一个 RESTful web 服务，该服务将只使用 JSON/XML 接口，不包含 …...
实践：事件循环
实践：事件循环 代码示例 console.log(1); setTimeout(() > console.log(2), 0); Promise.resolve(3).then(res > console.log(res)); console.log(4);上述的代码的输出结果是什么 1和4肯定优先输出，因为他们会立即方式堆栈的执行上下文中执行&am…...
C++ 设计模式：建造者模式（Builder Pattern）
链接：C 设计模式 链接：C 设计模式 - 工厂方法 链接：C 设计模式 - 抽象工厂 链接：C 设计模式 - 原型模式 建造者模式（Builder Pattern）是一种创建型设计模式，它允许你分步骤创建复杂对象。与其他…...
SQL偏移类窗口函数—— LAG（）、LEAD（）用法详解
SQL偏移类窗口函数：LAG() 和 LEAD() 用法详解 在 SQL 中，偏移类窗口函数 LAG() 和 LEAD() 用于访问当前行的前几行或后几行的值。 1. LAG() 函数 LAG() 函数返回当前行的前几行的数据。 LAG(Expression, OffSetValue, DefaultVar) OVER (PARTITION BY …...
基于Pytorch和yolov8n手搓安全帽目标检测的全过程
一.背景 还是之前的主题，使用开源软件为公司搭建安全管理平台，从视觉模型识别安全帽开始。主要参考学习了开源项目 https://github.com/jomarkow/Safety-Helmet-Detection，我是从运行、训练、标注倒过来学习的。由于工作原因，抽空…...
[CTF/网络安全] 攻防世界 upload1 解题详析
姿势 在txt中写入一句话木马<?php eval($_POST[qiu]);?> 回显如下： 查看源代码： Array.prototype.contains function (obj) { var i this.length; while (i--) { if (this[i] obj) { return true; } } return false; } function …...
03-其他
我们学校的教授们都还是很温柔，很有趣的，所以只要大家好好发挥，拿到90没问题的。 你以后打算研究什么？ 你研究生的打算是什么？你计算机的前沿技术了解多少？（这个问题我真没了解过。。拉了&…...
EasyExcel自定义动态下拉框（附加业务对象转换功能）
全文直接复制粘贴即可，测试无误 一、注解类 1、ExcelSelected.java 设置下拉框 Documented Target({ElementType.FIELD})//用此注解用在属性上。 Retention(RetentionPolicy.RUNTIME)//注解不仅被保存到class文件中，jvm加载class文件之后，…...
2025.1.2
练习： 1> 创建一个工人信息库，包含工号（主键）、姓名、年龄、薪资。 2> 添加三条工人信息（可以完整信息，也可以非完整信息） 3> 修改某一个工人的薪资（确定的一个…...
重庆大学软件工程复试怎么准备？
重大软件复试相对来说不算刁钻，关键是对自己的竞赛和项目足够了解，能应对老师的提问。专业课范围广，英文文献看个人水平，难度不算大，整体只要表现得得体从容，以及充分的准备，老师不会为难你。 …...
Ant Design Pro搭建react项目
1、使用pro-cli 来快速的初始化脚手架，先全局安装 npm i ant-design/pro-cli -g pro create myapp 2、选择模板类型 pro 是基础模板，只提供了框架运行的基本内容，complete 包含所有区块，不太适合当基础模板来进行二次开发。&a…...
mysql连接时报错1130-Host ‘hostname‘ is not allowed to connect to this MySQL server
不在mysql服务器上通过ip连接服务提示1130错误怎么回事呢。这个错误是因为在数据库服务器中的mysql数据库中的user的表中没有权限。 解决方案 查询mysql库的user表指定账户的连接方式 SELECT user, host FROM mysql.user;修改指定账户的host连接方式 update mysql.user se…...
办公 三之 Excel 数据限定录入与格式变换
开始-----条件格式------管理规则 IF($A4"永久",1,0) //如果A4包含永久，条件格式如下： OR($D5<60,$E5<60,$F5<60) 求取任意科目不及格数据 AND($D5<60,$E5<60,$F5<60) 若所有科目都不及格 显示为红色 IF($H4<EDATE…...
脑机新手指南（八）：OpenBCI_GUI：从环境搭建到数据可视化（下）
一、数据处理与分析实战 （一）实时滤波与参数调整 基础滤波操作 60Hz 工频滤波：勾选界面右侧 “60Hz” 复选框，可有效抑制电网干扰（适用于北美地区，欧洲用户可调整为 50Hz）。 平滑处理&…...
CMake基础：构建流程详解
目录 1.CMake构建过程的基本流程 2.CMake构建的具体步骤 2.1.创建构建目录 2.2.使用 CMake 生成构建文件 2.3.编译和构建 2.4.清理构建文件 2.5.重新配置和构建 3.跨平台构建示例 4.工具链与交叉编译 5.CMake构建后的项目结构解析 5.1.CMake构建后的目录结构 5.2.构…...
前端导出带有合并单元格的列表
// 导出async function exportExcel(fileName "共识调整.xlsx") {// 所有数据const exportData await getAllMainData();// 表头内容let fitstTitleList [];const secondTitleList [];allColumns.value.forEach(column > {if (!column.children) {fitstTitleL…...
Matlab | matlab常用命令总结
常用命令 一、 基础操作与环境二、 矩阵与数组操作（核心）三、 绘图与可视化四、 编程与控制流五、 符号计算 (Symbolic Math Toolbox)六、 文件与数据 I/O七、 常用函数类别重要提示这是一份 MATLAB 常用命令和功能的总结，涵盖了基础操作、矩阵运算、绘图、编程和文件处理等…...
用docker来安装部署freeswitch记录
今天刚才测试一个callcenter的项目，所以尝试安装freeswitch 1、使用轩辕镜像 - 中国开发者首选的专业 Docker 镜像加速服务平台 编辑下面/etc/docker/daemon.json文件为 {"registry-mirrors": ["https://docker.xuanyuan.me"] }同时可以进入轩…...
学习STC51单片机32（芯片为STC89C52RCRC）OLED显示屏2
每日一言 今天的每一份坚持，都是在为未来积攒底气。 案例：OLED显示一个A 这边观察到一个点，怎么雪花了就是都是乱七八糟的占满了屏幕。。 解释 ： 如果代码里信号切换太快（比如 SDA 刚变，SCL 立刻变&#…...
docker 部署发现spring.profiles.active 问题
报错： org.springframework.boot.context.config.InvalidConfigDataPropertyException: Property spring.profiles.active imported from location class path resource [application-test.yml] is invalid in a profile specific resource [origin: class path re…...
LINUX 69 FTP 客服管理系统 man 5 /etc/vsftpd/vsftpd.conf
FTP 客服管理系统 实现kefu123登录，不允许匿名访问，kefu只能访问/data/kefu目录，不能查看其他目录 创建账号密码 useradd kefu echo 123|passwd -stdin kefu [rootcode caozx26420]# echo 123|passwd --stdin kefu 更改用户 kefu 的密码…...
LangChain知识库管理后端接口：数据库操作详解—— 构建本地知识库系统的基础《二》
这段 Python 代码是一个完整的 知识库数据库操作模块，用于对本地知识库系统中的知识库进行增删改查（CRUD）操作。它基于 SQLAlchemy ORM 框架 和一个自定义的装饰器 with_session 实现数据库会话管理。 📘 一、整体功能概述 该模块…...
Git 3天2K星标：Datawhale 的 Happy-LLM 项目介绍（附教程）
引言 在人工智能飞速发展的今天，大语言模型（Large Language Models, LLMs）已成为技术领域的焦点。从智能写作到代码生成，LLM 的应用场景不断扩展，深刻改变了我们的工作和生活方式。然而，理解这些模型的内部…...