注入少量可学习的向量参数: 注入适配器IA3
注入少量可学习的向量参数: 注入适配器IA3
- 简介：IA3通过学习向量来对激活层加权进行缩放，从而获得更强的性能，同时仅引入相对少量的新参数。它的诞生背景是为了改进LoRA，与LoRA不同的是，IA3直接处理学习向量，而不是学习低秩权重矩阵，这使得可训练参数的数量更少，并且原始的预训练权重保持冻结状态，方便构建多个轻量级、便携式的模型用于不同下游任务，其性能与完全微调的模型相当，且不会增加推理延迟.
- 使用方法：首先实例化基本模型，然后创建一个IA3Config配置对象，在其中定义IA3特定的参数，如任务类型、目标模块等。接着，使用get_peft_model()函数包装基础模型以获得可训练的PeftModel，最后像平常训练基础模型一样训练PeftModel即可.
- 举例：对于一个机器翻译任务，使用T5模型作为基础模型，采用IA3微调方法。创建IA3Config配置，指定任务类型为SEQ_2_SEQ_LM，目标模块为(“k”, “v”, “wo”)，然后包装T5模型得到可训练的PeftModel
相关文章：
注入少量可学习的向量参数: 注入适配器IA3
注入少量可学习的向量参数: 注入适配器IA3 简介：IA3通过学习向量来对激活层加权进行缩放，从而获得更强的性能，同时仅引入相对少量的新参数。它的诞生背景是为了改进LoRA，与LoRA不同的是，IA3直接处理学习向量，而不是学习低秩权重矩阵，这使得可训练参数的数量更少，并且原…...
【C++】B2076 球弹跳高度的计算
博客主页： [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: C 文章目录 💯前言💯题目描述输入格式输出格式输入输出示例 💯两种代码实现及其对比我的代码实现代码分析优点与不足 老师的代码实现代码分析优点与不足 💯两种实现的对…...
【Python】selenium结合js模拟鼠标点击、拦截弹窗、鼠标悬停方法汇总（使用 execute_script 执行点击的方法）
我们在写selenium获取网络信息的时候，有时候我们会受到对方浏览器的监控，对方通过分析用户行为模式，如点击、滚动、停留时间等，网站可以识别出异常行为，进而对Selenium爬虫进行限制。 这里我们可以加入JavaScript的使…...
CatBoost算法详解与PyTorch实现
CatBoost算法详解与PyTorch实现 目录 CatBoost算法详解与PyTorch实现@[TOC](目录)1. CatBoost算法概述1.1 梯度提升树（GBDT）1.2 CatBoost的优势2. CatBoost的核心技术2.1 类别特征处理2.2 对称树结构2.3 有序提升技术2.4 正则化技术3. PyTorch实现CatBoost3.1 环境准备3.2 Py…...
“TypeScript版：数据结构与算法-初识算法“
引言 在算法与编程的广阔世界里，总有一些作品以其独特的魅力和卓越的设计脱颖而出，成为我们学习和研究的典范。今天，我非常荣幸地向大家分享一个令人印象深刻的算法——Hello算法。 Hello算法不仅展现了作者深厚的编程功底，更以…...
mysql中递归的使用 WITH RECURSIVE
MySQL递归查询的基本语法和用法 MySQL 8.0及以上版本支持使用WITH RECURSIVE来进行递归查询。WITH RECURSIVE定义了一个递归的公用表表达式（CTE），它包含两个部分：递归的基础部分（非递归部分）和递归部分。 …...
点击取消按钮，console出来数据更改了，页面视图没有更新
点击取消按钮，console出来数据更改了，页面视图没有更新 前言 实现效果：点击取消按钮，页面视图全部为空， 遇到的问题： 点击取消按钮，console出来数据更改了，SchemaJson 都是默认值啦…...
web框架在什么程度上受限 ？
Web框架提供了开发网站和Web应用的基础结构和工具，但它们也有一些限制。了解这些限制有助于选择合适的框架或决定何时可能需要寻找或开发替代方案。 1、问题背景 提问者计划构建一个 RESTful web 服务，该服务将只使用 JSON/XML 接口，不包含 …...
实践：事件循环
实践：事件循环 代码示例 console.log(1); setTimeout(() > console.log(2), 0); Promise.resolve(3).then(res > console.log(res)); console.log(4);上述的代码的输出结果是什么 1和4肯定优先输出，因为他们会立即方式堆栈的执行上下文中执行&am…...
C++ 设计模式：建造者模式（Builder Pattern）
链接：C 设计模式 链接：C 设计模式 - 工厂方法 链接：C 设计模式 - 抽象工厂 链接：C 设计模式 - 原型模式 建造者模式（Builder Pattern）是一种创建型设计模式，它允许你分步骤创建复杂对象。与其他…...
SQL偏移类窗口函数—— LAG（）、LEAD（）用法详解
SQL偏移类窗口函数：LAG() 和 LEAD() 用法详解 在 SQL 中，偏移类窗口函数 LAG() 和 LEAD() 用于访问当前行的前几行或后几行的值。 1. LAG() 函数 LAG() 函数返回当前行的前几行的数据。 LAG(Expression, OffSetValue, DefaultVar) OVER (PARTITION BY …...
基于Pytorch和yolov8n手搓安全帽目标检测的全过程
一.背景 还是之前的主题，使用开源软件为公司搭建安全管理平台，从视觉模型识别安全帽开始。主要参考学习了开源项目 https://github.com/jomarkow/Safety-Helmet-Detection，我是从运行、训练、标注倒过来学习的。由于工作原因，抽空…...
[CTF/网络安全] 攻防世界 upload1 解题详析
姿势 在txt中写入一句话木马<?php eval($_POST[qiu]);?> 回显如下： 查看源代码： Array.prototype.contains function (obj) { var i this.length; while (i--) { if (this[i] obj) { return true; } } return false; } function …...
03-其他
我们学校的教授们都还是很温柔，很有趣的，所以只要大家好好发挥，拿到90没问题的。 你以后打算研究什么？ 你研究生的打算是什么？你计算机的前沿技术了解多少？（这个问题我真没了解过。。拉了&…...
EasyExcel自定义动态下拉框（附加业务对象转换功能）
全文直接复制粘贴即可，测试无误 一、注解类 1、ExcelSelected.java 设置下拉框 Documented Target({ElementType.FIELD})//用此注解用在属性上。 Retention(RetentionPolicy.RUNTIME)//注解不仅被保存到class文件中，jvm加载class文件之后，…...
2025.1.2
练习： 1> 创建一个工人信息库，包含工号（主键）、姓名、年龄、薪资。 2> 添加三条工人信息（可以完整信息，也可以非完整信息） 3> 修改某一个工人的薪资（确定的一个…...
重庆大学软件工程复试怎么准备？
重大软件复试相对来说不算刁钻，关键是对自己的竞赛和项目足够了解，能应对老师的提问。专业课范围广，英文文献看个人水平，难度不算大，整体只要表现得得体从容，以及充分的准备，老师不会为难你。 …...
Ant Design Pro搭建react项目
1、使用pro-cli 来快速的初始化脚手架，先全局安装 npm i ant-design/pro-cli -g pro create myapp 2、选择模板类型 pro 是基础模板，只提供了框架运行的基本内容，complete 包含所有区块，不太适合当基础模板来进行二次开发。&a…...
mysql连接时报错1130-Host ‘hostname‘ is not allowed to connect to this MySQL server
不在mysql服务器上通过ip连接服务提示1130错误怎么回事呢。这个错误是因为在数据库服务器中的mysql数据库中的user的表中没有权限。 解决方案 查询mysql库的user表指定账户的连接方式 SELECT user, host FROM mysql.user;修改指定账户的host连接方式 update mysql.user se…...
办公 三之 Excel 数据限定录入与格式变换
开始-----条件格式------管理规则 IF($A4"永久",1,0) //如果A4包含永久，条件格式如下： OR($D5<60,$E5<60,$F5<60) 求取任意科目不及格数据 AND($D5<60,$E5<60,$F5<60) 若所有科目都不及格 显示为红色 IF($H4<EDATE…...
日语AI面试高效通关秘籍：专业解读与青柚面试智能助攻
在如今就业市场竞争日益激烈的背景下，越来越多的求职者将目光投向了日本及中日双语岗位。但是，一场日语面试往往让许多人感到步履维艰。你是否也曾因为面试官抛出的“刁钻问题”而心生畏惧？面对生疏的日语交流环境，即便提前恶补了…...
阿里云ACP云计算备考笔记 (5)——弹性伸缩
目录 第一章 概述 第二章 弹性伸缩简介 1、弹性伸缩 2、垂直伸缩 3、优势 4、应用场景 ① 无规律的业务量波动 ② 有规律的业务量波动 ③ 无明显业务量波动 ④ 混合型业务 ⑤ 消息通知 ⑥ 生命周期挂钩 ⑦ 自定义方式 ⑧ 滚的升级 5、使用限制 第三章 主要定义 …...
Java如何权衡是使用无序的数组还是有序的数组
在 Java 中，选择有序数组还是无序数组取决于具体场景的性能需求与操作特点。以下是关键权衡因素及决策指南： ⚖️ 核心权衡维度 维度有序数组无序数组查询性能二分查找 O(log n) ✅线性扫描 O(n) ❌插入/删除需移位维护顺序 O(n) ❌直接操作尾部 O(1) ✅内存开销与无序数组相…...
.Net Framework 4/C# 关键字（非常用，持续更新...）
一、is 关键字 is 关键字用于检查对象是否于给定类型兼容，如果兼容将返回 true，如果不兼容则返回 false，在进行类型转换前，可以先使用 is 关键字判断对象是否与指定类型兼容，如果兼容才进行转换，这样的转换是安全的。 例如有：首先创建一个字符串对象，然后将字符串对象隐…...
Web 架构之 CDN 加速原理与落地实践
文章目录 一、思维导图二、正文内容（一）CDN 基础概念1. 定义2. 组成部分 （二）CDN 加速原理1. 请求路由2. 内容缓存3. 内容更新 （三）CDN 落地实践1. 选择 CDN 服务商2. 配置 CDN3. 集成到 Web 架构 …...
【C++进阶篇】智能指针
C内存管理终极指南：智能指针从入门到源码剖析 一. 智能指针1.1 auto_ptr1.2 unique_ptr1.3 shared_ptr1.4 make_shared 二. 原理三. shared_ptr循环引用问题三. 线程安全问题四. 内存泄漏4.1 什么是内存泄漏4.2 危害4.3 避免内存泄漏 五. 最后 一. 智能指针 智能指…...
Qemu arm操作系统开发环境
使用qemu虚拟arm硬件比较合适。 步骤如下： 安装qemu apt install qemu-system安装aarch64-none-elf-gcc 需要手动下载，下载地址：https://developer.arm.com/-/media/Files/downloads/gnu/13.2.rel1/binrel/arm-gnu-toolchain-13.2.rel1-x…...
小智AI+MCP
什么是小智AI和MCP 如果还不清楚的先看往期文章 手搓小智AI聊天机器人 MCP 深度解析：AI 的USB接口 如何使用小智MCP 1.刷支持mcp的小智固件 2.下载官方MCP的示例代码 Github：https://github.com/78/mcp-calculator 安这个步骤执行 其中MCP_ENDPOI…...
嵌入式面试常问问题
以下内容面向嵌入式/系统方向的初学者与面试备考者，全面梳理了以下几大板块，并在每个板块末尾列出常见的面试问答思路，帮助你既能夯实基础，又能应对面试挑战。 一、TCP/IP 协议 1.1 TCP/IP 五层模型概述 链路层（Link Layer） 包括网卡驱动、以太网、Wi‑Fi、PPP 等。负责…...
PostgreSQL 与 SQL 基础：为 Fast API 打下数据基础
在构建任何动态、数据驱动的Web API时，一个稳定高效的数据存储方案是不可或缺的。对于使用Python FastAPI的开发者来说，深入理解关系型数据库的工作原理、掌握SQL这门与数据库“对话”的语言，以及学会如何在Python中操作数据库，是…...