当前位置： 首页 > article >正文

LLM最新的模型微调技术有哪些

article 2026/3/15 7:47:39

LLM 最新的模型微调技术有哪些

目录

    • LLM 最新的模型微调技术有哪些
      • 1. QLoRA（Quantized Low-Rank Adaptation）
      • 2. P-Tuning v2
      • 3. LoRA++（增强版 LoRA）
      • 4. AdaLoRA（Adaptive LoRA）
      • 5. BitFit（仅微调偏置）

1. QLoRA（Quantized Low-Rank Adaptation）

  • 原理：QLoRA 结合了低秩自适应（LoRA）和量化技术。在 LoRA 中，通过在模型的某些层插入低秩矩阵来微调模型，而 QLoRA 在此基础上，将预训练模型的权重进行 4 位量化，大大减少了内存占用。同时，它使用双量化（Double Quantization）进一步减少量化常数的存储需求。在训练过程中，只更新 LoRA 的低秩矩阵参数，而量化后的预训练模型权重保持不变。
  • 举例：在微调大语言模型如 LLaMA - 65B 时，传统的全量微调需要大量的显存，可能无法在单张 GPU 上完成。而使用 QLoRA 技术，将模型权重量化为 4 位，同时应用 LoRA 进行微调，显著降低了显存需求，使得在单张 A100 GPU 上就可以完成对 LLaMA - 65B 的微调。

2. P-Tuning v2

  • 原理</

相关文章：

LLM最新的模型微调技术有哪些

LLM 最新的模型微调技术有哪些 目录 LLM 最新的模型微调技术有哪些1. QLoRA（Quantized Low-Rank Adaptation）2. P-Tuning v23. LoRA++（增强版 LoRA）4. AdaLoRA（Adaptive LoRA）5. BitFit（仅微调偏置）1. QLoRA（Quantized Low-Rank Adaptation） 原理：QLoRA 结合了低秩自…...

编程日记 2026/2/15 16:40:48

Jmeter下载安装配置及使用

1、下载 官网地址&#xff1a;Apache JMeter - Download Apache JMeter 2、配置环境变量 ①找到环境变量&#xff0c;两种方法 法一&#xff1a;我的电脑→右键菜单→属性→高级系统设置→环境变量 法二&#xff1a;直接搜索环境变量 ②新建两个系统变量 1.变量名&#x…...

编程日记 2026/3/11 21:44:34

简单易懂Modbus Tcp和Rtu的异同点

关键说明 无需修改业务逻辑&#xff1a;同一套读写代码可同时支持TCP和RTU&#xff0c;仅需调整底层通信接口。 工具兼容性&#xff1a;调试工具&#xff08;如Modbus Poll&#xff09;可同时解析两种协议&#xff0c;仅需切换传输模式。 系统集成优势&#xff1a;混合网络下可…...

编程日记 2026/2/16 3:17:37

try catch的使用

try catch的使用 在 Java 中&#xff0c;try-catch 语句用于异常处理。异常处理可以帮助我们在程序出现错误时&#xff0c;不会导致程序崩溃&#xff0c;而是采取一定的措施来处理错误。try-catch 语句是用于捕获并处理异常的机制。 基本语法 try {// 可能会抛出异常的代码块…...

编程日记 2026/3/8 16:51:41

【从零开始学习计算机科学】编译原理（一）编译过程概述

【从零开始学习计算机科学】编译原理（一）编译过程概述 绪论编译过程概述词法分析语法分析代码优化代码生成其他功能编译器的前端和后端绪论 什么叫编译程序？为什么我们需要编译程序？编译程序就是一个程序，将便于人编写、阅读、维护的高级计算机语言所写作的源代码程序，翻…...

编程日记 2026/3/12 10:15:08

PCL 点云AABB包围盒（二）

文章目录 一、简介二、实现代码三、实现效果参考资料一、简介 包围盒是一种求解离散点集最优包围空间的算法，基本思想是用体积稍大且特性简单的几何体（称为包围盒）来近似地代替复杂的几何对象。（来源于百度）常用的求解包围盒的算法主要有AABB和OOB算法，其中AABB的算法思想…...

编程日记 2026/2/14 7:09:50

【算法day8】 Z 字形变换 -O(n）算法思路整理

Z 字形变换&#xff0c;算法思路整理 https://leetcode.cn/problems/zigzag-conversion/description/ 将一个给定字符串 s 根据给定的行数 numRows &#xff0c;以从上往下、从左到右进行 Z 字形排列。 比如输入字符串为 “PAYPALISHIRING” 行数为 3 时&#xff0c;排列如下…...

编程日记 2026/3/11 23:31:38

L3-1 夺宝大赛

输入样例 1&#xff1a; 5 7 1 1 1 1 1 0 1 1 1 1 1 1 0 0 1 1 0 2 1 1 1 1 1 0 0 1 1 1 1 1 1 1 1 1 1 7 1 5 7 1 1 1 5 5 3 1 3 5 1 4输出样例 1&#xff1a; 7 6样例 1 说明&#xff1a; 七支队伍到达大本营的时间顺次为&#xff1a;7、不可能、5、3、3、5、6&#xff0c…...

编程日记 2026/3/11 12:07:23

Matlab:矩阵运算篇——矩阵

目录 1.定义 实例——创建矩阵 实例——创建复数矩阵 2.矩阵的生成 实例——M文件矩阵 2.利用文本创建 实例——创建生活用品矩阵 3.创建特殊矩阵 实例——生成特殊矩阵 4.矩阵元素的运算 1.矩阵元素的修改 实例——新矩阵的生成 2.矩阵的变维 实例——矩阵维度修…...

编程日记 2026/3/12 1:13:11

泛微ecode的页面开发发送请求参数携带集合

1.在开发过程中我们难免遇见会存在需要将集合传递到后端的情况&#xff0c;那么这里就有一些如下的注意事项&#xff0c;如以下代码&#xff1a; // 新增action.boundasync addQuestion(formData) {var theList this.questionAnswerList;var questionAnswerListArray new Ar…...

编程日记 2026/3/11 19:15:47

【结构光相机的精度极限】

1. 光源波长&#xff08;(\lambda)&#xff09; 光源波长是决定结构光相机精度极限的核心因素之一。根据光学衍射极限理论&#xff0c;光的波长越短&#xff0c;能够分辨的细节越小&#xff0c;精度越高。 理论依据&#xff1a; 根据瑞利判据&#xff08;Rayleigh Criterion&…...

编程日记 2026/3/7 16:02:08

Javaweb后端全局异常处理器

类名随便定义 这是异常处理的方法exceptionhandler responsebody作用&#xff0c;方法的响应值返回给前端&#xff0c;如果返回的是集合对象&#xff0c;会把集合对象转为json&#xff0c;再给前端响应返回...

编程日记 2026/3/12 16:40:33

SpringBoot缓存抽象：@Cacheable与缓存管理器配置

文章目录 引言一、SpringBoot缓存抽象概述二、Cacheable注解详解2.1 Cacheable的关键属性 三、缓存管理器配置四、自定义键生成策略五、缓存同步与失效策略六、SpringBoot缓存最佳实践总结 引言 缓存是提升应用性能的关键技术&#xff0c;SpringBoot提供了强大的缓存抽象层&am…...

编程日记 2026/3/11 17:27:56

下载文件，文件名乱码问题

C# .net framework 4.8 mvc 项目&#xff0c;做一个文件下载功能。 原项目是前端使用razor引擎方式做页面渲染的。 该项目原来就有一个模块是可供文件下载的&#xff0c;且文件名是中文。 但是我现在新增的这个模块&#xff0c;领导要求用js写&#xff0c;觉得razor太笨重。 …...

编程日记 2026/3/9 14:05:53

深入理解Linux进程管理：从基础到高级操作指南

1. 进程的定义、组成和环境 什么是进程&#xff1f; 想象你的电脑是一个大工厂&#xff0c;进程就是工厂里正在运行的机器。每个机器&#xff08;进程&#xff09;都有自己的任务&#xff0c;比如一台机器负责打印文件&#xff0c;另一台负责播放音乐。 进程的组成&#xff1…...

编程日记 2026/2/15 12:48:26

DOM与CSS：网页设计的核心力量

DOM与CSS：网页设计的核心力量 引言 在网页设计中，DOM（文档对象模型）与CSS（层叠样式表）是两个不可或缺的组成部分。它们共同构成了现代网页的骨架与外衣。本文将深入探讨DOM与CSS的关系、作用以及如何有效地运用它们来提升网页设计质量。 DOM：网页内容的结构化表示 什…...

编程日记 2026/2/16 1:26:02

深入解析pnpm与npm：颠覆传统包管理的技术革命与应用实践

深入解析pnpm与npm&#xff1a;颠覆传统包管理的技术革命与应用实践 引言&#xff1a;被node_modules支配的恐惧 "你的node_modules有多大&#xff1f;"这个灵魂拷问总能引发开发者会心一笑。当项目规模达到500MB时&#xff0c;npm install需要喝三杯咖啡的时间&am…...

编程日记 2026/2/15 22:13:38

OpenSSL 的主要功能及其示例命令

OpenSSL 是一个功能强大的开源工具包&#xff0c;用于处理各种与加密相关的任务&#xff0c;包括生成密钥、创建证书、加密解密数据、验证证书等。以下是 OpenSSL 的主要功能及其示例命令。 1.生成密钥 1.1 生成 RSA 私钥 openssl genrsa -out private_key.pem 2048• 说明&a…...

编程日记 2026/3/5 20:27:39

江科大51单片机笔记【11】AT24C02（I2C总线）

一、存储器 1.介绍 RAM的特点是存储速度特别快&#xff0c;但是掉电会丢失&#xff1b;ROM的特点是存储速度特别慢&#xff0c;但是掉电不会丢失 SRAM是所有存储器最快的&#xff0c;一般用于电脑的CPU高速缓存&#xff0c;容量相对较少&#xff0c;成本较高&#xff1b;DRAM…...

编程日记 2026/3/12 18:16:52

html css 笔记

01_浏览器相关知识 五大主流浏览器&#xff1a; Chrome Safari IE Firefox Opera (拥有自己的内核) 四大内核: webkit Trident Gecko blink. 02_网页相关知识 构成 网址 网站 网页 网页标准&#xff1a; 结构 表现 行为 分别对应 HTML CSS JavaScript 03_HTML简介 H…...

编程日记 2026/2/16 8:09:53

【一句话经验】ubuntu vi/vim 模式自动设置为paste

从centos过来&#xff0c;发现ubutun有些地方不习惯&#xff0c;尤其是vi的粘贴&#xff0c;默认自动进去了代码模式&#xff0c;导致每次粘贴必须得set paste&#xff0c;否则会出现问题。 解决办法非常简单&#xff0c;按照下面命令执行即可&#xff1a; cd ~ echo "…...

编程日记 2026/3/5 19:04:39

外层元素旋转，其包括在内的子元素一并旋转（不改变旋转中心），单元测试

思路&#xff1a;外层旋转后坐标&#xff0c;元素旋转后坐标&#xff0c;计算偏移坐标 <template><div class"outbox"><label>角度: <input v-model.number"rotate" type"number" /></label><br><div c…...

编程日记 2026/3/1 9:15:09

Docker容器安装软件（完整版）

文章目录 一、安装Docker1.1 docker 相关的命令1.2 配置镜像加速 二. 安装es2.1 创建网络2.2 拉取镜像2.3 创建挂载点目录2.4 部署单点es&#xff0c;创建es容器2.5 编写elasticsearch.yml2.6 重启es容器2.7 测试Elasticsearch是否安装成功 三. 基于Docker安装Kibana3.1 拉取镜…...

编程日记 2026/3/11 23:31:04

「 机器人 」扑翼飞行器通过总气动力控制四自由度运动方法

一、前言 在扑翼飞行中，总气动力（Total Aerodynamic Force）是指扑翼在运动过程中受到的所有空气动力作用的合力。它是由以下两种主要力的合成结果： 1. 升力（Lift, ）：垂直于空气流方向的力，用于支持飞行器（或生物）的重量。 2. 阻力（Drag, ）：平行于空气流方向的力，…...

编程日记 2026/3/13 11:54:01

Axios简单说明，快速上手

Ajax&#xff1a;异步的JavaScript和XML 作用&#xff1a; 数据交换异步交互 Axios&#xff1a;就是对原生Ajax进行封装&#xff0c;简化书写&#xff0c;快速开发 使用逻辑&#xff1a; 首先要安装Axios&#xff0c;可以通过npm在项目中安装&#xff1a; 打开命令行工具…...

编程日记 2026/3/14 14:02:24

云服务器安装宝塔面板部署

单机部署(前端vue项目) 服务器安装宝塔面板 连接到服务器 使用 SSH 连接到你的服务器&#xff1a; ssh rootip安装宝塔面板 运行以下命令来安装宝塔面板&#xff1a; yum install -y wget wget -O install.sh http://download.bt.cn/install/install_6.0.sh sh install.sh安…...

编程日记 2026/3/13 11:45:07

Python 编程题 第九节：二分查找、移动0、旋转字符串、判断子序列

二分查找 双指针查找 无重复数字 lst[1,15,24,36,78,92,101] nint(input()) def binary_search(n,lst):left 0right len(lst) - 1while left<right:mid(leftright)//2if lst[mid]n:return midelif lst[mid]<n:leftmid1elif lst[mid]>n:rightmid-1return -1 print…...

编程日记 2026/3/3 15:49:11

docker-compose部署MongoDB分片集群

前言 MongoDB 使用 keyFile 进行 节点间身份验证，我们需要先创建一个 keyFile 并确保所有副本集的节点使用相同的 keyFile。 openssl rand -base64 756 > mongo-keyfile chmod 400 mongo-keyfiledocker-compose部署分片集群 无密码方式 # docker-compose-mongodb.yml s…...

编程日记 2026/2/26 12:29:26

通义万相 2.1：AIGC 领域的 “王炸” 组合如何颠覆创作生态？

引言 在数字化和人工智能的飞速发展中&#xff0c;AIGC&#xff08;AI生成内容&#xff09;技术已经成为推动创作、设计和内容生成领域创新的核心力量。而当通义万相2.1与蓝耘智算平台强强联手&#xff0c;这一“王炸”组合不仅提升了AIGC的效率&#xff0c;还为创作生态带来了…...

编程日记 2026/3/14 19:58:32

elementPlus之日历扩展功能

在这里做个记录&#xff0c;感觉用得还挺多的 功能有如下&#xff1a; 切换月份按钮对应日历视图和中间日期都要变选择日期日历视图要变点击日历视图中的不属于当前选中月份的日期即可触发日历视图变化以及中间日期也要变 代码如下&#xff1a; <template><div clas…...

编程日记 2026/3/13 23:03:59