当前位置： 首页 > news >正文

机器学习笔记 - LoRA：大型语言模型的低秩适应

news 2026/4/1 11:48:15

一、简述

1、模型微调

        随着大型语言模型 (LLM) 的规模增加到数千亿，对这些模型进行微调成为一项挑战。传统上，要微调模型，我们需要更新所有模型参数。这也称为完全微调 (FFT) 。下图详细概述了此方法的工作原理。

        完全微调FFT 的计算成本和资源需求很大，因为更新每个参数都需要大量的处理和内存。其次，使用像 FFT 这样的方法，存在灾难性遗忘的风险，即模型在过度学习新数据时会忘记以前学到的信息。

        于是为应对这一情况，出现了一系列称为参数高效微调 (PEFT)的方法。PEFT 仅需修改一小部分参数（在某些任务中甚至为 1%）即可达到与 FFT 相近的准确度。使用 PEFT，微调将需要更少的计算和时间，并降低过度拟合的风险。

2、LoRA

        一种流行的 PEFT 方法就是LoRA，大型语言模型的低秩自适应 ( LoRA ) 由微软开发，通过学习秩分解矩阵对并冻结原始权重来减少可训练参数的数量。

        该方法基于一个假设：权重变化矩阵 ΔW 可以在较低维度中表示。换句话说，ΔW 的秩很低。这被称为内在秩假设。

        Lora 尝试微调模型的“残差”&#

相关文章：

机器学习笔记 - LoRA：大型语言模型的低秩适应

一、简述 1、模型微调 随着大型语言模型 (LLM) 的规模增加到数千亿，对这些模型进行微调成为一项挑战。传统上，要微调模型，我们需要更新所有模型参数。这也称为完全微调 (FFT) 。下图详细概述了此方法的工作原理。 完全微调FFT 的计算成本和资源需求很大，因为更新每…...

编程日记 2024/6/14 20:49:29

基于python实现视频和音频长度对齐合成并添加字幕

在许多视频编辑任务中，我们常常需要将视频和音频进行对齐，并添加字幕。本文将详细介绍如何使用Python实现这一功能，并在视频中添加中文字幕。我们将使用OpenCV处理视频帧，使用MoviePy处理音频和视频的合成，使用PIL库绘…...

编程日记 2024/6/14 20:48:28

爬虫-模拟登陆博客

import requests from bs4 import BeautifulSoupheaders {user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36 } # 登录参数 login_data {log: codetime,pwd: shanbay520,wp-submit: …...

编程日记 2024/6/14 20:45:24

【深度学习】【NLP】Bert理论，代码

论文 ： https://arxiv.org/abs/1810.04805 文章目录 一、Bert理论BERT 模型公式1. 输入表示 (Input Representation)2. 自注意力机制 (Self-Attention Mechanism)3. Transformer 层 (Transformer Layer) 二、便于理解Bert的代码1. 自注意力机制2. Transformer 层3. …...

编程日记 2024/6/14 20:44:23

element table 点击某一行中按钮加载

在Element UI中，实现表格（element-table）中的这种功能通常涉及到数据处理和状态管理。当你点击某一行的按钮时，其他行的按钮需要动态地切换为加载状态，这可以通过以下步骤实现： 1.表格组件：使用…...

编程日记 2024/6/14 20:43:21

Linux开机自启/etc/init.d和/etc/rc.d/rc.local

文章目录 /etc/init.d和/etc/rc.d/rc.local的区别/etc/init.dsystemd介绍 /etc/init.d和/etc/rc.d/rc.local的区别 目的不同： /etc/rc.d/rc.local：用于在系统启动后执行用户自定义命令，适合简单的启动任务。 /etc/init.d：用于管理…...

编程日记 2024/6/14 20:41:19

DP：两个数组的dp问题

解决两个数组的dp问题的常用状态表示： 1、选取第一个字符串[0-i]区间以及第二个字符串[0,j]区间作为研究对象 2、根据题目的要求确定状态表示 字符串dp的常见技巧 1、空串是有研究意义的，引入空串可以帮助我们思考虚拟的边界如何进行初始化。 2、如…...

编程日记 2024/6/14 20:40:18

嵌入式Linux：格式化I/O

目录 1、格式化输出函数 1.1、printf()函数 1.2、fprintf()函数 1.3、dprintf()函数 1.4、sprintf()函数 1.5、snprintf()函数 2、格式化输入函数 2.1、scanf()函数 2.2、fscanf()函数 2.3、sscanf()函数 在Linux中，格式化I/O（formatted I/O&a…...

编程日记 2024/6/14 20:37:16

【elementui源码解析】如何实现自动渲染md文档-第二篇

目录 1.概要 2.引用文件 1）components.json 2）json-template/string 3）os.EOL 3.变量定义 4.模版填充 5.MAIN_TEMPLATE填充 6.src下的index.js文件 1）install 2）export 7.总结 1.概要 今天看第二个命令no…...

编程日记 2024/6/14 20:35:14

热门开源项目OpenHarmony

目录 1.概述 1.1.开源项目的意义 1.2.开源项目对软件行业的促进作用 1.3.小结 2.OpenHarmony 2.1.技术架构 2.2.分布式软总线 2.2.1.架构 2.2.2.代码介绍 2.2.2.1.代码目录 2.2.2.2.说明 2.2.2.3.发现组网和传输 2.2.2.3.1.发现 2.2.2.3.2.组网 2.2.2.3.3.传输…...

编程日记 2024/6/14 20:33:12

NewspaceAi之GPT使用新体验

GPT功能 使用地址：https://newspace.ai0.cn/ 上车 挂挡 踩油门，一脚到底，开始你的表演 问题1：你能做什么详细告诉我？ 下面内容是GPT的回答 当然！作为一个基于GPT-4架构的AI，我能够在许多方面为…...

编程日记 2024/6/14 20:32:11

详解红黑树

红黑树规则 节点是红色或黑色。根节点是黑色。每个叶子节点都是黑色的空节点（NIL节点）。每个红色节点的两个子节点都是黑色。(从每个叶子到根的所有路径上不能有两个连续的红色节点)从任一节点到其每个叶子的所有路径都包含相同数目的黑色节点。 红黑树…...

编程日记 2024/6/14 20:31:10

探索JavaScript逆向工程与风控等级

探索JavaScript逆向工程与风控等级 在当今的网络安全领域，JavaScript逆向工程（简称JS逆向）已成为许多开发者和安全专家关注的焦点。JS逆向主要涉及对JavaScript代码的分析与理解，以发现其内部逻辑、数据流及潜在漏洞。这种技术常用…...

编程日记 2024/6/14 20:30:09

C++ 22 之 立方体案例

c22立方体案例.cpp #include <iostream> #include <string>using namespace std;class Cube{ private:int cube_l; // 长int cube_w; // 宽int cube_h; // 高public:// 设置长void set_l(int l){cube_l 1;}// 设置宽void set_w(int w){cube_w w;}// 设置高void …...

编程日记 2024/6/14 20:29:08

vue2使用antv/g6-editor实现可拖拽流程图

依赖下载 照着这个引入就好&#xff0c;然后npm install 源码 <template><div id"vue-g6-editor"><el-row><el-col :span"24"></el-col></el-row><!-- 工具栏 --><el-row><el-col :span"24&qu…...

编程日记 2024/6/14 20:28:07

springboot学习小结

背景 业务上需要开发&#xff0c;组里一位前辈给我指路 spring基础 什么是spring spring提供一个容器称为spring应用上下文&#xff0c;容器里可以创建和管理组件&#xff0c;组件会在容器里装配好&#xff0c;组件也可以叫bean。 装配不由组件创建他依赖的组件&#xff0…...

编程日记 2024/6/14 20:27:05

vue聊天发送Emoji表情

在用web端写聊天发送表情的功能中&#xff0c;使用web端有系统自带的unicode表情会出现每端不统一的情况&#xff0c;不好用不能统一&#xff0c;在这里我想到了一个非常好的思路&#xff0c;可以解决这个问题&#xff01; 那就是发送表情用图片的形式呈现&#xff0c;然后发给…...

编程日记 2024/6/14 20:23:02

360数字安全：2024年4月勒索软件流行态势分析报告

勒索软件传播至今&#xff0c;360 反勒索服务已累计接收到数万勒索软件感染求助。随着新型勒索软件的快速蔓延&#xff0c;企业数据泄露风险不断上升&#xff0c;勒索金额在数百万到近亿美元的勒索案件不断出现。勒索软件给企业和个人带来的影响范围越来越广&#xff0c;危害性…...

编程日记 2024/6/14 20:17:58

【MySQL】日志详解

本文使用的MySQL版本是8 日志概览 它们记录了数据库系统中的不同操作和事件&#xff0c;以便于故障排除、性能优化和数据恢复。本文将介绍MySQL中常见的几种日志&#xff0c;同时也会介绍一点常用的选项。 官方文档&#xff1a;MySQL :: MySQL 8.0 Reference Manual :: 7.4 M…...

编程日记 2024/6/14 20:16:57

MyBatis 延迟加载，一级缓存，二级缓存设置

MyBatis不仅提供了一级缓存和二级缓存机制&#xff0c;还支持延迟加载&#xff08;Lazy Loading&#xff09;&#xff0c;以进一步优化性能。 1. 延迟加载&#xff08;Lazy Loading&#xff09; 延迟加载是在需要时才加载数据&#xff0c;而不是在查询时立即加载所有相关数据。…...

编程日记 2024/6/14 20:11:52

03 MongoDB文档的各种增加、更新、删除操作总结

更多内容请见： 《深入掌握MongoDB数据库》 - 专栏介绍和目录 一. 插入文档 注意: 在 MongoDB 中，直接插入内容会自动创建集合! 1.1 使用insert()方法 语法格式: db.COLLECTION_NAME.insert(document) 说明: 若插入的数据主键已经存在，则会抛 org.springframework.dao.Du…...

编程新知 2026/4/1 11:41:43

AI图像增强：让模糊照片重获新生的实用工具

AI图像增强&#xff1a;让模糊照片重获新生的实用工具 【免费下载链接】Real-ESRGAN-GUI Lovely Real-ESRGAN / Real-CUGAN GUI Wrapper 项目地址: https://gitcode.com/gh_mirrors/re/Real-ESRGAN-GUI 在数字时代&#xff0c;我们每个人的手机相册里都藏着珍贵的回忆—…...

编程新知 2026/4/1 11:07:28

运动生物力学数据分析全流程dz： 运动学分析：Qualysis_Vicon动作捕捉数据处理（关节角度、角速度、重心轨迹等） 动力学分析：AMTI_Kistler测力台数据处理、逆动力学计算（关节力、力

运动生物力学数据分析全流程dz&#xff1a; 运动学分析&#xff1a;Qualysis/Vicon动作捕捉数据处理&#xff08;关节角度、角速度、重心轨迹等&#xff09; 动力学分析&#xff1a;AMTI/Kistler测力台数据处理、逆动力学计算&#xff08;关节力、力矩、功率&#xff09; 肌电信…...

编程新知 2026/4/1 10:37:08

从零开始：roLabelImg安装与OBB旋转框标注实战指南

1. 为什么需要roLabelImg和旋转框标注 在计算机视觉项目中&#xff0c;我们经常需要标注图像中的目标物体。对于常规的矩形框标注&#xff0c;LabelImg这类工具已经足够好用。但遇到倾斜物体时&#xff0c;比如遥感图像中的飞机、自然场景中的交通标志、医学图像中的器官&#…...

编程新知 2026/4/1 10:18:44

FPGA实战：手把手教你用Verilog给NAND Flash数据上把“安全锁”（附完整ECC代码）

FPGA实战&#xff1a;用Verilog为NAND Flash打造硬件级ECC防护系统 1. 为什么你的NAND Flash需要硬件ECC&#xff1f; NAND Flash存储芯片在工业控制、物联网终端和边缘计算设备中扮演着关键角色&#xff0c;但它的物理特性导致数据可靠性存在先天缺陷。想象一下&#xff0c;当…...

编程新知 2026/4/1 7:10:46

饭局下半场，别人忙着解酒，我从开局就赢在酒杯里

1. 饭局如战场&#xff0c;后半场才是真正的考验任何一场饭局&#xff0c;都可以被分成两个阶段。前半场&#xff0c;推杯换盏&#xff0c;人人意气风发。酒过三巡&#xff0c;大家还在比拼谁喝得多、谁喝得猛&#xff0c;气氛热烈而体面。但到了后半场&#xff0c;画风开始分裂…...

编程新知 2026/4/1 6:19:32

Zephyr与MCUBoot的深度整合：从构建到安全启动的完整指南

1. 为什么需要安全启动&#xff1f; 在嵌入式开发中&#xff0c;设备固件的安全性往往是最容易被忽视的一环。想象一下&#xff0c;如果你的智能门锁固件被恶意篡改&#xff0c;或者医疗设备的程序被非法替换&#xff0c;后果会有多严重&#xff1f;这就是为什么我们需要MCUBoo…...

编程新知 2026/4/1 5:26:59

中国信通院启动公文写作智能体评估，推动技术落地与规范发展

【导语&#xff1a;中国信通院在前期《智能体技术要求与评估方法》研制基础上&#xff0c;开展公文写作智能体技术规范编制&#xff0c;并联合多家单位共同参与。现正式启动首批评估工作&#xff0c;成果计划于2026年6月发布&#xff0c;将推动该技术落地与规范发展。】联合编制…...

编程新知 2026/4/1 5:10:53

手把手教你学＜基于 Linux 的 NPU 协处理器固件开发＞专栏第1章 入门：

1.2 典型 AI 芯片架构：主核 Linux + NPU 协处理器 在上一节我们明确了NPU是依附于Linux主核的专用AI协处理器，属于主从配合的工作模式，这一节我们就深入拆解端侧AI芯片最主流的“Linux主核+NPU协处理器”异构架构。结合大家日常接触的代码仓库管理、编译脚本执行、固件烧录…...

编程新知 2026/4/1 4:07:44

Python 3.14 JIT编译延迟高达83ms？这不是Bug，是设计——揭秘AST→LLVM IR→Native Code三级缓存失效链

第一章&#xff1a;Python 3.14 JIT编译器性能调优架构设计图Python 3.14 引入的实验性 JIT 编译器&#xff08;代号 “Triton”&#xff09;采用分层编译策略&#xff0c;将热点函数动态划分为解释执行、字节码优化、LLVM IR 生成与本地机器码缓存四个协同层级。其核心设计目标…...

编程新知 2026/4/1 3:18:56