【LLM】大语言模型高效微调方案Lora||直击底层逻辑
大白话:
DL的本质就是矩阵的乘法，就能实现LLM,
假设两个矩阵都很大，一个mxn,一个nxd的矩阵，m,n,d这几个数字可能几千甚至上万的场景，计算起来代价很大，如果我们可以small 这些数字，缩小到10甚至5这样的scenario，cost就非常的小。
训练的时候只训练 右边橙色的AB矩阵
那么基于什么理论，我们可以这么搞呢？
目前看到讲解最好的博客，难怪点赞数也很高，细节都在里面，比如为什么要low-rank,理论基础是什么，并且还有发散，数学上的内容也比较友好。
【OpenLLM 006】LoRA:大模型的低秩适配-最近大火的lora到底是什么东西？为啥stable diffusion和开源ChatGPT复现都在用？ - 知乎 (zhihu.com)
Reference
深入浅出剖析 LoRA 技术原理_lora csdn-CSDN博客
【OpenLLM 006】LoRA:大模型的低秩适配-最近大火的lora到底是什么东西？为啥stable diffusion和开源ChatGPT复现都在用？ - 知乎 (zhihu.com)
PaperReading-“Intrinsic Dimension” - 知乎 (zhihu.com) //中科大少年班的孩子写的，挺不错的
相关文章：
【LLM】大语言模型高效微调方案Lora||直击底层逻辑
大白话: DL的本质就是矩阵的乘法，就能实现LLM, 假设两个矩阵都很大，一个mxn,一个nxd的矩阵，m,n,d这几个数字可能几千甚至上万的场景，计算起来代价很大，如果我们可以small 这些数字，缩小到10甚至5这样的s…...
Qt for Android代码中输出日志
#include <QtDebug>qInfo() << "hello"; 如上，加入头文件（注意：这里的头文件是QtDebug，不是QDebug，也不知道啥时候改的，也不知道有啥区别，先这样吧）后使用qI…...
力扣刷题-二叉树-二叉树的递归遍历
本文讲解二叉树的前序遍历、后序遍历、中序遍历。 思路 每次写递归，都按照这三要素来写，可以保证大家写出正确的递归算法！ 确定递归函数的参数和返回值： 确定哪些参数是递归的过程中需要处理的，那么就在递归函数里加…...
VX-3R APRS发射试验
VX-3R本身是不带APRS功能的，不过可能通过外加TNC实现APRS功能。 有大佬已经用Arduino实现了相应的发射功能： https://github.com/handiko/Arduino-APRS 我要做的，就是简单修改一下代码，做一个转接板。 YEASU官方没有给出VX-3R的音…...
JAVA毕业设计109—基于Java+Springboot+Vue的宿舍管理系统(源码+数据库)
基于JavaSpringbootVue的宿舍管理系统(源码数据库)109 一、系统介绍 本系统前后端分离 本系统分为学生、宿管、超级管理员三种角色 1、用户： 登录、我的宿舍、申请调宿、报修申请、水电费管理、卫生检查、个人信息修改。 2、宿管： 登录、用户管理…...
CMU/MIT/清华/Umass提出生成式机器人智能体RoboGen
文章目录 导读1. Introduction2. 论文地址3. 项目主页4. 开源地址5. RoboGen Pipeline6. Experimental Results作者介绍Reference 导读 CMU/MIT/清华/Umass提出的全球首个生成式机器人智能体RoboGen，可以无限生成数据，让机器人7*24小时永不停歇地训练。…...
STM32:AHT20温湿度传感器驱动程序开发
注：温湿度传感器AHT20数据手册.pdf http://www.aosong.com/userfiles/files/AHT20%E4%BA%A7%E5%93%81%E8%A7%84%E6%A0%BC%E4%B9%A6(%E4%B8%AD%E6%96%87%E7%89%88)%20B1.pdf 一、分析AHT数据手册文档 (1).准备工作 1.新建工程。配置UART2 2.配置I2C1为I2C标准模式&…...
【Linux】第七站：vim的使用以及配置
文章目录 一、vim1.vim的介绍2.vim基本使用3.vim的命令模式常用命令4.底行模式 二、vim的配置 一、vim 1.vim的介绍 vim编辑器，用来文本编写，可以写代码 它是一个多模式的编辑器 它有很多的模，不过我们暂时先只考虑这三种模式 命令模式插入模…...
汇编-算术运算符
下面给出了一些有效表达式和它们的值：...
线性代数 第六章 二次型
一、矩阵表示 称为二次型的秩。只含有变量的平方项，所有混合项系数全是零，称为标准形；平方项的系数为1、-1或0，称为规范形。 二次型的标准形不唯一，可以用不用的坐标变换化二次型为标准形；二次型的规范形唯…...
leetCode 213. 打家劫舍 II + 动态规划 + 从记忆化搜索到递推 + 空间优化
关于此题我的往期文章,动规五部曲详解篇： leetCode 213. 打家劫舍 II 动态规划 房间连成环怎么偷呢？_呵呵哒(￣▽￣)"的博客-CSDN博客https://heheda.blog.csdn.net/article/details/133409962213. 打家劫舍 II - 力扣&#x…...
网络编程套接字（二）
目录 简单的TCP网络程序服务端创建套接字服务端绑定服务端监听服务端获取连接服务端处理请求单执行流服务器的弊端 多进程版TCP网络程序捕捉SIGCHLD信号让孙子进程提供服务多线程版的TCP网络程序客户端创建套接字客户端链接服务器客户端发起请求 线程池版的TCP网络程序 简单的T…...
[极客大挑战 2019]Knife 1（两种解法）
题目环境： 这道题主要考察中国菜刀和中国蚁剑的使用方法 以及对PHP一句话木马的理解 咱们先了解一下PHP一句话木马，好吗？ **eval($_POST["Syc"]);** **eval是PHP代码执行函数，**把字符串按照 PHP 代码来执行。 $_POST P…...
国家统计局教育部各级各类学历教育学生情况数据爬取
教育部数据爬取 1、数据来源2、爬取目标3、网页分析4、爬取与解析5、如何使用Excel打开CSV1、数据来源 国家统计局：http://www.stats.gov.cn/sj/ 教育部：http://www.moe.gov.cn/jyb_sjzl/ 数据来源：国家统计局教育部文献教育统计数据2021年全国基本情况（各级各类学历教育学…...
mysql、clickhouse时间日期加法
mysql 在’2023-10-27 23:59:59’上增加5秒： SELECT DATE_ADD(2023-10-27 23:59:59, INTERVAL 5 second);clickhouse SELECT date_add(SECOND, 3, toDate(2018-01-01 00:00:00));clickhouse时间按秒、分、时、日、月、年作差 按秒： SELECT dateDiff…...
21.合并两个有序链表
#include <iostream>struct ListNode {int val;ListNode* next;ListNode(int x) : val(x), next(nullptr) {} };class Solution { public:ListNode* mergeTwoLists(ListNode* l1, ListNode* l2) {ListNode dummy ListNode(-1); // 创建一个虚拟节点作为头节点ListNode* …...
thinkphp漏洞复现
thinkphp漏洞复现 ThinkPHP 2.x 任意代码执行漏洞Thinkphp5 5.0.22/5.1.29 远程代码执行ThinkPHP5 5.0.23 远程代码执行ThinkPHP5 SQL Injection Vulnerability && Sensitive Information Disclosure VulnerabilityThinkPHP Lang Local File Inclusion ThinkPHP 2.x 任…...
暴力递归转动态规划（十三）
题目 给定3个参数，N，M，K 怪兽有N滴血，等着英雄来砍自己 英雄每一次打击，都会让怪兽流失[0~M]的血量 到底流失多少？每一次在[0~M]上等概率的获得一个值 求K次打击之后，英雄把怪兽砍死的概率。 暴…...
java EE 进阶
java EE 主要是学框架(框架的使用,框架的原理) 框架可以说是实现了部分功能的半成品,还没装修的毛坯房,然后我们再自己打造成自己喜欢的成品 这里学习四个框架 : Spring ,Spring Boot, Spring MVC, Mybatis JavaEE 一定要多练习,才能学好 Maven 目前我们主要用的两个功能: …...
记录paddlepaddle-gpu安装
背景 由于最近需要使用paddleocr，因此需要安装依赖paddlepaddle-gpu，不管怎么安装cuda11.6-11.8安装了一遍，都无法正常安装成功。如下所示： 环境：wsl2linux18.04 >>> import paddle >>> paddle.u…...
浅谈 React Hooks
React Hooks 是 React 16.8 引入的一组 API，用于在函数组件中使用 state 和其他 React 特性（例如生命周期方法、context 等）。Hooks 通过简洁的函数接口，解决了状态与 UI 的高度解耦，通过函数式编程范式实现更灵活 Rea…...
TDengine 快速体验（Docker 镜像方式）
简介 TDengine 可以通过安装包、Docker 镜像 及云服务快速体验 TDengine 的功能，本节首先介绍如何通过 Docker 快速体验 TDengine，然后介绍如何在 Docker 环境下体验 TDengine 的写入和查询功能。如果你不熟悉 Docker，请使用 安装包的方式快…...
React Native 导航系统实战（React Navigation）
导航系统实战（React Navigation） React Navigation 是 React Native 应用中最常用的导航库之一，它提供了多种导航模式，如堆栈导航（Stack Navigator）、标签导航（Tab Navigator）和抽屉…...
前端倒计时误差!
提示：记录工作中遇到的需求及解决办法 文章目录 前言一、误差从何而来？二、五大解决方案1. 动态校准法（基础版）2. Web Worker 计时3. 服务器时间同步4. Performance API 高精度计时5. 页面可见性API优化三、生产环境最佳实践四、终极解决方案架构前言 前几天听说公司某个项…...
3.3.1_1 检错编码（奇偶校验码）
从这节课开始，我们会探讨数据链路层的差错控制功能，差错控制功能的主要目标是要发现并且解决一个帧内部的位错误，我们需要使用特殊的编码技术去发现帧内部的位错误，当我们发现位错误之后，通常来说有两种解决方案。第一…...
多场景 OkHttpClient 管理器 - Android 网络通信解决方案
下面是一个完整的 Android 实现，展示如何创建和管理多个 OkHttpClient 实例，分别用于长连接、普通 HTTP 请求和文件下载场景。 <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://schemas…...
STM32+rt-thread判断是否联网
一、根据NETDEV_FLAG_INTERNET_UP位判断 static bool is_conncected(void) {struct netdev *dev RT_NULL;dev netdev_get_first_by_flags(NETDEV_FLAG_INTERNET_UP);if (dev RT_NULL){printf("wait netdev internet up...");return false;}else{printf("loc…...
SpringCloudGateway 自定义局部过滤器
场景： 将所有请求转化为同一路径请求（方便穿网配置）在请求头内标识原来路径，然后在将请求分发给不同服务 AllToOneGatewayFilterFactory import lombok.Getter; import lombok.Setter; import lombok.extern.slf4j.Slf4j; impor…...
JVM虚拟机：内存结构、垃圾回收、性能优化
1、JVM虚拟机的简介 Java 虚拟机（Java Virtual Machine 简称：JVM）是运行所有 Java 程序的抽象计算机，是 Java 语言的运行环境，实现了 Java 程序的跨平台特性。JVM 屏蔽了与具体操作系统平台相关的信息，使得 Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以…...
无人机侦测与反制技术的进展与应用
国家电网无人机侦测与反制技术的进展与应用 引言 随着无人机（无人驾驶飞行器，UAV）技术的快速发展，其在商业、娱乐和军事领域的广泛应用带来了新的安全挑战。特别是对于关键基础设施如电力系统，无人机的“黑飞”&…...