当前位置： 首页 > news >正文

LLama学习记录

news 2025/10/29 7:54:57

学习前：

五大问题：

  1. 为什么SwiGLU激活函数能够提升模型性能？
  2. RoPE位置编码是什么？怎么用的？还有哪些位置编码方式？
  3. GQA（Grouped-Query Attention, GQA）分组查询注意力机制是什么？
  4. Pre-normalization前置了层归一化，使用RMSNorm 作为层归一化方法，这是什么意思？还有哪些归一化方法？LayerNorm？
  5. 将self-attention改进为使用KV-Cache的Grouped Query，怎么实现的？原理是什么？

Embedding

Embedding的过程：word -> token_id -> embedding_vector，其中第一步转化使用tokenizer的词表进行，第二步转化使用 learnable 的 Embedding layer。

这里的第二步，不是很明白怎么实现的，需要再细化验证

RMS Norm

对比Batch Norm 和 Layer Norm：都是减去均值Mean，除以方差Var（还加有一个极小值），最终将归一化为正态分布N(0,1)。只不过两者是在不同的维度(batch还是feature)求均值和方差，（其中，减均值：re-centering 将均值mean变换为0，除方差：re-scaling将方差varance变换为1）。

参考知乎的norm几则

RoPE(Rotary Positional Encodding)

绝对Positional Encodding的使用过程：word -> token_id -> embedding_vector + position_encodding -> Encoder_Input，其中第一步转化使用tokenizer的词表进行，第二步转化使用 learnable 的 Embedding layer。将得到的embedding_vector 和 position_encodding 进行element-wise的相加，然后才做为input送入LLM的encoder。

理解LLM位置编码:RoPE

相关文章：

LLama学习记录

学习前： 五大问题： 为什么SwiGLU激活函数能够提升模型性能？RoPE位置编码是什么？怎么用的？还有哪些位置编码方式？GQA（Grouped-Query Attention, GQA）分组查询注意力机制是什么&…...

编程日记 2024/5/29 9:09:19

如何克隆非默认分支

直接git clone下来的我们知道是默认分支，那如何克隆其他分支呢： 比如这个，我们想克隆AdvNet。 我们可以在本地文件夹打开Git Bash 依次输入： git clone --branch AdvNet https://github.com/wgcban/SemiCD.git cd SemiCD git b…...

编程日记 2024/5/29 9:08:17

数据结构——图

一 图论基本概念 Directed Acyclic Graph （DAG） 二 图的存储 ①邻接矩阵(适用于稠密图) ②邻接表(适用于稀疏图) 三、图的遍历 ①深度优先搜索 //(基于邻接表实现，以有向图为例) //DFS:Depth First Search 深度优先搜索 //1、访问起始顶点 …...

编程日记 2024/5/29 9:07:16

蓝桥杯—SysTick中断精准定时实现闪烁灯

在嵌入式系统中，SysTick_Handler 是一个中断服务例程（Interrupt Service Routine, ISR），用于处理 SysTick 定时器的中断。SysTick 定时器通常用于提供一个周期性的定时中断，可以用来实现延时或者周期性任务。 SysTick…...

编程日记 2024/5/29 9:06:15

ML307R OpenCPU UDP使用

一、UDP通信流程 二、示例 三、UDP通信代码 一、UDP通信流程 ML307R UDP 是使用LWIP的标准的通信，具体UDP流程可以自行百度 二、示例 实验目的：实现把接收的数据再发送到服务端 测试网址：UDP电脑端测试网址 因为是4G,所以必须用外网的 /* 测试前请先补充如下参数 */…...

编程日记 2024/5/29 9:05:13

pod详解

目录 pod pod基本介绍 k8s集群中pod两种使用方式 pause容器使得Pod中所有容器共享两种资源：网络和存储 kubernetes中的pause容器主要为每个容器提供以下功能 k8s设计这样的pod概念和特殊组成结构有什么用意 pod分类 pod容器的分类 基础容器（infr…...

编程日记 2024/5/29 9:04:12

免费插件集-illustrator插件-Ai插件-文本对象分行

文章目录 1.介绍2.安装3.通过窗口>扩展>知了插件4.功能解释5.总结 1.介绍 本文介绍一款免费插件，加强illustrator使用人员工作效率，进行文本对象分行。首先从下载网址下载这款插件 https://download.csdn.net/download/m0_67316550/87890501&…...

编程日记 2024/5/29 9:03:10

web学习笔记（五十九）

目录 1.style样式 1.1作用域 scoped 1.2 less和 sass 1.3 less和 sass两者的区别 2. 计算属性computed 3. 响应式基础reactive() 4. 什么是MVVM? 1.style样式 1.1作用域 scoped scoped表示样式作用域，把内部的样式仅限于当前组件模板生效，其…...

编程日记 2024/5/29 9:02:09

UE5 UE4 快速定位节点位置

在材质面板中，找到之前写的一个节点，想要修改，但是当时写的比较多，想要快速定位到节点位置. 在面板下方的 Find Results面板中，输入所需节点，找结果后双击，就定位到该节点处。 同理，…...

编程日记 2024/5/29 9:01:08

go routing 之 gorilla/mux

1. 背景 继续学习 go 2. 关于 routing 的学习 上一篇 go 用的库是：net/http ，这次我们使用官方的库 github.com/gorilla/mux 来实现 routing。 3. demo示例 package mainimport ("fmt""net/http""github.com/gorilla/mux&…...

编程日记 2024/5/29 9:00:07

新火种AI|警钟长鸣！教唆自杀，威胁人类，破坏生态，AI的“反攻”值得深思...

作者：小岩 编辑：彩云 在昨天的文章中，我们提到了谷歌的AI Overview竟然教唆情绪低迷的网友“从金门大桥跳下去”。很多人觉得，这只是AI 模型的一次错误判断，不会有人真的会因此而照做。但现实就是比小说电影中的桥段…...

编程日记 2024/5/29 8:59:06

AAA实验配置

一、实验目的 掌握AAA本地认证的配置方法 掌握AAA本地授权的配置方法 掌握AAA维护的方法 1.搭建实验拓扑图 2.完成基础配置： 3.使用ping命令测试两台设备的连通性： 二、配置AAA 1.打开R1：配置AAA方案 这两个方框内的可以改名&#xff0c…...

编程日记 2024/5/29 8:58:04

Maven高级详解

文章目录 一、分模块开发与设计分模块开发的意义模块拆分原则 分模块开发(模块拆分)创建Maven模块书写模块代码通过maven指令安装模块到本地仓库(install指令) 二、依赖管理依赖传递可选依赖排除依赖可选依赖和排除依赖的区别 三、聚合与继承聚合工程聚合工程开发创建Maven模块…...

编程日记 2024/5/29 8:57:02

C++的算法：模拟算法

模拟算法是一种基于事物运动变化过程的模型，通过计算机程序来模拟实际系统行为或过程的方法。在C++中，模拟算法常用于解决复杂系统或过程的建模与仿真问题。本文将介绍模拟算法的实现思路及实际应用，并通过具体的实例来展示如何在C++中实现模拟算法。 一、模拟算法的实现思…...

编程日记 2024/5/29 8:56:01

Spring boot集成easy excel

Spring boot集成easy excel 一 查看官网 easyexcel官方网站地址为easyexcel官网，官网的信息比较齐全，可以查看官网使用easyexcel的功能。 二 引入依赖 使用easyexcel，首先要引入easyexcel的maven依赖，具体的版本根据你的需求去…...

编程日记 2024/5/29 8:55:00

【开发 | 环境配置】解决 VSCode 编写 eBPF 程序找不到头文件

问题描述： 在使用 vscode 编写 eBPF 程序时，如果不做一些头文件定位的操作，默认情况下头文件总是带有“红色下划线”，并且大部分的变量不会有提示与补全。 在编写代码文件较小时（或者功能需求小时）并不会…...

编程日记 2024/5/29 8:53:59

View-＞Bitmap缩放到自定义ViewGroup的任意区域

Bitmap缩放和平移 加载一张Bitmap可能为宽高相同的正方形，也可能为宽高不同的矩形缩放方向可以为中心缩放，左上角缩放，右上角缩放，左下角缩放，右下角缩放Bitmap中心缩放，包含了缩放和平移两个操作&#xf…...

编程日记 2024/5/29 8:52:57

十种常用数据分析方法

描述性统计分析（Descriptive Statistics） 使用场景：用来总结数据的基本特征，如平均值、中位数、标准差等。 优势：简单易懂，快速总结数据。 劣势：无法深入挖掘数据的潜在关系。 模拟数据及示例…...

编程日记 2024/5/29 8:51:57

拉格朗日插值及牛顿差商方法的实现（Matlab）

一、问题描述 拉格朗日插值及牛顿差商方法的实现。 二、实验目的 掌握拉格朗日插值和牛顿差商方法的原理，能够编写代码实现两种方法；能够分析多项式插值中的误差。 三、实验内容及要求 利用拉格朗日插值及牛顿差商方法估计1980 年的人口，并…...

编程日记 2024/5/29 8:50:55

【InternLM实战营第二期笔记】02：大模型全链路开源体系与趣味demo

文章目录 00 环境设置01 部署一个 chat 小模型作业一 02 Lagent 运行 InternLM2-chat-7B运行一个工具调用解方程 03 浦语灵笔2进阶作业 第二节课程视频与文档： https://www.bilibili.com/video/BV1AH4y1H78d/ https://github.com/InternLM/Tutorial/blob/camp2/hell…...

编程日记 2024/5/29 8:49:54

Lombok 的 @Data 注解失效，未生成 getter/setter 方法引发的HTTP 406 错误

HTTP 状态码 406 (Not Acceptable) 和 500 (Internal Server Error) 是两类完全不同的错误，它们的含义、原因和解决方法都有显著区别。以下是详细对比： 1. HTTP 406 (Not Acceptable) 含义： 客户端请求的内容类型与服务器支持的内容类型不匹…...

编程新知 2025/10/28 7:52:29

【JVM】- 内存结构

引言 JVM：Java Virtual Machine 定义：Java虚拟机，Java二进制字节码的运行环境好处： 一次编写，到处运行自动内存管理，垃圾回收的功能数组下标越界检查（会抛异常，不会覆盖到其他代码…...

编程新知 2025/10/28 21:57:50

dedecms 织梦自定义表单留言增加ajax验证码功能

增加ajax功能模块&#xff0c;用户不点击提交按钮&#xff0c;只要输入框失去焦点&#xff0c;就会提前提示验证码是否正确。 一&#xff0c;模板上增加验证码 <input name"vdcode"id"vdcode" placeholder"请输入验证码" type"text&quo…...

编程新知 2025/10/25 12:07:11

如何在看板中有效管理突发紧急任务

在看板中有效管理突发紧急任务需要&#xff1a;设立专门的紧急任务通道、重新调整任务优先级、保持适度的WIP&#xff08;Work-in-Progress&#xff09;弹性、优化任务处理流程、提高团队应对突发情况的敏捷性。其中&#xff0c;设立专门的紧急任务通道尤为重要&#xff0c;这能…...

编程新知 2025/10/23 23:21:34

微服务商城-商品微服务

数据表 CREATE TABLE product (id bigint(20) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 商品id,cateid smallint(6) UNSIGNED NOT NULL DEFAULT 0 COMMENT 类别Id,name varchar(100) NOT NULL DEFAULT COMMENT 商品名称,subtitle varchar(200) NOT NULL DEFAULT COMMENT 商…...

编程新知 2025/10/28 0:58:21

算法笔记2

1.字符串拼接最好用StringBuilder&#xff0c;不用String 2.创建List<>类型的数组并创建内存 List arr[] new ArrayList[26]; Arrays.setAll(arr, i -> new ArrayList<>()); 3.去掉首尾空格...

编程新知 2025/10/23 16:57:24

云原生玩法三问：构建自定义开发环境

云原生玩法三问&#xff1a;构建自定义开发环境 引言 临时运维一个古董项目&#xff0c;无文档&#xff0c;无环境&#xff0c;无交接人&#xff0c;俗称三无。 运行设备的环境老&#xff0c;本地环境版本高&#xff0c;ssh不过去。正好最近对 腾讯出品的云原生 cnb 感兴趣&…...

编程新知 2025/10/23 17:18:40

CVE-2020-17519源码分析与漏洞复现(Flink 任意文件读取)

漏洞概览 漏洞名称&#xff1a;Apache Flink REST API 任意文件读取漏洞CVE编号&#xff1a;CVE-2020-17519CVSS评分&#xff1a;7.5影响版本&#xff1a;Apache Flink 1.11.0、1.11.1、1.11.2修复版本&#xff1a;≥ 1.11.3 或 ≥ 1.12.0漏洞类型&#xff1a;路径遍历&#x…...

编程新知 2025/10/26 0:23:35

【 java 虚拟机知识 第一篇 】

目录 1.内存模型 1.1.JVM内存模型的介绍 1.2.堆和栈的区别 1.3.栈的存储细节 1.4.堆的部分 1.5.程序计数器的作用 1.6.方法区的内容 1.7.字符串池 1.8.引用类型 1.9.内存泄漏与内存溢出 1.10.会出现内存溢出的结构 1.内存模型 1.1.JVM内存模型的介绍 内存模型主要分…...

编程新知 2025/10/28 15:16:09

前端中slice和splic的区别

1. slice slice 用于从数组中提取一部分元素&#xff0c;返回一个新的数组。 特点&#xff1a; 不修改原数组&#xff1a;slice 不会改变原数组&#xff0c;而是返回一个新的数组。提取数组的部分&#xff1a;slice 会根据指定的开始索引和结束索引提取数组的一部分。不包含…...

编程新知 2025/9/18 9:49:21