当前位置： 首页 > news >正文

LLama学习记录

news 2026/2/9 12:33:48

学习前：

五大问题：

  1. 为什么SwiGLU激活函数能够提升模型性能？
  2. RoPE位置编码是什么？怎么用的？还有哪些位置编码方式？
  3. GQA（Grouped-Query Attention, GQA）分组查询注意力机制是什么？
  4. Pre-normalization前置了层归一化，使用RMSNorm 作为层归一化方法，这是什么意思？还有哪些归一化方法？LayerNorm？
  5. 将self-attention改进为使用KV-Cache的Grouped Query，怎么实现的？原理是什么？

Embedding

Embedding的过程：word -> token_id -> embedding_vector，其中第一步转化使用tokenizer的词表进行，第二步转化使用 learnable 的 Embedding layer。

这里的第二步，不是很明白怎么实现的，需要再细化验证

RMS Norm

对比Batch Norm 和 Layer Norm：都是减去均值Mean，除以方差Var（还加有一个极小值），最终将归一化为正态分布N(0,1)。只不过两者是在不同的维度(batch还是feature)求均值和方差，（其中，减均值：re-centering 将均值mean变换为0，除方差：re-scaling将方差varance变换为1）。

参考知乎的norm几则

RoPE(Rotary Positional Encodding)

绝对Positional Encodding的使用过程：word -> token_id -> embedding_vector + position_encodding -> Encoder_Input，其中第一步转化使用tokenizer的词表进行，第二步转化使用 learnable 的 Embedding layer。将得到的embedding_vector 和 position_encodding 进行element-wise的相加，然后才做为input送入LLM的encoder。

理解LLM位置编码:RoPE

相关文章：

LLama学习记录

学习前： 五大问题： 为什么SwiGLU激活函数能够提升模型性能？RoPE位置编码是什么？怎么用的？还有哪些位置编码方式？GQA（Grouped-Query Attention, GQA）分组查询注意力机制是什么&…...

编程日记 2024/5/29 9:09:19

如何克隆非默认分支

直接git clone下来的我们知道是默认分支，那如何克隆其他分支呢： 比如这个，我们想克隆AdvNet。 我们可以在本地文件夹打开Git Bash 依次输入： git clone --branch AdvNet https://github.com/wgcban/SemiCD.git cd SemiCD git b…...

编程日记 2024/5/29 9:08:17

数据结构——图

一 图论基本概念 Directed Acyclic Graph （DAG） 二 图的存储 ①邻接矩阵(适用于稠密图) ②邻接表(适用于稀疏图) 三、图的遍历 ①深度优先搜索 //(基于邻接表实现，以有向图为例) //DFS:Depth First Search 深度优先搜索 //1、访问起始顶点 …...

编程日记 2024/5/29 9:07:16

蓝桥杯—SysTick中断精准定时实现闪烁灯

在嵌入式系统中，SysTick_Handler 是一个中断服务例程（Interrupt Service Routine, ISR），用于处理 SysTick 定时器的中断。SysTick 定时器通常用于提供一个周期性的定时中断，可以用来实现延时或者周期性任务。 SysTick…...

编程日记 2024/5/29 9:06:15

ML307R OpenCPU UDP使用

一、UDP通信流程 二、示例 三、UDP通信代码 一、UDP通信流程 ML307R UDP 是使用LWIP的标准的通信，具体UDP流程可以自行百度 二、示例 实验目的：实现把接收的数据再发送到服务端 测试网址：UDP电脑端测试网址 因为是4G,所以必须用外网的 /* 测试前请先补充如下参数 */…...

编程日记 2024/5/29 9:05:13

pod详解

目录 pod pod基本介绍 k8s集群中pod两种使用方式 pause容器使得Pod中所有容器共享两种资源：网络和存储 kubernetes中的pause容器主要为每个容器提供以下功能 k8s设计这样的pod概念和特殊组成结构有什么用意 pod分类 pod容器的分类 基础容器（infr…...

编程日记 2024/5/29 9:04:12

免费插件集-illustrator插件-Ai插件-文本对象分行

文章目录 1.介绍2.安装3.通过窗口>扩展>知了插件4.功能解释5.总结 1.介绍 本文介绍一款免费插件，加强illustrator使用人员工作效率，进行文本对象分行。首先从下载网址下载这款插件 https://download.csdn.net/download/m0_67316550/87890501&…...

编程日记 2024/5/29 9:03:10

web学习笔记（五十九）

目录 1.style样式 1.1作用域 scoped 1.2 less和 sass 1.3 less和 sass两者的区别 2. 计算属性computed 3. 响应式基础reactive() 4. 什么是MVVM? 1.style样式 1.1作用域 scoped scoped表示样式作用域，把内部的样式仅限于当前组件模板生效，其…...

编程日记 2024/5/29 9:02:09

UE5 UE4 快速定位节点位置

在材质面板中，找到之前写的一个节点，想要修改，但是当时写的比较多，想要快速定位到节点位置. 在面板下方的 Find Results面板中，输入所需节点，找结果后双击，就定位到该节点处。 同理，…...

编程日记 2024/5/29 9:01:08

go routing 之 gorilla/mux

1. 背景 继续学习 go 2. 关于 routing 的学习 上一篇 go 用的库是：net/http ，这次我们使用官方的库 github.com/gorilla/mux 来实现 routing。 3. demo示例 package mainimport ("fmt""net/http""github.com/gorilla/mux&…...

编程日记 2024/5/29 9:00:07

新火种AI|警钟长鸣！教唆自杀，威胁人类，破坏生态，AI的“反攻”值得深思...

作者：小岩 编辑：彩云 在昨天的文章中，我们提到了谷歌的AI Overview竟然教唆情绪低迷的网友“从金门大桥跳下去”。很多人觉得，这只是AI 模型的一次错误判断，不会有人真的会因此而照做。但现实就是比小说电影中的桥段…...

编程日记 2024/5/29 8:59:06

AAA实验配置

一、实验目的 掌握AAA本地认证的配置方法 掌握AAA本地授权的配置方法 掌握AAA维护的方法 1.搭建实验拓扑图 2.完成基础配置： 3.使用ping命令测试两台设备的连通性： 二、配置AAA 1.打开R1：配置AAA方案 这两个方框内的可以改名&#xff0c…...

编程日记 2024/5/29 8:58:04

Maven高级详解

文章目录 一、分模块开发与设计分模块开发的意义模块拆分原则 分模块开发(模块拆分)创建Maven模块书写模块代码通过maven指令安装模块到本地仓库(install指令) 二、依赖管理依赖传递可选依赖排除依赖可选依赖和排除依赖的区别 三、聚合与继承聚合工程聚合工程开发创建Maven模块…...

编程日记 2024/5/29 8:57:02

C++的算法：模拟算法

模拟算法是一种基于事物运动变化过程的模型，通过计算机程序来模拟实际系统行为或过程的方法。在C++中，模拟算法常用于解决复杂系统或过程的建模与仿真问题。本文将介绍模拟算法的实现思路及实际应用，并通过具体的实例来展示如何在C++中实现模拟算法。 一、模拟算法的实现思…...

编程日记 2024/5/29 8:56:01

Spring boot集成easy excel

Spring boot集成easy excel 一 查看官网 easyexcel官方网站地址为easyexcel官网，官网的信息比较齐全，可以查看官网使用easyexcel的功能。 二 引入依赖 使用easyexcel，首先要引入easyexcel的maven依赖，具体的版本根据你的需求去…...

编程日记 2024/5/29 8:55:00

【开发 | 环境配置】解决 VSCode 编写 eBPF 程序找不到头文件

问题描述： 在使用 vscode 编写 eBPF 程序时，如果不做一些头文件定位的操作，默认情况下头文件总是带有“红色下划线”，并且大部分的变量不会有提示与补全。 在编写代码文件较小时（或者功能需求小时）并不会…...

编程日记 2024/5/29 8:53:59

View-＞Bitmap缩放到自定义ViewGroup的任意区域

Bitmap缩放和平移 加载一张Bitmap可能为宽高相同的正方形，也可能为宽高不同的矩形缩放方向可以为中心缩放，左上角缩放，右上角缩放，左下角缩放，右下角缩放Bitmap中心缩放，包含了缩放和平移两个操作&#xf…...

编程日记 2024/5/29 8:52:57

十种常用数据分析方法

描述性统计分析（Descriptive Statistics） 使用场景：用来总结数据的基本特征，如平均值、中位数、标准差等。 优势：简单易懂，快速总结数据。 劣势：无法深入挖掘数据的潜在关系。 模拟数据及示例…...

编程日记 2024/5/29 8:51:57

拉格朗日插值及牛顿差商方法的实现（Matlab）

一、问题描述 拉格朗日插值及牛顿差商方法的实现。 二、实验目的 掌握拉格朗日插值和牛顿差商方法的原理，能够编写代码实现两种方法；能够分析多项式插值中的误差。 三、实验内容及要求 利用拉格朗日插值及牛顿差商方法估计1980 年的人口，并…...

编程日记 2024/5/29 8:50:55

【InternLM实战营第二期笔记】02：大模型全链路开源体系与趣味demo

文章目录 00 环境设置01 部署一个 chat 小模型作业一 02 Lagent 运行 InternLM2-chat-7B运行一个工具调用解方程 03 浦语灵笔2进阶作业 第二节课程视频与文档： https://www.bilibili.com/video/BV1AH4y1H78d/ https://github.com/InternLM/Tutorial/blob/camp2/hell…...

编程日记 2024/5/29 8:49:54

Android Wi-Fi 连接失败日志分析

1. Android wifi 关键日志总结 (1) Wi-Fi 断开 (CTRL-EVENT-DISCONNECTED reason3) 日志相关部分： 06-05 10:48:40.987 943 943 I wpa_supplicant: wlan0: CTRL-EVENT-DISCONNECTED bssid44:9b:c1:57:a8:90 reason3 locally_generated1解析： CTR…...

编程新知 2025/9/14 19:44:52

synchronized 学习

学习源： https://www.bilibili.com/video/BV1aJ411V763?spm_id_from333.788.videopod.episodes&vd_source32e1c41a9370911ab06d12fbc36c4ebc 1.应用场景 不超卖，也要考虑性能问题（场景） 2.常见面试问题： sync出…...

编程新知 2025/12/14 17:38:17

React第五十七节 Router中RouterProvider使用详解及注意事项

前言 在 React Router v6.4 中&#xff0c;RouterProvider 是一个核心组件&#xff0c;用于提供基于数据路由&#xff08;data routers&#xff09;的新型路由方案。 它替代了传统的 <BrowserRouter>&#xff0c;支持更强大的数据加载和操作功能&#xff08;如 loader 和…...

编程新知 2026/2/9 6:48:42

基于Flask实现的医疗保险欺诈识别监测模型

基于Flask实现的医疗保险欺诈识别监测模型 项目截图 项目简介 社会医疗保险是国家通过立法形式强制实施&#xff0c;由雇主和个人按一定比例缴纳保险费&#xff0c;建立社会医疗保险基金&#xff0c;支付雇员医疗费用的一种医疗保险制度&#xff0c; 它是促进社会文明和进步的…...

编程新知 2026/1/24 14:59:08

微信小程序 - 手机震动

一、界面 <button type"primary" bindtap"shortVibrate">短震动</button> <button type"primary" bindtap"longVibrate">长震动</button> 二、js逻辑代码 注&#xff1a;文档 https://developers.weixin.qq…...

编程新知 2026/1/29 8:41:55

如何将联系人从 iPhone 转移到 Android

从 iPhone 换到 Android 手机时&#xff0c;你可能需要保留重要的数据&#xff0c;例如通讯录。好在&#xff0c;将通讯录从 iPhone 转移到 Android 手机非常简单&#xff0c;你可以从本文中学习 6 种可靠的方法&#xff0c;确保随时保持连接&#xff0c;不错过任何信息。 第 1…...

编程新知 2026/1/31 5:09:27

C# SqlSugar：依赖注入与仓储模式实践

C# SqlSugar&#xff1a;依赖注入与仓储模式实践 在 C# 的应用开发中&#xff0c;数据库操作是必不可少的环节。为了让数据访问层更加简洁、高效且易于维护&#xff0c;许多开发者会选择成熟的 ORM&#xff08;对象关系映射&#xff09;框架&#xff0c;SqlSugar 就是其中备受…...

编程新知 2025/11/25 6:49:02

MySQL中【正则表达式】用法

MySQL 中正则表达式通过 REGEXP 或 RLIKE 操作符实现&#xff08;两者等价&#xff09;&#xff0c;用于在 WHERE 子句中进行复杂的字符串模式匹配。以下是核心用法和示例&#xff1a; 一、基础语法 SELECT column_name FROM table_name WHERE column_name REGEXP pattern; …...

编程新知 2025/11/21 22:02:37

OpenPrompt 和直接对提示词的嵌入向量进行训练有什么区别

OpenPrompt 和直接对提示词的嵌入向量进行训练有什么区别 直接训练提示词嵌入向量的核心区别 您提到的代码： prompt_embedding = initial_embedding.clone().requires_grad_(True) optimizer = torch.optim.Adam([prompt_embedding...

编程新知 2025/7/4 0:50:01

排序算法总结（C++）

目录 一、稳定性二、排序算法选择、冒泡、插入排序归并排序随机快速排序堆排序基数排序计数排序 三、总结 一、稳定性 排序算法的稳定性是指&#xff1a;同样大小的样本 **&#xff08;同样大小的数据&#xff09;**在排序之后不会改变原始的相对次序。 稳定性对基础类型对象…...

编程新知 2026/1/25 9:33:23