当前位置： 首页 > news >正文

DL笔记：旋转编码RoPE

news 2025/11/9 3:08:13

1 背景

  • 由于计算资源限制，目前的LLM大多在较短的上下文长度中进行训练，在推理中，如果超出预训练的长度，模型的性能将会显著降低
    • ——>需要一个可提供外推性的位置编码
  • 最经典的绝对位置编码就是原始Transformer中的那个sinusoidal位置编码了：

 2 RoPE

2.1 motivation

  • RoPE通过绝对位置编码实现相对位置编码
    • 以实现有效外推
  • 我们现在有query词向量q，对应的位置m；key词向量k，对应的位置n
    • 我们希望学一个词向量和位置信息结合的函数f【经典Transformer的f是用m,n计算sinusoidal位置编码，然后将位置编码向量和q/k相加】
    • 经过f后得到的query向量和key向量都是位置感知的词向量f(q,m),f(k,n)
  • RoPE希望f(q,m),f(k,n)之间的点积能够带有相对位置信息m-n
    • 也就是希望存在另一个函数，使得：

2.2 RoPE的f函数

2.2.1 二维向量

  • 对于二维词向量，结论是：
    • 这里θ是一个常数
  • 此时

2.2.2 多维向量 

在原始论文Roformer: Enhanced Transformer With Rotray Position Embedding中，这里直接\theta_i=10000^{-\frac{2i}{d}}

所以有：

上面的矩阵乘法等价于如下的实现方式

相关文章：

DL笔记：旋转编码RoPE

1 背景 由于计算资源限制，目前的LLM大多在较短的上下文长度中进行训练，在推理中，如果超出预训练的长度，模型的性能将会显著降低 ——>需要一个可提供外推性的位置编码最经典的绝对位置编码就是原始Transformer中的那个sinusoi…...

编程日记 2025/1/2 21:12:54

C语言自定义类型与文件操作

构造类型 枚举类型 若定义不相关的常量使用宏定义；若定义一组相关的常量使用枚举。switch中case后访问的就是枚举。 定义： 我们一般情况下定义常量使用宏定义(#define)，宏定义适合没有关联关系的常量；但有时需要对一组有关联关系…...

编程日记 2025/1/2 21:10:52

《计算机网络A》单选题-复习题库解析-3

目录 106、MAN通常是指（ ） 107、下列因素中，不会影响信道数据传输速率的是（ ） 108、以太网交换机进行转发决策时使用的PDU地址是（ ） 109、下列机制中，可以解决因数据帧丢失而…...

编程日记 2025/1/2 21:08:49

VM虚拟机配置ubuntu网络

目录 桥接模式 NAT模式 桥接模式 特点：ubuntu的IP地址与主机IP的ip地址不同 第一部分：VM虚拟机给ubuntu的网络适配器，调为桥接模式 第二部分：保证所桥接的网络可以上网 第三部分：ubuntu使用DHCP（默认&…...

编程日记 2025/1/2 21:06:48

【每日学点鸿蒙知识】Web高度适配、变量声明规范、动画取消、签名文件、包体积优化相关

1、HarmonyOS Web页面高度适配？ 在Web页面设置高度100%时，发现和Web控件的高度不一致，这个需要设置什么可以达到页面高度和Web容器高度一致 目前只支持两种web布局模式，分别为Web布局跟随系统WebLayoutMode.NONE和Web基于页面大…...

编程日记 2025/1/2 21:04:46

uniapp使用ucharts组件

1.ucharts准备 有两种使用方式：一种是在uni的插件市场下载（组件化开发）。一种是手动引入ucharts包。官方都封装好组件了，我们不用岂不是浪费。 直接去dcloud插件市场（DCloud 插件市场）找，第一…...

编程日记 2025/1/2 21:03:45

LabVIEW工程师的未来发展

对于LabVIEW工程师以及更广义的编程从业者（包括“高级民工”码农）来说，随着AI技术和软件编程的逐步成熟，确实面临一些新的挑战和机遇。以下是对此问题的深入分析和未来方向的建议： 现状分析：技术过剩与竞争…...

编程日记 2025/1/2 21:01:42

java的bio、nio、aio 以及操作系统的select、poll、epoll

在 Java 和其他编程语言中，I/O 模型的选择对网络应用的性能和可扩展性有着重要影响。以下是 BIO（Blocking I/O）、NIO（Non-blocking I/O）、AIO（Asynchronous I/O），以及操作系统级别的…...

编程日记 2025/1/2 20:59:39

2024 年发布的 Android AI 手机都有什么功能？

大家好，我是拭心。 2024 年是 AI 快速发展的一年，这一年 AI 再获诺贝尔奖，微软/苹果/谷歌等巨头纷纷拥抱 AI，多款强大的 AI 手机进入我们的生活。 今年全球 16% 的智能手机出货量为 AI 手机，到 2028 年，这…...

编程日记 2025/1/2 20:56:34

RLHF，LM模型

LLM（Large Language Model） RLHF（Reinforcement Learning from Human Feedback），即以强化学习方式依据人类反馈优化语言模型。 RLHF思想：使用强化学习的方式直接优化带有人类反馈的语言模型。RLHF使得在一般文本数据语料库上训练的语言模型能与复杂的人类价值观对齐。 R…...

编程日记 2025/1/2 20:55:33

【机器学习】工业 4.0 下机器学习如何驱动智能制造升级

我的个人主页 我的领域：人工智能篇，希望能帮助到大家！！！👍点赞 收藏❤ 随着科技的飞速发展，工业 4.0 浪潮正席卷全球制造业，而机器学习作为这一变革中的关键技术，正以前…...

编程日记 2025/1/2 20:54:31

REST与RPC的对比：从性能到扩展性的全面分析

在微服务架构中，服务间通信是核心问题之一。常见的两种通信方式是REST（Representational State Transfer）和RPC（Remote Procedure Call）。它们各有优缺点，适用于不同场景。本文将从性能、扩展性、兼容性和开…...

编程日记 2025/1/2 20:53:30

MATLAB中将MAT文件转换为Excel文件

MATLAB中将MAT文件转换为Excel文件 MATLAB提供了多种方法将MAT文件中的数据导出到Excel文件中。下面介绍几种常用的方法： 1. 使用 writetable 函数 优点： 功能强大，可以灵活控制输出格式。用法： data load(your_data.mat); …...

编程日记 2025/1/2 20:52:29

leetcode hot 100 跳跃游戏2

45. 跳跃游戏 II 已解答 中等 相关标签 相关企业 给定一个长度为 n 的 0 索引整数数组 nums。初始位置为 nums[0]。 每个元素 nums[i] 表示从索引 i 向前跳转的最大长度。换句话说&#xff0c;如果你在 nums[i] 处&#xff0c;你可以跳转到任意 nums[i j] 处: 0 < j…...

编程日记 2025/1/2 20:51:28

【Cesium】八、Cesium 默认地图不显示，不加载默认Bing地图

文章目录 前言实现方法App.vue 前言 Cesium 默认加载的地图是bing地图&#xff0c;个人认为请求bing地图会收到网络限制&#xff0c;导致地图资源下载很慢&#xff0c;所以设置默认不加载bing地图&#xff08;后续我使用的是天地图&#xff09; 参考文章&#xff1a; cesium …...

编程日记 2025/1/2 20:50:27

【新方法】通过清华镜像源加速 PyTorch GPU 2.5安装及 CUDA 版本选择指南

下面详细介绍所提到的两条命令&#xff0c;它们的作用及如何在你的 Python 环境中加速 PyTorch 等库的安装。 1. 设置清华镜像源 pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple这条命令的作用是将 pip &#xff08;Python 的包管理工具&#xf…...

编程日记 2025/1/2 20:49:26

MySQL的sql操作有哪些

MySQL 的 SQL 操作可以分为几个主要类别&#xff0c;每个类别包含了一系列的语句&#xff0c;用于执行不同的数据库操作&#xff1a; 数据查询语言&#xff08;DQL&#xff09; SELECT&#xff1a;用于从一个或多个表中检索数据。可以使用 WHERE 子句进行条件筛选&#xff0c…...

编程日记 2025/1/2 20:44:21

ArcGIS计算矢量要素集中每一个面的遥感影像平均值、最大值等统计指标

本文介绍在ArcMap软件中&#xff0c;基于矢量面要素集&#xff0c;计算在其中每一个面区域内&#xff0c;遥感影像的像元个数、平均值、总和等统计值&#xff0c;并将统计信息附加到矢量图层的属性表中的方法。 首先&#xff0c;明确一下本文的需求。现在有一个矢量面要素集&am…...

编程日记 2025/1/2 20:43:20

EasyExcel（环境搭建以及常用写入操作）

文章目录 EasyExcel环境搭建1.创建模块 easyexcel-demo2.引入依赖3.启动类创建 EasyExcel写1.最简单的写入1.模板2.方法3.结果 Write01.xlsx 2.指定字段不写入Excel1.模板2.方法3.结果 Write02.xlsx 3.指定字段写入excel1.模板2.方法3.结果 Write03.xlsx 4.按照index顺序写入ex…...

编程日记 2025/1/2 20:42:20

探索Milvus数据库：新手入门指南(tencent云)

开启向量数据库的奇妙之旅 在数据科学和机器学习领域&#xff0c;Milvus是一个专为向量数据设计的开源数据库。它以其高性能和易于使用的特点&#xff0c;成为了处理大规模向量搜索任务的理想选择。如果你是Milvus的新手&#xff0c;这篇文章将带你一步步了解如何开始你的Milv…...

编程日记 2025/1/2 20:40:16

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板&#xff0c;载入页面后&#xff0c;会显示引导弹窗&#xff0c;适用于引导用户使用页面&#xff0c;点击完成后&#xff0c;会显示下一个引导弹窗&#xff0c;直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…...

编程新知 2025/11/8 15:55:51

遍历 Map 类型集合的方法汇总

1 方法一 先用方法 keySet() 获取集合中的所有键。再通过 gey(key) 方法用对应键获取值 import java.util.HashMap; import java.util.Set;public class Test {public static void main(String[] args) {HashMap hashMap new HashMap();hashMap.put("语文",99);has…...

编程新知 2025/11/7 20:35:11

Linux-07 ubuntu 的 chrome 启动不了

文章目录 问题原因解决步骤一、卸载旧版chrome二、重新安装chorme三、启动不了&#xff0c;报错如下四、启动不了&#xff0c;解决如下 总结 问题原因 在应用中可以看到chrome&#xff0c;但是打不开(说明&#xff1a;原来的ubuntu系统出问题了&#xff0c;这个是备用的硬盘&a…...

编程新知 2025/11/8 8:46:22

【C语言练习】080. 使用C语言实现简单的数据库操作

080. 使用C语言实现简单的数据库操作 080. 使用C语言实现简单的数据库操作使用原生APIODBC接口第三方库ORM框架文件模拟1. 安装SQLite2. 示例代码：使用SQLite创建数据库、表和插入数据3. 编译和运行4. 示例运行输出：5. 注意事项6. 总结080. 使用C语言实现简单的数据库操作 在…...

编程新知 2025/9/22 21:37:01

【安全篇】金刚不坏之身：整合 Spring Security + JWT 实现无状态认证与授权

摘要 本文是《Spring Boot 实战派》系列的第四篇。我们将直面所有 Web 应用都无法回避的核心问题&#xff1a;安全。文章将详细阐述认证&#xff08;Authentication) 与授权&#xff08;Authorization的核心概念&#xff0c;对比传统 Session-Cookie 与现代 JWT&#xff08;JS…...

编程新知 2025/8/3 23:00:48

2.3 物理层设备

在这个视频中&#xff0c;我们要学习工作在物理层的两种网络设备&#xff0c;分别是中继器和集线器。首先来看中继器。在计算机网络中两个节点之间&#xff0c;需要通过物理传输媒体或者说物理传输介质进行连接。像同轴电缆、双绞线就是典型的传输介质&#xff0c;假设A节点要给…...

编程新知 2025/11/7 18:37:07

用鸿蒙HarmonyOS5实现国际象棋小游戏的过程

下面是一个基于鸿蒙OS (HarmonyOS) 的国际象棋小游戏的完整实现代码&#xff0c;使用Java语言和鸿蒙的Ability框架。 1. 项目结构 /src/main/java/com/example/chess/├── MainAbilitySlice.java // 主界面逻辑├── ChessView.java // 游戏视图和逻辑├── …...

编程新知 2025/8/21 20:40:56

二维数组 行列混淆区分 js

二维数组定义 行 row&#xff1a;是“横着的一整行” 列 column&#xff1a;是“竖着的一整列” 在 JavaScript 里访问二维数组 grid[i][j] 表示 第i行第j列的元素 let grid [[1, 2, 3], // 第0行[4, 5, 6], // 第1行[7, 8, 9] // 第2行 ];// grid[i][j] 表示 第i行第j列的…...

编程新知 2025/11/7 22:22:37

break 语句和 continue 语句

break语句和continue语句都具有跳转作用&#xff0c;可以让代码不按既有的顺序执行 break break语句用于跳出代码块或循环 1 2 3 4 5 6 for (var i 0; i < 5; i) { if (i 3){ break; } console.log(i); } continue continue语句用于立即终…...

编程新知 2025/11/7 23:47:29

Modbus转Ethernet IP深度解析：磨粉设备效率跃升的底层技术密码

在建材矿粉磨系统中&#xff0c;开疆智能Modbus转Ethernet IP网关KJ-EIP-101的应用案例是一个重要的技术革新。这个转换过程涉及到两种主要的通信协议&#xff1a;Modbus和Ethernet IP。Modbus是一种串行通信协议&#xff0c;广泛应用于工业控制系统中。它简单、易于部署和维护…...

编程新知 2025/11/8 5:13:49