DL笔记：旋转编码RoPE
1 背景
- 由于计算资源限制，目前的LLM大多在较短的上下文长度中进行训练，在推理中，如果超出预训练的长度，模型的性能将会显著降低
- ——>需要一个可提供外推性的位置编码
- 最经典的绝对位置编码就是原始Transformer中的那个sinusoidal位置编码了：
2 RoPE
2.1 motivation
- RoPE通过绝对位置编码实现相对位置编码
- 以实现有效外推
- 我们现在有query词向量q，对应的位置m；key词向量k，对应的位置n
- 我们希望学一个词向量和位置信息结合的函数f【经典Transformer的f是用m,n计算sinusoidal位置编码，然后将位置编码向量和q/k相加】
- 经过f后得到的query向量和key向量都是位置感知的词向量
- RoPE希望
之间的点积能够带有相对位置信息m-n
- 也就是希望存在另一个函数，使得：
- 也就是希望存在另一个函数，使得：
2.2 RoPE的f函数
2.2.1 二维向量
- 对于二维词向量，结论是：
- 这里θ是一个常数
- 此时
2.2.2 多维向量
在原始论文Roformer: Enhanced Transformer With Rotray Position Embedding中，这里直接
所以有：
上面的矩阵乘法等价于如下的实现方式
相关文章：
DL笔记：旋转编码RoPE
1 背景 由于计算资源限制，目前的LLM大多在较短的上下文长度中进行训练，在推理中，如果超出预训练的长度，模型的性能将会显著降低 ——>需要一个可提供外推性的位置编码最经典的绝对位置编码就是原始Transformer中的那个sinusoi…...
C语言自定义类型与文件操作
构造类型 枚举类型 若定义不相关的常量使用宏定义；若定义一组相关的常量使用枚举。switch中case后访问的就是枚举。 定义： 我们一般情况下定义常量使用宏定义(#define)，宏定义适合没有关联关系的常量；但有时需要对一组有关联关系…...
《计算机网络A》单选题-复习题库解析-3
目录 106、MAN通常是指（ ） 107、下列因素中，不会影响信道数据传输速率的是（ ） 108、以太网交换机进行转发决策时使用的PDU地址是（ ） 109、下列机制中，可以解决因数据帧丢失而…...
VM虚拟机配置ubuntu网络
目录 桥接模式 NAT模式 桥接模式 特点：ubuntu的IP地址与主机IP的ip地址不同 第一部分：VM虚拟机给ubuntu的网络适配器，调为桥接模式 第二部分：保证所桥接的网络可以上网 第三部分：ubuntu使用DHCP（默认&…...
【每日学点鸿蒙知识】Web高度适配、变量声明规范、动画取消、签名文件、包体积优化相关
1、HarmonyOS Web页面高度适配？ 在Web页面设置高度100%时，发现和Web控件的高度不一致，这个需要设置什么可以达到页面高度和Web容器高度一致 目前只支持两种web布局模式，分别为Web布局跟随系统WebLayoutMode.NONE和Web基于页面大…...
uniapp使用ucharts组件
1.ucharts准备 有两种使用方式：一种是在uni的插件市场下载（组件化开发）。一种是手动引入ucharts包。官方都封装好组件了，我们不用岂不是浪费。 直接去dcloud插件市场（DCloud 插件市场）找，第一…...
LabVIEW工程师的未来发展
对于LabVIEW工程师以及更广义的编程从业者（包括“高级民工”码农）来说，随着AI技术和软件编程的逐步成熟，确实面临一些新的挑战和机遇。以下是对此问题的深入分析和未来方向的建议： 现状分析：技术过剩与竞争…...
java的bio、nio、aio 以及操作系统的select、poll、epoll
在 Java 和其他编程语言中，I/O 模型的选择对网络应用的性能和可扩展性有着重要影响。以下是 BIO（Blocking I/O）、NIO（Non-blocking I/O）、AIO（Asynchronous I/O），以及操作系统级别的…...
2024 年发布的 Android AI 手机都有什么功能？
大家好，我是拭心。 2024 年是 AI 快速发展的一年，这一年 AI 再获诺贝尔奖，微软/苹果/谷歌等巨头纷纷拥抱 AI，多款强大的 AI 手机进入我们的生活。 今年全球 16% 的智能手机出货量为 AI 手机，到 2028 年，这…...
RLHF，LM模型
LLM（Large Language Model） RLHF（Reinforcement Learning from Human Feedback），即以强化学习方式依据人类反馈优化语言模型。 RLHF思想：使用强化学习的方式直接优化带有人类反馈的语言模型。RLHF使得在一般文本数据语料库上训练的语言模型能与复杂的人类价值观对齐。 R…...
【机器学习】工业 4.0 下机器学习如何驱动智能制造升级
我的个人主页 我的领域：人工智能篇，希望能帮助到大家！！！👍点赞 收藏❤ 随着科技的飞速发展，工业 4.0 浪潮正席卷全球制造业，而机器学习作为这一变革中的关键技术，正以前…...
REST与RPC的对比：从性能到扩展性的全面分析
在微服务架构中，服务间通信是核心问题之一。常见的两种通信方式是REST（Representational State Transfer）和RPC（Remote Procedure Call）。它们各有优缺点，适用于不同场景。本文将从性能、扩展性、兼容性和开…...
MATLAB中将MAT文件转换为Excel文件
MATLAB中将MAT文件转换为Excel文件 MATLAB提供了多种方法将MAT文件中的数据导出到Excel文件中。下面介绍几种常用的方法： 1. 使用 writetable 函数 优点： 功能强大，可以灵活控制输出格式。用法： data load(your_data.mat); …...
leetcode hot 100 跳跃游戏2
45. 跳跃游戏 II 已解答 中等 相关标签 相关企业 给定一个长度为 n 的 0 索引整数数组 nums。初始位置为 nums[0]。 每个元素 nums[i] 表示从索引 i 向前跳转的最大长度。换句话说，如果你在 nums[i] 处，你可以跳转到任意 nums[i j] 处: 0 < j…...
【Cesium】八、Cesium 默认地图不显示，不加载默认Bing地图
文章目录 前言实现方法App.vue 前言 Cesium 默认加载的地图是bing地图，个人认为请求bing地图会收到网络限制，导致地图资源下载很慢，所以设置默认不加载bing地图（后续我使用的是天地图） 参考文章： cesium …...
【新方法】通过清华镜像源加速 PyTorch GPU 2.5安装及 CUDA 版本选择指南
下面详细介绍所提到的两条命令，它们的作用及如何在你的 Python 环境中加速 PyTorch 等库的安装。 1. 设置清华镜像源 pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple这条命令的作用是将 pip （Python 的包管理工具…...
MySQL的sql操作有哪些
MySQL 的 SQL 操作可以分为几个主要类别，每个类别包含了一系列的语句，用于执行不同的数据库操作： 数据查询语言（DQL） SELECT：用于从一个或多个表中检索数据。可以使用 WHERE 子句进行条件筛选，…...
ArcGIS计算矢量要素集中每一个面的遥感影像平均值、最大值等统计指标
本文介绍在ArcMap软件中，基于矢量面要素集，计算在其中每一个面区域内，遥感影像的像元个数、平均值、总和等统计值，并将统计信息附加到矢量图层的属性表中的方法。 首先，明确一下本文的需求。现在有一个矢量面要素集&am…...
EasyExcel（环境搭建以及常用写入操作）
文章目录 EasyExcel环境搭建1.创建模块 easyexcel-demo2.引入依赖3.启动类创建 EasyExcel写1.最简单的写入1.模板2.方法3.结果 Write01.xlsx 2.指定字段不写入Excel1.模板2.方法3.结果 Write02.xlsx 3.指定字段写入excel1.模板2.方法3.结果 Write03.xlsx 4.按照index顺序写入ex…...
探索Milvus数据库：新手入门指南(tencent云)
开启向量数据库的奇妙之旅 在数据科学和机器学习领域，Milvus是一个专为向量数据设计的开源数据库。它以其高性能和易于使用的特点，成为了处理大规模向量搜索任务的理想选择。如果你是Milvus的新手，这篇文章将带你一步步了解如何开始你的Milv…...
多场景 OkHttpClient 管理器 - Android 网络通信解决方案
下面是一个完整的 Android 实现，展示如何创建和管理多个 OkHttpClient 实例，分别用于长连接、普通 HTTP 请求和文件下载场景。 <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://schemas…...
P3 QT项目----记事本（3.8）
3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...
Map相关知识
数据结构 二叉树 二叉树，顾名思义，每个节点最多有两个“叉”，也就是两个子节点，分别是左子 节点和右子节点。不过，二叉树并不要求每个节点都有两个子节点，有的节点只 有左子节点，有的节点只有…...
算法笔记2
1.字符串拼接最好用StringBuilder，不用String 2.创建List<>类型的数组并创建内存 List arr[] new ArrayList[26]; Arrays.setAll(arr, i -> new ArrayList<>()); 3.去掉首尾空格...
【Go语言基础【13】】函数、闭包、方法
文章目录 零、概述一、函数基础1、函数基础概念2、参数传递机制3、返回值特性3.1. 多返回值3.2. 命名返回值3.3. 错误处理 二、函数类型与高阶函数1. 函数类型定义2. 高阶函数（函数作为参数、返回值） 三、匿名函数与闭包1. 匿名函数（Lambda函…...
20个超级好用的 CSS 动画库
分享 20 个最佳 CSS 动画库。 它们中的大多数将生成纯 CSS 代码，而不需要任何外部库。 1.Animate.css 一个开箱即用型的跨浏览器动画库，可供你在项目中使用。 2.Magic Animations CSS3 一组简单的动画，可以包含在你的网页或应用项目中。 3.An…...
（一）单例模式
一、前言 单例模式属于六大创建型模式，即在软件设计过程中，主要关注创建对象的结果，并不关心创建对象的过程及细节。创建型设计模式将类对象的实例化过程进行抽象化接口设计，从而隐藏了类对象的实例是如何被创建的，封装了软件系统使用的具体对象类型。 六大创建型模式包括…...
wpf在image控件上快速显示内存图像
wpf在image控件上快速显示内存图像https://www.cnblogs.com/haodafeng/p/10431387.html 如果你在寻找能够快速在image控件刷新大图像（比如分辨率3000*3000的图像）的办法，尤其是想把内存中的裸数据（只有图像的数据，不包…...
【FTP】ftp文件传输会丢包吗？批量几百个文件传输，有一些文件没有传输完整，如何解决？
FTP（File Transfer Protocol）本身是一个基于 TCP 的协议，理论上不会丢包。但 FTP 文件传输过程中仍可能出现文件不完整、丢失或损坏的情况，主要原因包括： ✅ 一、FTP传输可能“丢包”或文件不完整的原因 原因描述网络…...
深入理解 React 样式方案
React 的样式方案较多，在应用开发初期，开发者需要根据项目业务具体情况选择对应样式方案。React 样式方案主要有： 1. 内联样式 2. module css 3. css in js 4. tailwind css 这些方案中，均有各自的优势和缺点。 1. 方案优劣势 1. 内联样式: 简单直观，适合动态样式和…...