DL笔记：旋转编码RoPE
1 背景
- 由于计算资源限制，目前的LLM大多在较短的上下文长度中进行训练，在推理中，如果超出预训练的长度，模型的性能将会显著降低
- ——>需要一个可提供外推性的位置编码
- 最经典的绝对位置编码就是原始Transformer中的那个sinusoidal位置编码了：
2 RoPE
2.1 motivation
- RoPE通过绝对位置编码实现相对位置编码
- 以实现有效外推
- 我们现在有query词向量q，对应的位置m；key词向量k，对应的位置n
- 我们希望学一个词向量和位置信息结合的函数f【经典Transformer的f是用m,n计算sinusoidal位置编码，然后将位置编码向量和q/k相加】
- 经过f后得到的query向量和key向量都是位置感知的词向量
- RoPE希望
之间的点积能够带有相对位置信息m-n
- 也就是希望存在另一个函数，使得：
- 也就是希望存在另一个函数，使得：
2.2 RoPE的f函数
2.2.1 二维向量
- 对于二维词向量，结论是：
- 这里θ是一个常数
- 此时
2.2.2 多维向量
在原始论文Roformer: Enhanced Transformer With Rotray Position Embedding中，这里直接
所以有：
上面的矩阵乘法等价于如下的实现方式
相关文章：
DL笔记：旋转编码RoPE
1 背景 由于计算资源限制，目前的LLM大多在较短的上下文长度中进行训练，在推理中，如果超出预训练的长度，模型的性能将会显著降低 ——>需要一个可提供外推性的位置编码最经典的绝对位置编码就是原始Transformer中的那个sinusoi…...
C语言自定义类型与文件操作
构造类型 枚举类型 若定义不相关的常量使用宏定义；若定义一组相关的常量使用枚举。switch中case后访问的就是枚举。 定义： 我们一般情况下定义常量使用宏定义(#define)，宏定义适合没有关联关系的常量；但有时需要对一组有关联关系…...
《计算机网络A》单选题-复习题库解析-3
目录 106、MAN通常是指（ ） 107、下列因素中，不会影响信道数据传输速率的是（ ） 108、以太网交换机进行转发决策时使用的PDU地址是（ ） 109、下列机制中，可以解决因数据帧丢失而…...
VM虚拟机配置ubuntu网络
目录 桥接模式 NAT模式 桥接模式 特点：ubuntu的IP地址与主机IP的ip地址不同 第一部分：VM虚拟机给ubuntu的网络适配器，调为桥接模式 第二部分：保证所桥接的网络可以上网 第三部分：ubuntu使用DHCP（默认&…...
【每日学点鸿蒙知识】Web高度适配、变量声明规范、动画取消、签名文件、包体积优化相关
1、HarmonyOS Web页面高度适配？ 在Web页面设置高度100%时，发现和Web控件的高度不一致，这个需要设置什么可以达到页面高度和Web容器高度一致 目前只支持两种web布局模式，分别为Web布局跟随系统WebLayoutMode.NONE和Web基于页面大…...
uniapp使用ucharts组件
1.ucharts准备 有两种使用方式：一种是在uni的插件市场下载（组件化开发）。一种是手动引入ucharts包。官方都封装好组件了，我们不用岂不是浪费。 直接去dcloud插件市场（DCloud 插件市场）找，第一…...
LabVIEW工程师的未来发展
对于LabVIEW工程师以及更广义的编程从业者（包括“高级民工”码农）来说，随着AI技术和软件编程的逐步成熟，确实面临一些新的挑战和机遇。以下是对此问题的深入分析和未来方向的建议： 现状分析：技术过剩与竞争…...
java的bio、nio、aio 以及操作系统的select、poll、epoll
在 Java 和其他编程语言中，I/O 模型的选择对网络应用的性能和可扩展性有着重要影响。以下是 BIO（Blocking I/O）、NIO（Non-blocking I/O）、AIO（Asynchronous I/O），以及操作系统级别的…...
2024 年发布的 Android AI 手机都有什么功能？
大家好，我是拭心。 2024 年是 AI 快速发展的一年，这一年 AI 再获诺贝尔奖，微软/苹果/谷歌等巨头纷纷拥抱 AI，多款强大的 AI 手机进入我们的生活。 今年全球 16% 的智能手机出货量为 AI 手机，到 2028 年，这…...
RLHF，LM模型
LLM（Large Language Model） RLHF（Reinforcement Learning from Human Feedback），即以强化学习方式依据人类反馈优化语言模型。 RLHF思想：使用强化学习的方式直接优化带有人类反馈的语言模型。RLHF使得在一般文本数据语料库上训练的语言模型能与复杂的人类价值观对齐。 R…...
【机器学习】工业 4.0 下机器学习如何驱动智能制造升级
我的个人主页 我的领域：人工智能篇，希望能帮助到大家！！！👍点赞 收藏❤ 随着科技的飞速发展，工业 4.0 浪潮正席卷全球制造业，而机器学习作为这一变革中的关键技术，正以前…...
REST与RPC的对比：从性能到扩展性的全面分析
在微服务架构中，服务间通信是核心问题之一。常见的两种通信方式是REST（Representational State Transfer）和RPC（Remote Procedure Call）。它们各有优缺点，适用于不同场景。本文将从性能、扩展性、兼容性和开…...
MATLAB中将MAT文件转换为Excel文件
MATLAB中将MAT文件转换为Excel文件 MATLAB提供了多种方法将MAT文件中的数据导出到Excel文件中。下面介绍几种常用的方法： 1. 使用 writetable 函数 优点： 功能强大，可以灵活控制输出格式。用法： data load(your_data.mat); …...
leetcode hot 100 跳跃游戏2
45. 跳跃游戏 II 已解答 中等 相关标签 相关企业 给定一个长度为 n 的 0 索引整数数组 nums。初始位置为 nums[0]。 每个元素 nums[i] 表示从索引 i 向前跳转的最大长度。换句话说，如果你在 nums[i] 处，你可以跳转到任意 nums[i j] 处: 0 < j…...
【Cesium】八、Cesium 默认地图不显示，不加载默认Bing地图
文章目录 前言实现方法App.vue 前言 Cesium 默认加载的地图是bing地图，个人认为请求bing地图会收到网络限制，导致地图资源下载很慢，所以设置默认不加载bing地图（后续我使用的是天地图） 参考文章： cesium …...
【新方法】通过清华镜像源加速 PyTorch GPU 2.5安装及 CUDA 版本选择指南
下面详细介绍所提到的两条命令，它们的作用及如何在你的 Python 环境中加速 PyTorch 等库的安装。 1. 设置清华镜像源 pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple这条命令的作用是将 pip （Python 的包管理工具…...
MySQL的sql操作有哪些
MySQL 的 SQL 操作可以分为几个主要类别，每个类别包含了一系列的语句，用于执行不同的数据库操作： 数据查询语言（DQL） SELECT：用于从一个或多个表中检索数据。可以使用 WHERE 子句进行条件筛选，…...
ArcGIS计算矢量要素集中每一个面的遥感影像平均值、最大值等统计指标
本文介绍在ArcMap软件中，基于矢量面要素集，计算在其中每一个面区域内，遥感影像的像元个数、平均值、总和等统计值，并将统计信息附加到矢量图层的属性表中的方法。 首先，明确一下本文的需求。现在有一个矢量面要素集&am…...
EasyExcel（环境搭建以及常用写入操作）
文章目录 EasyExcel环境搭建1.创建模块 easyexcel-demo2.引入依赖3.启动类创建 EasyExcel写1.最简单的写入1.模板2.方法3.结果 Write01.xlsx 2.指定字段不写入Excel1.模板2.方法3.结果 Write02.xlsx 3.指定字段写入excel1.模板2.方法3.结果 Write03.xlsx 4.按照index顺序写入ex…...
探索Milvus数据库：新手入门指南(tencent云)
开启向量数据库的奇妙之旅 在数据科学和机器学习领域，Milvus是一个专为向量数据设计的开源数据库。它以其高性能和易于使用的特点，成为了处理大规模向量搜索任务的理想选择。如果你是Milvus的新手，这篇文章将带你一步步了解如何开始你的Milv…...
RestClient
什么是RestClient RestClient 是 Elasticsearch 官方提供的 Java 低级 REST 客户端，它允许HTTP与Elasticsearch 集群通信，而无需处理 JSON 序列化/反序列化等底层细节。它是 Elasticsearch Java API 客户端的基础。 RestClient 主要特点 轻量级ÿ…...
XML Group端口详解
在XML数据映射过程中，经常需要对数据进行分组聚合操作。例如，当处理包含多个物料明细的XML文件时，可能需要将相同物料号的明细归为一组，或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码，增加了开…...
设计模式和设计原则回顾
设计模式和设计原则回顾 23种设计模式是设计原则的完美体现，设计原则设计原则是设计模式的理论基石， 设计模式 在经典的设计模式分类中（如《设计模式：可复用面向对象软件的基础》一书中），总共有23种设计模式，分为三大类： 一、创建型模式（5种） 1. 单例模式（Sing…...
循环冗余码校验CRC码 算法步骤+详细实例计算
通信过程：（白话解释） 我们将原始待发送的消息称为 M M M，依据发送接收消息双方约定的生成多项式 G ( x ) G(x) G(x)（意思就是 G （ x ) G（x) G（x) 是已知的）࿰…...
使用分级同态加密防御梯度泄漏
抽象 联邦学习 （FL） 支持跨分布式客户端进行协作模型训练，而无需共享原始数据，这使其成为在互联和自动驾驶汽车 （CAV） 等领域保护隐私的机器学习的一种很有前途的方法。然而，最近的研究表明&…...
在 Nginx Stream 层“改写”MQTT ngx_stream_mqtt_filter_module
1、为什么要修改 CONNECT 报文？ 多租户隔离：自动为接入设备追加租户前缀，后端按 ClientID 拆分队列。零代码鉴权：将入站用户名替换为 OAuth Access-Token，后端 Broker 统一校验。灰度发布：根据 IP/地理位写…...
什么是库存周转？如何用进销存系统提高库存周转率？
你可能听说过这样一句话： “利润不是赚出来的，是管出来的。” 尤其是在制造业、批发零售、电商这类“货堆成山”的行业，很多企业看着销售不错，账上却没钱、利润也不见了，一翻库存才发现： 一堆卖不动的旧货…...
DBAPI如何优雅的获取单条数据
API如何优雅的获取单条数据 案例一 对于查询类API，查询的是单条数据，比如根据主键ID查询用户信息，sql如下： select id, name, age from user where id #{id}API默认返回的数据格式是多条的，如下： {&qu…...
【Java_EE】Spring MVC
目录 Spring Web MVC 编辑注解 RestController RequestMapping RequestParam RequestParam RequestBody PathVariable RequestPart 参数传递 注意事项 编辑参数重命名 RequestParam 编辑编辑传递集合 RequestParam 传递JSON数据 编辑RequestBody …...
Unit 1 深度强化学习简介
Deep RL Course ——Unit 1 Introduction 从理论和实践层面深入学习深度强化学习。学会使用知名的深度强化学习库，例如 Stable Baselines3、RL Baselines3 Zoo、Sample Factory 和 CleanRL。在独特的环境中训练智能体，比如 SnowballFight、Huggy the Do…...