当前位置： 首页 > news >正文

LLM论文笔记 15: Transformers Can Achieve Length Generalization But Not Robustly

news 2026/4/25 23:25:47
  • Arxiv日期：2024.2.14
  • 机构：Google DeepMind / University of Toronto

关键词

  • 长度泛化
  • 位置编码
  • 数据格式

核心结论

1. 实验结论：十进制加法任务上的长度泛化最佳组合：

  • FIRE位置编码

  • 随机化位置编码

  • 反向数据格式

  • 索引提示（index hints，辅助定位）

2. 在适当的配置下，Transformer模型可以泛化到训练序列长度的2.5倍（例如从40位加法训练成功泛化到100位加法）

3. 长度泛化的表现高度依赖于随机权重初始化和训练数据的顺序，导致不同试验之间的性能差异显著

4. 增大模型规模对长度泛化的提升有限，且有时可能导致性能下降

主要方法

主要探讨Transformer模型在长度泛化（length generalization）上的表现，特别是在整数加法任务中的应用。

长度泛化指的是模型从训练中的短序列泛化到测试中的更长序列的能力。

研究通过调整位置编码（position encoding）和数据格式，证明了Transformer在长度泛化上的潜力，但同时指出了其鲁棒性较差的问题。

注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文

相关文章：

LLM论文笔记 15: Transformers Can Achieve Length Generalization But Not Robustly

Arxiv日期：2024.2.14机构：Google DeepMind / University of Toronto 关键词 长度泛化位置编码数据格式 核心结论 1. 实验结论：十进制加法任务上的长度泛化最佳组合： FIRE位置编码 随机化位置编码 反向数据格式 索引提示&…...

编程日记 2025/2/22 2:31:49

SpringAI做对了什么

开发｜界面｜引擎｜交付｜副驾——重写全栈法则：AI原生的倍速造应用流 你好，这里是nine[谈架构]系列。 欢迎关注评论私信交流~ SpringAI 在 AI 编程领域延续了Spring的诸多优势，从易于集成、到通用…...

编程日记 2025/2/22 2:26:26

DeepSeek预测25考研分数线

25考研分数马上要出了。 目前，多所大学已经陆续给出了分数查分时间，综合往年情况来看，每年的查分时间一般集中在2月底。 等待出成绩的日子，学子们的心情是万分焦急，小编用最近爆火的“活人感”十足的DeepSeek帮大家预…...

编程日记 2025/2/22 2:24:12

C++笔记之标准库中的std::copy 和 std::assign 作用于 std::vector

C++笔记之标准库中的std::copy 和 std::assign 作用于 std::vector code review! 文章目录 C++笔记之标准库中的std::copy 和 std::assign 作用于 std::vector1. `std::copy`1.1.用法1.2.示例2.`std::vector::assign`2.1.用法2.2.示例3.区别总结4.支持assign的容器和不支持ass…...

编程日记 2025/2/22 2:21:42

文件IO（20250217）

1. 文件IO 系统调用Linux内核提供的文件操作接口 1. 打开文件 open 2. 读写文件 read/write 3. 关闭文件 close 1.1 open函数 #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h>int open(const char *pathname, int flags); int ope…...

编程日记 2025/2/22 2:14:05

Django5 实用指南（四）URL路由与视图函数

4.1 Django5的URL路由系统 Django 的 URL 路由系统是其核心组件之一&#xff0c;它负责将用户的 HTTP 请求&#xff08;即 URL&#xff09;映射到相应的视图函数上。每当用户在浏览器中访问某个 URL 时&#xff0c;Django 会根据项目的 URL 配置文件&#xff08;urls.py&#…...

编程日记 2025/2/22 2:12:54

Android 14输入系统架构分析：图解源码从驱动层到应用层的完整传递链路

一、资料快车 1、深入了解Android输入系统&#xff1a;https://blog.csdn.net/innost/article/details/47660387 2、书籍 - Android系统源代码情景分析 二、Perface 1、参考&#xff1a; 2、系统程序分析方法 1&#xff09;加入log&#xff0c;并跟着log一步步分析 -logc…...

编程日记 2025/2/22 2:06:16

Java中Map循环安全的删除数据的4中方法

文章目录 前言一、使用Iterator删除二、使用 removeIf&#xff08;Java 8&#xff09;三、遍历时记录需要删除的键&#xff08;不推荐&#xff09;四、使用 Stream&#xff08;Java 8&#xff09;总结 前言 在 Java 中&#xff0c;遍历 HashMap 并删除数据时&#xff0c;直接使…...

编程日记 2025/2/22 2:02:56

蓝桥杯（B组）-每日一题（1093字符逆序）

c中函数&#xff1a; reverse(首位置&#xff0c;尾位置&#xff09; reverse(s.begin(),s.end()) 头文件&#xff1a;<algorithm> #include<iostream> #include<algorithm>//运用reverse函数的头文件 using namespace std; int main() {string s;//定义一…...

编程日记 2025/2/22 2:00:52

【数据分析】3 数据分析成长之路

职业发展路径&#xff1a; 向上发展&#xff08;技术方向&#xff09;&#xff1a;可以详细说明成为数据科学家或专家所需的具体技能和步骤&#xff0c;包括学习的算法、工具等。向下发展&#xff08;业务方向&#xff09;&#xff1a;可以探讨结合业务知识的具体领域&#xff…...

编程日记 2025/2/22 1:54:45

循环神经网络RNN原理与优化

目录 前言 RNN背景 RNN原理 上半部分&#xff1a;RNN结构及按时间线展开图 下半部分&#xff1a;RNN在不同时刻的网络连接和计算过程 LSTM RNN存在的问题 LSTM的结构与原理 数学表达层面 与RNN对比优势 应用场景拓展 从简易但严谨的代码来看RNN和LSTM RNN LSTM 前言 绕循环神经…...

编程日记 2025/2/22 1:53:44

Python正则表达式处理中日韩字符过滤全解析

Python正则表达式处理中日韩字符过滤全解析 一、核心原理&#xff1a;Unicode字符范围定位 中日韩字符在Unicode中的分布&#xff1a; 中文&#xff1a;\u4e00-\u9fff&#xff08;基本区&#xff09; \u3400-\u4dbf&#xff08;扩展A区&#xff09; \U00020000-\U0002a6df…...

编程日记 2025/2/22 1:48:36

Zabbix 7.2实操指南：基于OpenEuler系统安装Zabbix 7.2

原文出处&#xff1a;乐维社区 部署环境 openEuler 22.03 LTS PHP 8.0 Apache Mysql 8.0 MySQL数据库 6.0 以上版本需要安装mysql8.0以上版本的数据库&#xff08;以mysql为例子&#xff09;。 欧拉系统自带 mysql8.0 的源&#xff0c;无需要安装额外的源。 安装mysql …...

编程日记 2025/2/22 1:46:34

扩展阅读-Elasticsearch 通过索引阻塞实现数据保护深入解析

目录 前言 1、索引阻塞的种类 2、什么时候使用阻塞&#xff1f; 场景1&#xff1a;进行系统维护场景。 场景2&#xff1a;保护数据不被随意更改场景。 场景3&#xff1a;优化资源使用的场景。 场景4&#xff1a;遵守安全规则场景。 3、添加索引阻塞API 4、解除设置 AP…...

编程日记 2025/2/22 1:45:33

SpringMVC重定向接口，参数暴露在url中解决方案！RedirectAttributes

OK&#xff0c;首先描述下业务场景&#xff0c;终端数量限制登录 1.首先访问项目login的get接口 2.输入账号密码点击登录后&#xff0c;会请求login的POST接口 3.后台对终端数量逻辑处理不允许登录跳回到登录页面 4.因代码原因需在后台进行多次重定向接口&#xff0c;最后跳…...

编程日记 2025/2/22 1:42:30

硬件学习笔记--46 电能表影响量试验梳理

目录 1.电流和电压电路中的谐波影响试验 1&#xff09;电流和电压电路中谐波——第5次谐波试验 2&#xff09;电流和电压电路中谐波——方顶波波形试验 3&#xff09;​​​​​​​电流和电压电路中谐波——尖顶波波形试验 4&#xff09;​​​​​​​电流和电压电路中谐…...

编程日记 2025/2/22 1:39:24

大数据技术之HBase操作归纳

HBase基本命令总结表(实际操作方式) 进入Hbase&#xff1a;hbase shell 方式一&#xff1a;命令行窗口来操作HBase 1.通用性命令 version 版本信息 status 查看集群当前状态 whoami 查看登入者身份 help 帮助2.HBase DDL操作(对象级操作) 2.1、namespace命名空间(相当…...

编程日记 2025/2/22 1:32:15

后端Java Stream数据流的使用=＞代替for循环

API讲解 对比 示例代码对比 for循环遍历 package cn.ryanfan.platformback.service.impl;import cn.ryanfan.platformback.entity.Algorithm; import cn.ryanfan.platformback.entity.AlgorithmCategory; import cn.ryanfan.platformback.entity.DTO.AlgorithmInfoDTO; im…...

编程日记 2025/2/22 1:31:13

遗传算法与深度学习实战系列，自动调优深度神经网络和机器学习的超参数

遗传算法与深度学习实战系列文章 目录 进化深度学习生命模拟及其应用生命模拟与进化论遗传算法中常用遗传算子遗传算法框架DEAPDEAP框架初体验使用遗传算法解决N皇后问题使用遗传算法解决旅行商问题使用遗传算法重建图像遗传编程详解与实现粒子群优化详解与实现协同进化详解与…...

编程日记 2025/2/22 1:30:11

体验用ai做了个python小游戏

体验用ai做了个python小游戏 写在前面使用的工具2.增加功能1.要求增加视频作为背景。2.我让增加了一个欢迎页面。3.我发现中文显示有问题。4.我提出了背景修改意见&#xff0c;欢迎页面和结束页面背景是视频&#xff0c;游戏页面背景是静态图片。5.提出增加更多游戏元素。 总结…...

编程日记 2025/2/22 1:29:10

800V高压锂电池生产厂家推荐（工业级与特种定制方案解析）【浩博电池】

800V高压锂电池生产厂家推荐&#xff08;工业级与特种定制方案解析&#xff09;随着电动化与无人化设备的发展&#xff0c;800V高压锂电池正从新能源汽车领域快速扩展至工程机械、无人车辆、无人船、工业机器人及高端储能系统。相比传统400V系统&#xff0c;800V平台具备高效率…...

编程新知 2026/4/25 23:04:18

AI提示词库：结构化规则提升AI编程助手效率与代码质量

1. 项目概述&#xff1a;一个为开发者量身打造的AI提示词库如果你和我一样&#xff0c;每天都在和Cursor、GitHub Copilot、Windsurf这些AI编程助手打交道&#xff0c;那你肯定也经历过这样的时刻&#xff1a;面对一个新项目&#xff0c;或者一个不熟悉的框架&#xff0c;你希望…...

编程新知 2026/4/25 22:09:22

Uni-App项目集成mp-html全攻略：从插件市场导入到npm引入的三种姿势

Uni-App项目集成mp-html全攻略&#xff1a;从插件市场导入到npm引入的三种姿势 在跨端开发领域&#xff0c;Uni-App凭借"一次开发&#xff0c;多端发布"的优势已成为众多开发者的首选框架。而富文本展示作为内容型应用的刚需功能&#xff0c;其实现方案往往成为项目成…...

编程新知 2026/4/25 22:07:19

AI分子对接

一、蛋白互作的生物学意义蛋白质-蛋白质相互作用&#xff08;Protein-Protein Interactions, PPIs&#xff09;在生物体内具有极其重要的生物学意义&#xff0c;主要体现在以下几个方面&#xff1a;&#xff08;1&#xff09;细胞信号传导。细胞通过受体蛋白与信号分子结合&…...

编程新知 2026/4/25 21:32:38

别再为点云轮廓发愁了！用Open3d搞定建筑墙柱分割与内外轮廓线提取（附完整Python代码）

三维点云实战&#xff1a;Open3D高效分割建筑墙柱与轮廓提取技术解析 在建筑测绘与BIM建模领域&#xff0c;点云数据处理一直是工程师们面临的棘手挑战。当激光扫描仪捕获的建筑点云数据呈现在眼前时&#xff0c;那些看似杂乱的数百万个三维点&#xff0c;实则是构建精准数字模…...

编程新知 2026/4/25 20:19:48

Minio版本选择指南：从glibc报错看如何为不同CPU架构挑选合适的Docker镜像

Minio版本选择指南&#xff1a;从glibc报错看如何为不同CPU架构挑选合适的Docker镜像 在容器化部署Minio的过程中&#xff0c;许多技术人员都遇到过类似Fatal glibc error: CPU does not support x86-64-v2的报错。这背后反映的是现代软件对CPU指令集的依赖问题——当Minio新版…...

编程新知 2026/4/25 20:19:48

前端安全的 Content Security Policy (CSP)：从理论到实战

前端安全的 Content Security Policy (CSP)&#xff1a;从理论到实战 为什么 CSP 如此重要&#xff1f; 在当今前端开发中&#xff0c;安全问题已经成为不可忽视的重要因素。XSS&#xff08;跨站脚本攻击&#xff09;、CSRF&#xff08;跨站请求伪造&#xff09;等安全威胁时…...

编程新知 2026/4/25 18:40:05

终极指南：如何用MAA明日方舟助手彻底解放你的游戏时间

终极指南&#xff1a;如何用MAA明日方舟助手彻底解放你的游戏时间 【免费下载链接】MaaAssistantArknights 《明日方舟》小助手&#xff0c;全日常一键长草&#xff01;| A one-click tool for the daily tasks of Arknights, supporting all clients. 项目地址: https://git…...

编程新知 2026/4/25 18:32:00

闲鱼自动化采集系统终极指南：从零搭建高效商品监控方案

闲鱼自动化采集系统终极指南&#xff1a;从零搭建高效商品监控方案 【免费下载链接】idlefish_xianyu_spider-crawler-sender 闲鱼自动抓取/筛选/发送系统&#xff0c;xianyu spider crawler blablabla 项目地址: https://gitcode.com/gh_mirrors/id/idlefish_xianyu_spider-…...

编程新知 2026/4/25 18:13:46

Win11注册表修复：一键导入.reg文件，快速恢复右键新建txt功能（附文件下载）

Win11右键新建文本文档功能修复实战指南 每次右键想快速新建一个文本文档时&#xff0c;却发现菜单里少了这个选项&#xff0c;确实让人抓狂。这个问题在Win11上并不罕见&#xff0c;通常是由于注册表项损坏或记事本应用关联异常导致的。本文将带你深入了解问题根源&#xff0c…...

编程新知 2026/4/25 17:18:26