当前位置： 首页 > news >正文

LongLLMLingua: 长上下文场景的智能提示压缩框架

news 2026/2/9 1:09:53

LongLLMLingua: 长上下文场景的智能提示压缩框架

一、框架概述

  1. 核心目标
  • 解决长上下文场景下的计算成本问题
  • 降低处理延迟
  • 提升模型性能表现
  1. 创新特点
  • 问题感知的粗到细压缩策略
  • 文档重排序机制
  • 动态压缩比例控制
  • 压缩后的子序列恢复策略

二、技术方法详解

  1. 粗粒度压缩
    (a) 文档评分机制
  • 使用文档级困惑度(perplexity)计算重要性分数r_k
  • 困惑度越低表示模型预测越准确,文档越重要
  • 评分公式: 结合问题文本(x_que)和限制文本(x_restrict)计算

(b) 低困惑度文档筛选

  • 保留最相关的K’个文档
  • 通过阈值动态调整保留数量
  1. 细粒度压缩
    (a) 重要性评估
  • 分别评估指令(x_ins)、问题(x_que)和文档中每个标记
  • 采用迭代压缩机制
  • 直接计算标记级困惑度

(b) 对比困惑度创新

  • 引入对比困惑度概念
  • 计算问题条件下的分布偏移
  • 更准确识别问题相关标记
  1. 信息重排序策略
  • 基于文档重要性分数进行重新排序
  • 将关键信息置于文档前部
  • 缓解中间信息丢失问题
  1. 动态压缩控制
  • 初始预算确定(τ_doc)
  • 根据文档重要性动态分配压缩预算
  • 使用线性调度器进行自适应分配
  • 预算分配公式包含文档数量(Nd)和控制参数(δτ)

三、实验评估

  1. 评估环境
    数据集:
  • NaturalQuestions
  • LongBench
  • ZeroSCROLLS

对比基线:

  • 检索类方法:BM25、Gzip、Sentence-BERT、OpenAI Embedding
  • 压缩类方法:Selective Context、LLMLingua

目标模型:

  • GPT-3.5-Turbo-06134
  • LongChat-13B-16k
  1. 性能表现
    (a) 效果性能
  • 在各种压缩比例下保持领先
  • 显著减少输入标记数量
  • 维持较高的任务准确率

(b) 效率提升

  • 响应延迟大幅降低
  • API调用时间明显缩短
  • 压缩率越高,效率提升越明显
  1. 消融实验结果
  • 问题感知机制贡献显著
  • 动态压缩比例证明必要
  • 子序列恢复策略效果明显
  • SBERT用于粗粒度压缩效果较差

四、技术优势总结

  1. 信息保留
  • 高效保留问题相关信息
  • 维持关键实体完整性
  • 减少中间信息丢失
  1. 自适应能力
  • 智能调节压缩比例
  • 动态分配压缩预算
  • 灵活应对不同场景
  1. 实用价值
  • 降低计算资源消耗
  • 提升处理效率
  • 保持模型性能

相关文章：

LongLLMLingua: 长上下文场景的智能提示压缩框架

LongLLMLingua: 长上下文场景的智能提示压缩框架 一、框架概述 核心目标 解决长上下文场景下的计算成本问题降低处理延迟提升模型性能表现 创新特点 问题感知的粗到细压缩策略文档重排序机制动态压缩比例控制压缩后的子序列恢复策略 二、技术方法详解 粗粒度压缩 (a) 文…...

编程日记 2024/12/29 23:30:48

Django serializers：把ValidationError处理的更优雅

开发中必不可少的会对参数做各种校验，必填、唯一等等，这个时候我们需要在校验失败时抛出友好、清晰的提示。 直接使用serializers做校验，虽然也能抛出自定义的错误提示，但是其信息格式是嵌套，并不适合直接反映在前端页…...

编程日记 2024/12/29 23:18:37

CASA（Carnegie-Ames-Stanford Approach） 模型原理及实践技术

植被作为陆地生态系统的重要组成部分对于生态环境功能的维持具有关键作用。植被净初级生产力（Net Primary Productivity, NPP）是指单位面积上绿色植被在单位时间内由光合作用生产的有机质总量扣除自养呼吸的剩余部分。 专题（一）C…...

编程日记 2024/12/29 23:16:35

【HarmonyOS之旅】ArkTS语法(一)

目录 1 -> 基本UI描述 1.1 -> 基本概念 1.2 -> UI描述规范 1.2.1 -> 无参数构造配置 1.2.2 -> 必选参数构造配置 1.2.3 -> 属性配置 1.2.4 -> 事件配置 1.2.5 -> 子组件配置 2 -> 状态管理 2.1 -> 基本概念 2.2 -> 页面级变量的状…...

编程日记 2024/12/29 23:14:33

【畅购电商】项目总结

目录 1. 电商项目架构图 1.1 系统架构 1.2 技术架构 2. 介绍电商项目 2.1 后台和前台、后端和前端 2.2 Vue全家桶包含哪些技术？ 2.3 什么是Vuex？ 2.4 什么是SSR 2.5 电商模式是什么？ 2.6 枚举类 2.7 elasticsearch相关 2.8 gatew…...

编程日记 2024/12/29 23:13:31

python|利用ffmpeg按顺序合并指定目录内的ts文件

前言： 有的时候我们利用爬虫爬取到的ts文件很多，但ts文件只是视频片段，并且这些视频片段是需要按照一定的顺序合并的，通常ts文件合并输出格式为mp4格式 因此，本文介绍利用python，调用ffmpeg来批量的按自己…...

编程日记 2024/12/29 23:12:30

IP属地和所在地不一致什么意思？怎么换成另外一个地方的

在数字化时代，IP地址作为网络设备的唯一标识符，不仅关乎设备间的通信，还涉及到用户的网络身份与位置信息。然而，有时我们会发现，社交媒体或网络平台上显示的IP属地与用户的实际所在地并不一致。这种不一致现象引发了诸…...

编程日记 2024/12/29 23:08:27

Hive其十，优化和数据倾斜

目录 Hive优化 1、开启本地模式 2、explain分析SQL语句 3、修改Fetch操作 4、开启hive的严格模式【提高了安全性】 5、JVM重用 6、分区、分桶以及压缩 7、合理设置map和reduce的数量 合理设置map数量： 设置合理的reducer的个数 8、设置并行执行 9、CBO优…...

编程日记 2024/12/29 23:04:23

matlab reshape permute

1.reshape 将向量按照顺序重新构建 矩阵，新矩阵 先排完第一列， 再第二列… 2.permute 将向量 维度变换...

编程日记 2024/12/29 23:02:19

数据库sql语句单表查询

简单的增删改查操作 select count(*) from user where accountadmin and password123456 select count(*) from user where account"admin" insert into user(account,password) values ("admin","777") update user set password "666&…...

编程日记 2024/12/29 22:59:16

Linux高级--2.4.2 linux TCP 系列操作函数 -- 深层理解

一、操作函数简介 在 Linux 中，TCP（传输控制协议）操作涉及多种系统调用和函数，通常用来创建套接字、连接、发送/接收数据、关闭连接等。以下是一些常用的 TCP 操作函数和它们的简要说明： 1. socket() 函数原型: int…...

编程日记 2024/12/29 22:50:06

科技快讯 | 水滴筹成为民政部指定个人求助网络服务平台；小米超级小爱首次向正式版用户开放；腾讯发布全球首个重症医疗大模型

本地 AI 开发利器，初探微软 Win11 AI Dev Gallery 功能 12月27日，科技媒体Windows Latest报道，微软推出AI Dev Gallery功能，助力开发者集成端侧AI。该功能支持Windows 10/11，提供25个示例模型，涵盖多领域。…...

编程日记 2024/12/29 22:48:03

强化特种作业管理，筑牢安全生产防线

在各类生产经营活动中，特种作业由于其操作的特殊性和高风险性，一直是安全生产管理的重点领域。有效的特种作业管理体系涵盖多个关键方面，从作业人员的资质把控到安全设施的配备维护，再到特种设备的精细管理以及作业流程的严格规范…...

编程日记 2024/12/29 22:44:54

跨语言学习之C++ 和 Python 的赋值操作 (等号“=“) 的区别

C++ 和 Python 的赋值操作（等号 =）在底层机制和表现行为上有显著区别，主要体现在变量与对象的关系、内存管理和对象类型等方面。以下是两者的详细对比： 1. 变量与对象的关系 Python： 变量是对象的引用，赋值操作是将变量指向某个对象的内存地址。多个变量可以指向同一个对…...

编程日记 2024/12/29 22:42:52

【操作系统】如何创建一个守护进程

守护进程（Daemon）是一类在后台运行的特殊进程，它们通常不与任何终端或用户直接交互，而是执行特定的系统任务或等待系统或网络事件的发生。守护进程是操作系统中不可或缺的一部分，它们负责执行各种后台任务，…...

编程日记 2024/12/29 22:41:51

常见显示方案

常见的屏幕 LED段码屏幕 LED点阵屏 本质上是小LED组成的阵列 显示架构为 ： 显示内容（MCU内部）————通信接口———对应的LED显示 多使用1640等LED专用驱动 通信方式 两线串行接口（SCLK，DIN）IIC SPI 等…...

编程日记 2024/12/29 22:39:50

USB Hub 检测设备

系列文章目录 xHCI 简单分析 USB Root Hub 分析 USB Hub 检测设备 文章目录 系列文章目录一、引言二、hub_eventshub_port_connect_changeusb_alloc_devusb_set_device_statehub_port_initusb_new_device 一、引言 USB Hub 检测设备 一文中讲到，当有 USB 插入时&…...

编程日记 2024/12/29 22:37:48

安卓开发使用Gemini高效AI开发-Android Studio 中使用Gemini

Gemini 是Android Studio最新版本中内嵌的AI工具，它可以通过代码补全、解释代码、提供改进建议、错误分析等方式帮助开发者提高编码效率。当然，与目前大多数AI工具一样，Gemini有时可能会"非常自信"地提供不准确、错误的信息&#x…...

编程日记 2024/12/29 22:36:47

wangEditor富文本插件在vue项目中使用和媒体上传的实现

wangEditor是前端一个比较流行的简洁易用，功能强大的前端富文本编辑器，支持 JS Vue React，提供了很多丰富的功能，下面手把手教你实现wangWditor富文本插件在vue项目中配置，保存、图片上传等功能。无脑ctrlc即可 基本功…...

编程日记 2024/12/29 22:34:45

ESP-IDF学习记录（2）ESP-IDF 扩展的简单使用

傻瓜式记录一个示例的打开，编译，运行。后面我再一个个运行简单分析每个demo的内容。 1.打开示例代码 2.选择项目，文件夹 3.选择串口 4.选择调试方式 5.根据硬件GPIO口配置menuconfig 6.构建项目 7.烧录设备，选择串口UART方式 运行…...

编程日记 2024/12/29 22:32:41

基于大模型的 UI 自动化系统

基于大模型的 UI 自动化系统 下面是一个完整的 Python 系统，利用大模型实现智能 UI 自动化，结合计算机视觉和自然语言处理技术，实现"看屏操作"的能力。 系统架构设计 #mermaid-svg-2gn2GRvh5WCP2ktF {font-family:"trebuchet ms",verdana,arial,sans-…...

编程新知 2025/10/22 11:16:20

黑马Mybatis

Mybatis 表现层&#xff1a;页面展示 业务层&#xff1a;逻辑处理 持久层&#xff1a;持久数据化保存 在这里插入图片描述 Mybatis快速入门 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/6501c2109c4442118ceb6014725e48e4.png //logback.xml <?xml ver…...

编程新知 2026/1/22 14:22:27

前端倒计时误差!

提示：记录工作中遇到的需求及解决办法 文章目录 前言一、误差从何而来？二、五大解决方案1. 动态校准法（基础版）2. Web Worker 计时3. 服务器时间同步4. Performance API 高精度计时5. 页面可见性API优化三、生产环境最佳实践四、终极解决方案架构前言 前几天听说公司某个项…...

编程新知 2025/9/8 23:14:43

QMC5883L的驱动

简介 本篇文章的代码已经上传到了github上面&#xff0c;开源代码 作为一个电子罗盘模块&#xff0c;我们可以通过I2C从中获取偏航角yaw&#xff0c;相对于六轴陀螺仪的yaw&#xff0c;qmc5883l几乎不会零飘并且成本较低。 参考资料 QMC5883L磁场传感器驱动 QMC5883L磁力计…...

编程新知 2026/1/2 4:05:05

鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院查看报告小程序

一、开发环境准备 ​​工具安装​​&#xff1a; 下载安装DevEco Studio 4.0&#xff08;支持HarmonyOS 5&#xff09;配置HarmonyOS SDK 5.0确保Node.js版本≥14 ​​项目初始化​​&#xff1a; ohpm init harmony/hospital-report-app 二、核心功能模块实现 1. 报告列表…...

编程新知 2026/2/1 4:17:33

LINUX 69 FTP 客服管理系统 man 5 /etc/vsftpd/vsftpd.conf

FTP 客服管理系统 实现kefu123登录&#xff0c;不允许匿名访问&#xff0c;kefu只能访问/data/kefu目录&#xff0c;不能查看其他目录 创建账号密码 useradd kefu echo 123|passwd -stdin kefu [rootcode caozx26420]# echo 123|passwd --stdin kefu 更改用户 kefu 的密码…...

编程新知 2026/1/25 9:03:19

SQL慢可能是触发了ring buffer

简介 最近在进行 postgresql 性能排查的时候，发现 PG 在某一个时间并行执行的 SQL 变得特别慢。最后通过监控监观察到并行发起得时间 buffers_alloc 就急速上升，且低水位伴随在整个慢 SQL，一直是 buferIO 的等待事件，此时也没有其他会话的争抢。SQL 虽然不是高效 SQL ，但…...

编程新知 2025/10/2 9:17:52

Java求职者面试指南：计算机基础与源码原理深度解析

Java求职者面试指南&#xff1a;计算机基础与源码原理深度解析 第一轮提问&#xff1a;基础概念问题 1. 请解释什么是进程和线程的区别&#xff1f; 面试官&#xff1a;进程是程序的一次执行过程&#xff0c;是系统进行资源分配和调度的基本单位&#xff1b;而线程是进程中的…...

编程新知 2025/12/9 14:22:07

【JavaSE】多线程基础学习笔记

多线程基础 -线程相关概念 程序&#xff08;Program&#xff09; 是为完成特定任务、用某种语言编写的一组指令的集合简单的说:就是我们写的代码 进程 进程是指运行中的程序&#xff0c;比如我们使用QQ&#xff0c;就启动了一个进程&#xff0c;操作系统就会为该进程分配内存…...

编程新知 2025/9/12 0:57:34

Python 实现 Web 静态服务器（HTTP 协议）

目录 一、在本地启动 HTTP 服务器1. Windows 下安装 node.js1&#xff09;下载安装包2&#xff09;配置环境变量3&#xff09;安装镜像4&#xff09;node.js 的常用命令 2. 安装 http-server 服务3. 使用 http-server 开启服务1&#xff09;使用 http-server2&#xff09;详解 …...

编程新知 2026/1/29 2:11:49