当前位置：首页 > news >正文

LongLLMLingua: 长上下文场景的智能提示压缩框架

news 2025/11/9 17:35:30

一、框架概述

核心目标

解决长上下文场景下的计算成本问题
降低处理延迟
提升模型性能表现

创新特点

问题感知的粗到细压缩策略
文档重排序机制
动态压缩比例控制
压缩后的子序列恢复策略

二、技术方法详解

粗粒度压缩
(a) 文档评分机制

使用文档级困惑度(perplexity)计算重要性分数r_k
困惑度越低表示模型预测越准确,文档越重要
评分公式: 结合问题文本(x_que)和限制文本(x_restrict)计算

(b) 低困惑度文档筛选

保留最相关的K’个文档
通过阈值动态调整保留数量

细粒度压缩
(a) 重要性评估

分别评估指令(x_ins)、问题(x_que)和文档中每个标记
采用迭代压缩机制
直接计算标记级困惑度

(b) 对比困惑度创新

引入对比困惑度概念
计算问题条件下的分布偏移
更准确识别问题相关标记

信息重排序策略

基于文档重要性分数进行重新排序
将关键信息置于文档前部
缓解中间信息丢失问题

动态压缩控制

初始预算确定(τ_doc)
根据文档重要性动态分配压缩预算
使用线性调度器进行自适应分配
预算分配公式包含文档数量(Nd)和控制参数(δτ)

三、实验评估

评估环境
数据集:

NaturalQuestions
LongBench
ZeroSCROLLS

对比基线:

检索类方法:BM25、Gzip、Sentence-BERT、OpenAI Embedding
压缩类方法:Selective Context、LLMLingua

目标模型:

GPT-3.5-Turbo-06134
LongChat-13B-16k

性能表现
(a) 效果性能

在各种压缩比例下保持领先
显著减少输入标记数量
维持较高的任务准确率

(b) 效率提升

响应延迟大幅降低
API调用时间明显缩短
压缩率越高,效率提升越明显

消融实验结果

问题感知机制贡献显著
动态压缩比例证明必要
子序列恢复策略效果明显
SBERT用于粗粒度压缩效果较差

四、技术优势总结

信息保留

高效保留问题相关信息
维持关键实体完整性
减少中间信息丢失

自适应能力

智能调节压缩比例
动态分配压缩预算
灵活应对不同场景

实用价值

降低计算资源消耗
提升处理效率
保持模型性能

LongLLMLingua: 长上下文场景的智能提示压缩框架

LongLLMLingua: 长上下文场景的智能提示压缩框架一、框架概述核心目标解决长上下文场景下的计算成本问题降低处理延迟提升模型性能表现创新特点问题感知的粗到细压缩策略文档重排序机制动态压缩比例控制压缩后的子序列恢复策略二、技术方法详解粗粒度压缩 (a) 文…...

编程日记 2024/12/29 23:30:48

Django serializers：把ValidationError处理的更优雅

开发中必不可少的会对参数做各种校验，必填、唯一等等，这个时候我们需要在校验失败时抛出友好、清晰的提示。直接使用serializers做校验，虽然也能抛出自定义的错误提示，但是其信息格式是嵌套，并不适合直接反映在前端页…...

编程日记 2024/12/29 23:18:37

CASA（Carnegie-Ames-Stanford Approach）模型原理及实践技术

植被作为陆地生态系统的重要组成部分对于生态环境功能的维持具有关键作用。植被净初级生产力（Net Primary Productivity, NPP）是指单位面积上绿色植被在单位时间内由光合作用生产的有机质总量扣除自养呼吸的剩余部分。专题（一）C…...

编程日记 2024/12/29 23:16:35

【HarmonyOS之旅】ArkTS语法(一)

目录 1 -> 基本UI描述 1.1 -> 基本概念 1.2 -> UI描述规范 1.2.1 -> 无参数构造配置 1.2.2 -> 必选参数构造配置 1.2.3 -> 属性配置 1.2.4 -> 事件配置 1.2.5 -> 子组件配置 2 -> 状态管理 2.1 -> 基本概念 2.2 -> 页面级变量的状…...

编程日记 2024/12/29 23:14:33

【畅购电商】项目总结

目录 1. 电商项目架构图 1.1 系统架构 1.2 技术架构 2. 介绍电商项目 2.1 后台和前台、后端和前端 2.2 Vue全家桶包含哪些技术？ 2.3 什么是Vuex？ 2.4 什么是SSR 2.5 电商模式是什么？ 2.6 枚举类 2.7 elasticsearch相关 2.8 gatew…...

编程日记 2024/12/29 23:13:31

python|利用ffmpeg按顺序合并指定目录内的ts文件

前言： 有的时候我们利用爬虫爬取到的ts文件很多，但ts文件只是视频片段，并且这些视频片段是需要按照一定的顺序合并的，通常ts文件合并输出格式为mp4格式因此，本文介绍利用python，调用ffmpeg来批量的按自己…...

编程日记 2024/12/29 23:12:30

IP属地和所在地不一致什么意思？怎么换成另外一个地方的

在数字化时代，IP地址作为网络设备的唯一标识符，不仅关乎设备间的通信，还涉及到用户的网络身份与位置信息。然而，有时我们会发现，社交媒体或网络平台上显示的IP属地与用户的实际所在地并不一致。这种不一致现象引发了诸…...

编程日记 2024/12/29 23:08:27

Hive其十，优化和数据倾斜

目录 Hive优化 1、开启本地模式 2、explain分析SQL语句 3、修改Fetch操作 4、开启hive的严格模式【提高了安全性】 5、JVM重用 6、分区、分桶以及压缩 7、合理设置map和reduce的数量合理设置map数量： 设置合理的reducer的个数 8、设置并行执行 9、CBO优…...

编程日记 2024/12/29 23:04:23

matlab reshape permute

1.reshape 将向量按照顺序重新构建矩阵，新矩阵先排完第一列， 再第二列… 2.permute 将向量维度变换...

编程日记 2024/12/29 23:02:19

简单的增删改查操作 select count(*) from user where accountadmin and password123456 select count(*) from user where account"admin" insert into user(account,password) values ("admin","777") update user set password "666&…...

编程日记 2024/12/29 22:59:16

Linux高级--2.4.2 linux TCP 系列操作函数 -- 深层理解

一、操作函数简介在 Linux 中，TCP（传输控制协议）操作涉及多种系统调用和函数，通常用来创建套接字、连接、发送/接收数据、关闭连接等。以下是一些常用的 TCP 操作函数和它们的简要说明： 1. socket() 函数原型: int…...

编程日记 2024/12/29 22:50:06

科技快讯 | 水滴筹成为民政部指定个人求助网络服务平台；小米超级小爱首次向正式版用户开放；腾讯发布全球首个重症医疗大模型

本地 AI 开发利器，初探微软 Win11 AI Dev Gallery 功能 12月27日，科技媒体Windows Latest报道，微软推出AI Dev Gallery功能，助力开发者集成端侧AI。该功能支持Windows 10/11，提供25个示例模型，涵盖多领域。…...

编程日记 2024/12/29 22:48:03

强化特种作业管理，筑牢安全生产防线

在各类生产经营活动中，特种作业由于其操作的特殊性和高风险性，一直是安全生产管理的重点领域。有效的特种作业管理体系涵盖多个关键方面，从作业人员的资质把控到安全设施的配备维护，再到特种设备的精细管理以及作业流程的严格规范…...

编程日记 2024/12/29 22:44:54

跨语言学习之C++ 和 Python 的赋值操作 (等号“=“) 的区别

C++ 和 Python 的赋值操作（等号 =）在底层机制和表现行为上有显著区别，主要体现在变量与对象的关系、内存管理和对象类型等方面。以下是两者的详细对比： 1. 变量与对象的关系 Python：变量是对象的引用，赋值操作是将变量指向某个对象的内存地址。多个变量可以指向同一个对…...

编程日记 2024/12/29 22:42:52

【操作系统】如何创建一个守护进程

守护进程（Daemon）是一类在后台运行的特殊进程，它们通常不与任何终端或用户直接交互，而是执行特定的系统任务或等待系统或网络事件的发生。守护进程是操作系统中不可或缺的一部分，它们负责执行各种后台任务，…...

编程日记 2024/12/29 22:41:51

常见显示方案

常见的屏幕 LED段码屏幕 LED点阵屏本质上是小LED组成的阵列显示架构为 ： 显示内容（MCU内部）————通信接口———对应的LED显示多使用1640等LED专用驱动通信方式两线串行接口（SCLK，DIN）IIC SPI 等…...

编程日记 2024/12/29 22:39:50

USB Hub 检测设备

系列文章目录 xHCI 简单分析 USB Root Hub 分析 USB Hub 检测设备文章目录系列文章目录一、引言二、hub_eventshub_port_connect_changeusb_alloc_devusb_set_device_statehub_port_initusb_new_device 一、引言 USB Hub 检测设备一文中讲到，当有 USB 插入时&…...

编程日记 2024/12/29 22:37:48

安卓开发使用Gemini高效AI开发-Android Studio 中使用Gemini

Gemini 是Android Studio最新版本中内嵌的AI工具，它可以通过代码补全、解释代码、提供改进建议、错误分析等方式帮助开发者提高编码效率。当然，与目前大多数AI工具一样，Gemini有时可能会"非常自信"地提供不准确、错误的信息&#x…...

编程日记 2024/12/29 22:36:47

wangEditor富文本插件在vue项目中使用和媒体上传的实现

wangEditor是前端一个比较流行的简洁易用，功能强大的前端富文本编辑器，支持 JS Vue React，提供了很多丰富的功能，下面手把手教你实现wangWditor富文本插件在vue项目中配置，保存、图片上传等功能。无脑ctrlc即可基本功…...

编程日记 2024/12/29 22:34:45

ESP-IDF学习记录（2）ESP-IDF 扩展的简单使用

傻瓜式记录一个示例的打开，编译，运行。后面我再一个个运行简单分析每个demo的内容。 1.打开示例代码 2.选择项目，文件夹 3.选择串口 4.选择调试方式 5.根据硬件GPIO口配置menuconfig 6.构建项目 7.烧录设备，选择串口UART方式运行…...

编程日记 2024/12/29 22:32:41

KubeSphere 容器平台高可用：环境搭建与可视化操作指南

Linux_k8s篇欢迎来到Linux的世界，看笔记好好学多敲多打，每个人都是大神！ 题目：KubeSphere 容器平台高可用：环境搭建与可视化操作指南版本号: 1.0,0 作者: 老王要学习日期: 2025.06.05 适用环境: Ubuntu22 文档说…...

编程新知 2025/11/9 15:18:28

挑战杯推荐项目

“人工智能”创意赛 - 智能艺术创作助手：借助大模型技术，开发能根据用户输入的主题、风格等要求，生成绘画、音乐、文学作品等多种形式艺术创作灵感或初稿的应用，帮助艺术家和创意爱好者激发创意、提高创作效率。 - 个性化梦境…...

编程新知 2025/11/6 5:46:16

sqlserver 根据指定字符解析拼接字符串

DECLARE LotNo NVARCHAR(50)A,B,C DECLARE xml XML ( SELECT <x> REPLACE(LotNo, ,, </x><x>) </x> ) DECLARE ErrorCode NVARCHAR(50) -- 提取 XML 中的值 SELECT value x.value(., VARCHAR(MAX))…...

编程新知 2025/10/29 4:33:03

什么？连接服务器也能可视化显示界面？：基于X11 Forwarding + CentOS + MobaXterm实战指南

文章目录什么是X11？环境准备实战步骤1️⃣ 服务器端配置（CentOS）2️⃣ 客户端配置（MobaXterm）3️⃣ 验证X11 Forwarding4️⃣ 运行自定义GUI程序(Python示例)5️⃣ 成功效果![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/55aefaea8a9f477e86d065227851fe3d.pn…...

编程新知 2025/10/2 17:12:14

今日学习：Spring线程池|并发修改异常|链路丢失|登录续期|VIP过期策略|数值类缓存

文章目录优雅版线程池ThreadPoolTaskExecutor和ThreadPoolTaskExecutor的装饰器并发修改异常并发修改异常简介实现机制设计原因及意义使用线程池造成的链路丢失问题线程池导致的链路丢失问题发生原因常见解决方法更好的解决方法设计精妙之处登录续期登录续期常见实现方式特…...

编程新知 2025/9/17 22:26:02

毫米波雷达基础理论（3D+4D）

3D、4D毫米波雷达基础知识及厂商选型 PreView : https://mp.weixin.qq.com/s/bQkju4r6med7I3TBGJI_bQ 1. FMCW毫米波雷达基础知识主要参考博文： 一文入门汽车毫米波雷达基本原理 ：https://mp.weixin.qq.com/s/_EN7A5lKcz2Eh8dLnjE19w 毫米波雷达基础…...

编程新知 2025/11/8 23:43:54