当前位置： 首页 > news >正文

极智AI | 大模型优化之KV Cache

news 2026/2/10 8:42:05

欢迎关注我的公众号 [极智视界]，获取我的更多经验分享

大家好，我是极智视界，本文来介绍一下 大模型优化之KV Cache。

邀您加入我的知识星球「极智视界」，星球内有超多好玩的项目实战源码下载，链接：https://t.zsxq.com/0aiNxERDq

在大模型的优化中经常会听到的一个技术叫 KV Cache，要理解这个技术需要你有基本的大模型概念以及 Transformer 基础。KV Cache 的全称是 key-value cache，可以简单理解为对大模型推理过程中的 key-value 缓存的优化。如果不对大模型推理过程中的 key-value 缓存进行优化，它会随着对话的增加而不断增加，也就是所占用的内存会不断动态增加，而且这种动态内存增加是不太可控的，这就像软件里的内存溢出一样。不去做 KV Cache，会对大规模推理造成几个压力：(1) 频繁的开辟增加内存；(2) 内存很快就不够用了；(3) 增加了很多冗余矩阵计算量。所以进行 KV 缓存优化是大规模训练、推理里很重要的一个环节。KV Cache 采用以空间换时间的思想，复用上次推理的 KV 缓存，可以极大降低内存压力、提高推理性能，而且不会影响任何计算精度。

以 GPT 为代表的一个 token 一个 token 往外蹦的 AIGC 大模型为例，里面最主要的结构就是 transformer 中的 self-attention 结构的堆叠，实质是将之前计算过的 key-val

相关文章：

极智AI | 大模型优化之KV Cache

欢迎关注我的公众号 [极智视界]，获取我的更多经验分享 大家好，我是极智视界，本文来介绍一下 大模型优化之KV Cache。 邀您加入我的知识星球「极智视界」，星球内有超多好玩的项目实战源码下载，链接：https://t.zsxq.com/0aiNxERDq 在大模型的优化中经常会听到的一个技术叫…...

编程日记 2023/10/9 23:01:39

Android 使用 registerForActivityResult() 打开系统相册或相机获取图像

一、简介 当使用了 AndroidX 后，发现 startActivityForResult() 标记为过时了，而是推荐我们使用 registerForActivityResult() 函数。 registerForActivityResult() 函数是 Android 中用于启动 Activity 结果回调的新方式。这个函数的目的是简化在 Act…...

编程日记 2023/10/9 23:00:38

如何制作网页 ico

1. 制作 icon 可以通过 https://www.iconfont.cn/collections/detail?spma313x.7781069.1998910419.de12df413&cid13720 或者自己在 PPT 制作，然后截图导出png 文件。 2. 转换为 ico 文件 使用：https://www.bitbug.net/ 上传并且转换成自己要的…...

编程日记 2023/10/9 22:58:36

golang gorm 增删改查以及使用原生SQL（以操作mysql为例）

gorm mysql增删改查 model定义 package _caseimport "gorm.io/gorm"func init() {DB.Migrator().AutoMigrate(Teacher{}, Course{}) } type Roles []stringtype Teacher struct {gorm.ModelName string gorm:"size:256"Email string gorm:&q…...

编程日记 2023/10/9 22:57:36

代码随想录 单调栈part2

503. 下一个更大元素 II 给定一个循环数组 nums （ nums[nums.length - 1] 的下一个元素是 nums[0] ），返回 nums 中每个元素的 下一个更大元素 。 数字 x 的 下一个更大的元素 是按数组遍历顺序，这个数字之后的第一个比它更大的数…...

编程日记 2023/10/9 22:56:34

详解利用高斯混合模型拆解多模态分布 + 精美可视化

文章目录 一、前言二、主要内容三、总结🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/ 一、前言 本文旨在介绍如何利用高斯混合模型（Gaussian Mixture Models，简称 GMMs）将一维多模态分布拆分为多个分布。作为统计 / / /机器学习领域常用的概率模型...

编程日记 2023/10/9 22:55:33

排序算法之【归并排序】

📙作者简介： 清水加冰，目前大二在读，正在学习C/C、Python、操作系统、数据库等。 📘相关专栏：C语言初阶、C语言进阶、C语言刷题训练营、数据结构刷题训练营、有感兴趣的可以看一看。 欢迎点赞 &#x1f44d…...

编程日记 2023/10/9 22:54:32

Qt中QTimer定时器的用法

Qt中提供了两种定时器的方式一种是使用Qt中的事件处理函数，另一种就是Qt中的定时器类QTimer。 使用QTimer类，需要创建一个QTimer类对象，然后调用其start()方法开启定时器，此后QTimer对象就会周期性的发出timeout()信号。 1.QTimer…...

编程日记 2023/10/9 22:53:31

vue-组件定义注册使用

vue组件使用的步骤 定义组件注册组件使用组件 定义组件 Vue.extend(options) 其中options和new Vue(options)出入的options对象几乎一样，但是也有不同。 创建 el不用写—最终所有组件需要经过一个vm的管理，由vm的el决定服务哪个容器。 data必须写成函…...

编程日记 2023/10/9 22:52:30

斑馬打印機打印中文

创建项目 首先說一下，本文章是借鉴了其他大佬的文章，然后我记录一下的文章。 首先创建好一个.net framework的winform项目。 这里面主要用到两个库文件： Fnthex32.dll、LabelPrint.dll。 Fnthex32这个有8位参数和9位参数的，我这…...

编程日记 2023/10/9 22:51:29

（一）Apache log4net™ 手册 - 介绍

0、相关概念 Log4j 几乎每个大型应用程序都包含自己的日志记录或跟踪 API。根据这一规则，E.U. SEMPER 🌹项目决定编写自己的跟踪 API。那是在 1996 年初。经过无数次的增强、几个化身和大量的工作，API 已经发展成为 log4j —— 一个流行的 Ja…...

编程日记 2023/10/9 22:50:28

基于Java的民宿管理系统设计与实现(源码+lw+部署文档+讲解等)（民宿预约、民宿预订、民宿管理、酒店预约通用）

文章目录 前言具体实现截图论文参考详细视频演示代码参考源码获取 前言 💗博主介绍：✌全网粉丝10W,CSDN特邀作者、博客专家、CSDN新星计划导师、全栈领域优质创作者，博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技…...

编程日记 2023/10/9 22:49:27

039：mapboxGL更换地图上的鼠标样式

第039个 点击查看专栏目录 本示例的目的是介绍演示如何在vue+mapbox中更换地图上的鼠标的样式。 直接复制下面的 vue+mapbox源代码，操作2分钟即可运行实现效果 文章目录 示例效果配置方式示例源代码（共74行）相关API参考：专栏目标示例效果 配置方式 1）查看基础设置：htt…...

编程日记 2023/10/9 22:47:24

【云原生】K8S对外服务之Ingress

目录 一、Ingress 简介1.1Ingress 组成1.3Ingress-Nginx 工作原理 二、部署 nginx-ingress-controller2.1部署ingress-controller Pod及相关资源2.2ingress 暴露服务的方式2.3 采用方式二：DaemonSetHostNetworknodeSelector 三、采用方式二：DeploymentNo…...

编程日记 2023/10/9 22:46:23

分布式锁如何实现

分布式是现在的比较主流的技术，常常和微服务一起出现。那么对于多个实例之间，如何证分布式系统中多个进程或线程同步访问共享资源呢？我们其实一想到的就是锁，我们在java里边有 synchronized, 在python里有lock，但是这个…...

编程日记 2023/10/9 22:45:22

Mysql存储-EAV模式

Mysql存储-EAV模式 最近又又又搞一点新东西，要整合不同业务进行存储和查询，一波学习过后总结了一下可扩展性MAX的eav模式存储。 在eav这里的数据结构设计尤为关键，需要充分考虑你需要使用的字段、使用场景，当数据结构设计完成后便…...

编程日记 2023/10/9 22:44:21

全局变量报错：\Output\STM32.axf: Error: L6218E: Undefined symbol

全局变量报错： .\Output\STM32.axf: Error: L6218E: Undefined symbol key_num (referred from main.o). 这里只说全局变量哦，这是因为你在调用的.c文件里 把定义写在了函数里面，写函数外面就没事了 改为： .h的声明文件根本不用写…...

编程日记 2023/10/9 22:43:20

算法错题簿（持续更新）

自用算法错题簿，按算法与数据结构分类 python1、二维矩阵：记忆化搜索dp2、图论：DFS3、回溯：129612964、二叉树：贪心算法5、字符串：记忆化搜索6、01字符串反转：结论题7、二进制数：逆向…...

编程日记 2023/10/9 22:42:19

基于Springboot实现疫情网课管理系统项目【项目源码+论文说明】

基于Springboot实现疫情网课管理系统演示 摘要 随着科学技术的飞速发展，各行各业都在努力与现代先进技术接轨，通过科技手段提高自身的优势；对于疫情网课管理系统当然也不能排除在外，随着网络技术的不断成熟，带动了疫情…...

编程日记 2023/10/9 22:41:18

Linux文件与目录的增删改查

一、增 1、mkdir命令 作用： 创建一个新目录。 格式： mkdir [选项] 要创建的目录 常用参数： -p：创建目录结构中指定的每一个目录，如果目录不存在则创建，如果目录已存在也不会被覆盖。 用法示例&a…...

编程日记 2023/10/9 22:39:15

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …...

编程新知 2026/2/8 4:37:37

国防科技大学计算机基础课程笔记02信息编码

1.机内码和国标码 国标码就是我们非常熟悉的这个GB2312,但是因为都是16进制&#xff0c;因此这个了16进制的数据既可以翻译成为这个机器码&#xff0c;也可以翻译成为这个国标码&#xff0c;所以这个时候很容易会出现这个歧义的情况&#xff1b; 因此&#xff0c;我们的这个国…...

编程新知 2026/2/8 4:37:15

Android Wi-Fi 连接失败日志分析

1. Android wifi 关键日志总结 (1) Wi-Fi 断开 (CTRL-EVENT-DISCONNECTED reason3) 日志相关部分&#xff1a; 06-05 10:48:40.987 943 943 I wpa_supplicant: wlan0: CTRL-EVENT-DISCONNECTED bssid44:9b:c1:57:a8:90 reason3 locally_generated1解析&#xff1a; CTR…...

编程新知 2025/9/14 19:44:52

大型活动交通拥堵治理的视觉算法应用

大型活动下智慧交通的视觉分析应用 一、背景与挑战 大型活动&#xff08;如演唱会、马拉松赛事、高考中考等&#xff09;期间&#xff0c;城市交通面临瞬时人流车流激增、传统摄像头模糊、交通拥堵识别滞后等问题。以演唱会为例&#xff0c;暖城商圈曾因观众集中离场导致周边…...

编程新知 2026/1/23 7:15:40

2.Vue编写一个app

1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template> <!--html--> </template>…...

编程新知 2026/1/31 6:04:01

Neo4j 集群管理：原理、技术与最佳实践深度解析

Neo4j 的集群技术是其企业级高可用性、可扩展性和容错能力的核心。通过深入分析官方文档，本文将系统阐述其集群管理的核心原理、关键技术、实用技巧和行业最佳实践。 Neo4j 的 Causal Clustering 架构提供了一个强大而灵活的基石，用于构建高可用、可扩展且一致的图数据库服务…...

编程新知 2025/12/27 16:43:24

QT： `long long` 类型转换为 `QString` 2025.6.5

在 Qt 中&#xff0c;将 long long 类型转换为 QString 可以通过以下两种常用方法实现&#xff1a; 方法 1&#xff1a;使用 QString::number() 直接调用 QString 的静态方法 number()&#xff0c;将数值转换为字符串&#xff1a; long long value 1234567890123456789LL; …...

编程新知 2026/2/1 6:30:04

【网络安全】开源系统getshell漏洞挖掘

审计过程&#xff1a; 在入口文件admin/index.php中&#xff1a; 用户可以通过m,c,a等参数控制加载的文件和方法&#xff0c;在app/system/entrance.php中存在重点代码&#xff1a; 当M_TYPE system并且M_MODULE include时&#xff0c;会设置常量PATH_OWN_FILE为PATH_APP.M_T…...

编程新知 2026/1/31 2:59:25

书籍“之“字形打印矩阵(8)0609

题目 给定一个矩阵matrix&#xff0c;按照"之"字形的方式打印这个矩阵&#xff0c;例如&#xff1a; 1 2 3 4 5 6 7 8 9 10 11 12 ”之“字形打印的结果为&#xff1a;1&#xff0c;…...

编程新知 2025/12/6 11:14:42

02.运算符

目录 什么是运算符 算术运算符 1.基本四则运算符 2.增量运算符 3.自增/自减运算符 关系运算符 逻辑运算符 &&&#xff1a;逻辑与 ||&#xff1a;逻辑或 &#xff01;&#xff1a;逻辑非 短路求值 位运算符 按位与&&#xff1a; 按位或 | 按位取反~ …...

编程新知 2026/2/6 15:27:20