当前位置： 首页 > article >正文

LLM动态Shape实现原理与核心技术

article 2026/2/22 9:54:12

LLM动态Shape实现原理与核心技术

目录

    • LLM动态Shape实现原理与核心技术
        • 1. **动态Shape核心原理**
        • 2. **实现方法与关键技术**
        • 3. **示例：vLLM处理动态长度输入**
        • 4. **动态Shape vs 静态Shape对比**
        • 5. **性能优化案例**
      • 总结
    • `SamplingParams` 是什么
      • 常见参数及作用
      • 使用示例

1. 动态Shape核心原理

大语言模型（LLM）的动态Shape指模型在推理时能处理任意长度的输入序列（如对话轮次、文本生成长度变化），无需重新编译或固定输入尺寸。其核心原理包括：

  • 内存动态分配：根据输入序列长度实时调整内存分配，避免固定尺寸预分配导致的资源浪费。
  • 计算图动态调整：在运行时根据输入长度动态生成计算步骤，例如Transformer的注意力层数、循环次数等。
  • 变长序列编码：使用可扩展的位置编码（如相对位置编码）替代固定长度的绝对位置编码，支持序列长度灵活扩展。
2. 实现方法与关键技术
  • 框架支持：
    • TensorRT：通过设置动态轴（Dynamic Axis）允许输入Shape变化，优化引擎时自动处理不同长度的序列。
    • vLLMÿ

相关文章：

LLM动态Shape实现原理与核心技术

LLM动态Shape实现原理与核心技术 目录 LLM动态Shape实现原理与核心技术1. **动态Shape核心原理**2. **实现方法与关键技术**3. **示例：vLLM处理动态长度输入**4. **动态Shape vs 静态Shape对比**5. **性能优化案例**总结`SamplingParams` 是什么常见参数及作用使用示例1. 动态…...

编程日记 2025/4/1 22:06:44

MyBatis 语法不支持 having 节点

MyBatis 不支持 having 节点 比如在 GROUP BY 之后添加了 HAVING 子句，其内容为SUM(vsbsad.business_income) > 0，该子句会对分组后的 SUM(vsbsad.business_income) 结果进行过滤，仅保留求和结果不为负数的分组记录。但是试过不支持。可把…...

编程日记 2025/4/2 4:24:44

【redis】事务详解，相关命令multi、exec、discard 与 watch 的原理

文章目录 什么是事务原子性一致性持久性隔离性 优势与 MySQL 对比用处 事务相关命令开启事务——MULTI执行事务——EXEC放弃当前事务——DISCARD监控某个 key——WATCH作用场景使用方法实现原理 事务总结 什么是事务 MySQL 事务： 原子性：把多个操作&am…...

编程日记 2026/2/14 5:47:27

数据库基础知识点（系列七）

视图和索引相关的语句 1．引入视图的主要目的是什么? 答：数据库的基本表是按照数据库设计人员的观点设计的，并不一定符合用户的需求。SQL Server 2008可以根据用户需求重新定义表的数据结构，这种数据结构就是视图。视图是关系数据…...

编程日记 2026/2/13 9:56:07

FreeRTOS 队列结构体 xQUEUE 深度解析

一、核心成员与功能设计 FreeRTOS 的队列结构体 xQUEUE 是任务间通信（IPC）的核心数据结构，通过统一的设计支持队列、信号量、互斥量等多种同步机制。其设计体现了 ​**"数据拷贝 结构复用"** 的理念，兼顾轻量化与扩展…...

编程日记 2025/8/15 19:08:03

3.3 Taylor公式

1.定义 1.1 taylor公式 1.2 麦克劳林公式 1.3 推论 1.4 拉格朗日余项和皮亚诺型余项 2. 例题 3.几种特殊函数的麦克劳林展开...

编程日记 2026/2/13 22:48:21

2000-2019年各省地方财政行政事业性收费收入数据

2000-2019年各省地方财政行政事业性收费收入数据 1、时间：2000-2019年 2、来源：国家统计局、统计年鉴 3、指标：行政区划代码、地区、年份、地方财政行政事业性收费收入 4、范围：31省 5、指标说明：地方财政行政事业…...

编程日记 2026/2/20 7:56:35

Ftrans飞驰云联受邀参加“2025汽车零部件CIO年会“并荣获智象奖

2025年3月6日，由栖观汽车、栖观资讯和飞羽商务主办的“2025第二届中国汽车&零部件CIO年会暨智象奖颁奖盛典”于上海盛大召开，Ftrans飞驰云联作为国内领先的企业文件传输与数据交换解决方案提供商，受邀出席了年会，并凭借卓越的…...

编程日记 2026/2/22 5:52:02

C++vector常用接口和模拟实现

C中的vector是一个可变容量的数组容器，它可以像数组一样使用[]进行数据的访问，但是又不像C语言数组空间是静态的，它的空间是动态可变的。 在日常中我们只需要了解常用的接口即可，不常用的接口查文档即可。 1.构造函数 //空构造…...

编程日记 2026/2/18 17:44:32

oracle查询归档日志使用量

1.统计最近30天的数据 SELECT TRUNC(first_time, DD) "日期", SUM(blocks * block_size) / 1024 / 1024 / 1024 "大小(GB)" FROM v$archived_log WHERE first_time > SYSDATE - 30 -- 统计最近30天的数据 GROUP BY TRUNC(first_time, DD) ORDER BY 1 D…...

编程日记 2026/2/20 5:58:41

计算机二级WPS Office第七套WPS演示

解题过程...

编程日记 2026/2/20 22:29:39

2025-03-26 学习记录--C/C++-PTA 6-3 求链式表的表长

合抱之木，生于毫末；九层之台，起于累土；千里之行，始于足下。💪🏻 一、题目描述 ⭐️ 6-3 求链式表的表长 本题要求实现一个函数，求链式表的表长。 函数接口定义： &…...

编程日记 2026/2/20 0:39:16

【Mysql】事务管理：原理、操作与应用

文章目录 一、事务概述二、事务的特性（ACID）原子性（Atomicity）一致性（Consistency）隔离性（Isolation）持久性（Durability） 三、事务的操作事务的提交方式查看和…...

编程日记 2025/11/27 4:08:55

PHP框架 ThinkPHP 漏洞探测分析

目录 1. PHP历史利用最多的漏洞有哪些？ 2. 如何在信息收集的过程中收到框架信息？有什么根据？ 3. ThinkPHP框架漏洞扫描有哪些工具？红队攻击有哪些方式？ 漏洞扫描工具 红队攻击方式 4. TPscan工具的主要作用及实际…...

编程日记 2026/2/19 16:00:46

A Brief History: from GPT-1 to GPT-3

This is my reading notes of 《Developing Apps with GPT-4 and ChatGPT》. In this section, we will introduce the evolution of the OpenAI GPT medels from GPT-1 to GPT-4. GPT-1 In mid-2018, OpenAI published a paper titled “Improving Language Understanding …...

编程日记 2025/4/3 0:09:56

大模型在支气管肺癌预测及临床决策中的应用研究报告

目录 一、引言 1.1 研究背景与意义 1.2 研究目的 二、大模型预测支气管肺癌的原理与技术基础 2.1 大模型简介 2.2 数据收集与预处理 2.3 模型训练与优化 三、术前预测 3.1 病情评估 3.1.1 肿瘤大小、位置及分期预测 3.1.2 转移风险预测 3.2 手术风险预测 3.2.1 患…...

编程日记 2025/12/17 16:03:57

SylixOS 中 select 原理及使用分析

1、select接口简介 1.1 select接口使用用例 select 是操作系统多路 I/O 复用技术实现的方式之一。 select 函数允许程序监视多个文件描述符，等待所监视的一个或者多个文件描述符变为“准备好”的状态。所谓的”准备好“状态是指：文件描述符不再是阻塞状…...

编程日记 2026/2/19 1:53:36

软考笔记——软件工程基础知识

第五章节——软件工程基础知识 软件工程基础知识 第五章节——软件工程基础知识一、软件工程概述1. 计算机软件2. 软件工程基本原理3. 软件生命周期4. 软件过程 二、软件过程模型1. 瀑布模型2. 增量模型3. 演化模型（原型模型、螺旋模型)4. 喷泉模型5. 基于构建的开发…...

编程日记 2026/2/15 0:51:30

FastGPT原理分析-数据集创建第二步：处理任务的执行

概述 文章《FastGPT原理分析-数据集创建第一步》已经分析了数据集创建的第一步：文件上传和预处理的实现逻辑。本文介绍文件上传后，数据处理任务的具体实现逻辑。 数据集创建总体实现步骤 从上文可知数据集创建总体上来说分为两大步骤： &a…...

编程日记 2026/2/18 21:08:05

基于Python的3D贴图制作技术研究与实践

摘要：本文深入探讨了利用Python进行3D贴图制作的技术，介绍了Python在3D图形领域的应用优势，阐述了3D贴图的基本原理和常见类型。详细讲解了借助Python的相关库，如Pillow、OpenCV、PyTorch3D开展3D贴图制作的流程，包括纹…...

编程日记 2026/2/7 7:20:34

【MySQL数据库】视图 + 三范式

视图 视图的基本介绍 MySQL中的视图（View）是一种虚拟的表，其内容是从一个或多个基本表中检索出来的。视图可以简化复杂的查询操作，提高查询效率，同时也可以对敏感数据进行安全性控制。下面是关于MySQL视图的一些基本…...

编程日记 2026/2/18 19:45:33

STM32学习笔记之存储器映射（原理篇）

📢：如果你也对机器人、人工智能感兴趣，看来我们志同道合✨ 📢：不妨浏览一下我的博客主页【https://blog.csdn.net/weixin_51244852】 📢：文章若有幸对你有帮助，可点赞 👍…...

编程日记 2026/2/21 9:31:46

如何通过数据可视化提升管理效率

通过数据可视化提升管理效率的核心方法包括清晰展示关键指标、及时发现和解决问题、支持决策优化。其中，清晰展示关键指标尤为重要。通过数据可视化工具直观地呈现关键绩效指标（KPI），管理者能快速、准确地理解业务现状&#xff0c…...

编程日记 2026/2/19 8:00:59

数据结构：利用递推式计算next表

next 表是 KMP 算法的核心内容，下面介绍一种计算 next 表的方法：利用递推式计算 如图 6.3.1 所示，在某一趟匹配中，当对比到最后一个字符的时候，发现匹配失败（s[i] ≠ t[j]）。根据 BF 算法&…...

编程日记 2026/2/21 7:20:28

每日算法-250326

83. 删除排序链表中的重复元素 题目描述 思路 使用快慢指针遍历排序链表。slow 指针指向当前不重复序列的最后一个节点，fast 指针用于向前遍历探索。当 fast 找到一个与 slow 指向的节点值不同的新节点时，就将 slow 的 next 指向 fast，然后 …...

编程日记 2026/2/20 16:49:35

trino查询mysql报Unknown or incorrect time zone: ‘Asia/Shanghai‘

问题 trino查询mysql时报Error listing schemas for catalog mysql: java.sql.SQLNonTransientConnectionException: Could not create connection to database server. Attempted reconnect 3 times. Giving up.，trino的日志中看到Unknown or incorrect time zone…...

编程日记 2026/2/15 12:42:59

java学习笔记7——面向对象

关键字：static 类变量 静态变量的内存解析： 相关代码： public class ChineseTest {public static void main(String[] args) {System.out.println(Chinese.nation); //null 没赋值前System.out.println(Chinese.nation); //中国 静态变量赋值…...

编程日记 2026/2/20 21:44:41

leetcode day31 453+435

453 用最少数量引爆气球 有一些球形气球贴在一堵用 XY 平面表示的墙面上。墙面上的气球记录在整数数组 points ，其中points[i] [xstart, xend] 表示水平直径在 xstart 和 xend之间的气球。你不知道气球的确切 y 坐标。 一支弓箭可以沿着 x 轴从不同点 完全垂直 地…...

编程日记 2025/4/1 3:58:55

C++三大特性之继承

1.继承的概念及定义 回忆封装 C Stack类设计和C设计Stack对比。封装更好：访问限定符类的数据和方法放在一起 -> 避免底层接口的暴露，数据更加的安全，程序的耦合性更高迭代器的设计，封装了容器底层结构，在不暴露底层…...

编程日记 2026/2/20 6:19:11

PyQt QDoubleSpinBox控件用法详解

QDoubleSpinBox 是 PyQt中用于输入浮点数的控件，支持键盘输入和上下箭头调整数值。与QtSpinBox不同，QtSpinBox是用于输入整数的控件。 关键属性和方法 QDoubleSpinBox 的关键属性和方法如下表所示： 方法/属性说明setRange(min, max)设置数…...

编程日记 2025/12/7 8:24:35