大模型推理中Prefill与Decode、KV Cache三者说明

大语言模型推理基于自回归生成范式严格分为Prefill预填充与Decode解码两个阶段。二者在计算形态、访存特征、硬件瓶颈上存在本质差异。KV Cache键值缓存是实现两阶段衔接、消除重复计算的核心机制。而PD 分离Prefill-Decode Separation则是针对两阶段异构特性提出的推理调度与架构优化方案。一、大模型推理的Prefill与Decode阶段LLM基于Transformer架构的自回归生成特性决定了其推理过程需分阶段完成。Prefill阶段完成对输入提示词的并行处理与缓存构建Decode阶段则基于缓存进行串行的token生成两个阶段衔接构成完整的推理流程且各自具备鲜明的技术特征。Prefill阶段的理论计算量比较大但在整个推理过程中的耗时占比并不多。ecode阶段的理论计算量比较小但因为是串行计算按顺序生成token整个推理过程中的耗时占比较大。1.1 Prefill预填充阶段Prefill阶段是模型对用户输入的完整Prompt进行一次性编码、计算并生成首个token的批量并行计算阶段也是推理的前置核心步骤。核心流程首先对用户输入的自然语言进行Tokenization分词转换为模型可理解的token序列随后模型对所有输入token进行并行计算逐层完成Transformer的注意力机制与前馈网络FFN计算为每个token生成对应的Key键和Value值向量最后基于这些向量生成推理的首个输出token并将所有输入token的KV向量填充至KV Cache中为Decode阶段做准备。关键特征一次性处理整个Prompt序列所有计算并行完成GPU利用率接近100%属于计算密集型阶段耗时仅由原始Prompt的长度决定与后续生成的token数量无关该阶段指标为TTFTTime To First Token首Token生成时间是用户感知推理延迟的首要指标。计算瓶颈核心计算量集中在注意力机制的O ( n 2 ⋅ d ) O(n^2·d)O(n2⋅d)运算n nn为Prompt长度d dd为特征维度当Prompt序列较长时注意力矩阵的计算会成为主要瓶颈同时带来临时的高显存占用。1.2 Decode解码阶段Decode阶段是模型以Prefill阶段的输出为基础逐一生成后续每一个token的串行迭代计算阶段是自回归生成的核心过程。每一步只生成一个新 token核心流程将上一阶段生成的首个token作为输入模型复用Prefill阶段缓存的KV向量仅计算当前token的Query查询向量并通过注意力机制与历史KV向量交互随后通过LM Head得到下一个token的概率分布采样生成新token同时将新token的KV向量增量追加至KV Cache中重复此过程直至生成终止符或达到最大生成长度最后通过Detokenization将生成的token序列转回自然语言。关键特征串行迭代执行每次仅处理一个token无法并行加速投机解码等优化手段除外GPU利用率极低约1%属于内存带宽受限型阶段总耗时与生成 token 数量成正比反复循环直到遇到 |end of text| 或达到长度上限。核心性能指标为TPOTTime Per Output Token单输出token平均时间和TBTToken By Token连续token生成间隔TBT的稳定性直接决定用户体验的流畅度。计算瓶颈每一步计算量较小但需要加载全部模型参数算术强度计算量/数据传输量极低GPU大部分时间处于等待数据传输的状态内存带宽成为核心瓶颈同时需持续占用显存保存KV Cache显存压力随生成token数量增加而增大。1.3 Prefill与Decode阶段核心差异两个阶段在计算方式、资源需求、优化方向等方面存在本质差异具体对比如下对比维度Prefill预填充阶段Decode解码阶段计算方式批量并行计算一次性处理整个Prompt串行增量计算每次仅处理一个token注意力范围仅针对原始Prompt序列无生成token原始Prompt所有已生成的token资源瓶颈算力FLOPs注意力O ( n 2 ) O(n^2)O(n2)计算内存带宽模型参数与KV Cache访存GPU利用率高接近100%低约1%性能指标TTFT首Token生成时间TPOT单token生成时间、TBTtoken生成间隔显存特征临时高占用处理完Prompt后趋于稳定持续高占用随token生成逐步增加批处理效果优化空间大大批量可提升吞吐量优化空间有限需动态调整任务加速手段Tensor Core加速、FP16/INT8量化、Flash Attention内存访问优化、KV Cache压缩、Continuous Batching二、KV Cache的实现原理与核心作用KV Cache是解决Transformer自回归生成中重复计算问题的关键优化技术通过在推理过程中缓存每一层每一个 token 的 Key 与 Value 向量的显存空间目的是彻底避免自回归生成中的重复计算。在标准Transformer 自注意力中Attention ( Q , K , V ) Softmax ( Q K ⊤ d k ) V \text{Attention}(Q,K,V) \text{Softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)VAttention(Q,K,V)Softmax(dk​​QK⊤​)V每次生成新 token 都要重新计算所有前文的 K、V复杂度为O ( N 2 ) O(N^2)O(N2)。KV Cache 让历史 KV 只算一次、永久复用将 decode 阶段复杂度降至近似O ( N ) O(N)O(N)。2.1 KV Cache的实现原理KV Cache的实现围绕Prefill和Decode两个阶段的不同需求设计核心是首次构建、增量追加的缓存机制2.2 无KV Cache与有KV Cache的推理对比在未引入KV Cache的朴素推理流程中每生成一个新token模型都需要对所有历史序列包括原始Prompt和已生成的token重新计算KV向量导致大量的重复计算推理效率随序列长度增加呈指数级下降。引入KV Cache后推理过程被拆分为Prefill和Decode阶段实现了计算量的大幅缩减Prefill阶段一次性完成原始Prompt的KV计算与缓存Decode阶段仅需完成新token的增量计算与缓存追加所有历史KV向量均通过缓存复用从“全量重复计算”变为“增量计算缓存复用”显著降低了推理的时间与显存开销。2.3 KV Cache的核心作用三、PD分离推理的优化策略PDPrefill Decode分离推理是针对Prefill和Decode阶段特性差异与传统一体化推理资源竞争问题提出的创新优化架构核心是将两阶段从逻辑和物理上解耦针对各自的资源需求进行专门化的硬件部署与优化实现推理效率与资源利用率的双重提升。3.1 传统一体化推理的核心问题传统大模型推理架构将Prefill和Decode阶段部署在同一硬件设备上导致两大核心问题Prefill 是计算密集Decode 是带宽密集同硬件无法同时最优高算力 GPU 在 Decode 阶段大量闲置。新请求的 Prefill 会抢占正在生成的 Decode 任务资源导致TBT 抖动、卡顿3.2 PD分离推理的核心原理PD分离推理的核心思想是解耦与专门化通过三个维度的设计实现两阶段的独立优化3.3 具体实现方案PD分离推理的实现分为物理分离和逻辑分离两种形式可根据实际部署规模与资源条件选择核心是实现两阶段的独立调度与KV Cache的高效传输物理分离部署Prefill集群部署在高算力GPU如A100、H100上充分利用其强大的并行计算能力和Tensor Core加速特性专注于快速处理输入Prompt优化TTFT采用大批量处理策略提升Prefill阶段的吞吐量结合Flash Attention、张量并行等技术解决长Prompt的计算瓶颈。Decode集群部署在大显存、高内存带宽的硬件如大内存L40 GPU、专用推理芯片上专注于高效的token生成和KV Cache管理采用Continuous Batching技术提升并发处理能力通过KV Cache压缩、内存访问优化缓解内存带宽瓶颈。高速网络互连两个集群通过NVLink、RDMA等高速网络实现KV Cache数据的高效传输确保Prefill阶段生成的缓存能够快速、低延迟地传递至Decode阶段减少数据传输的额外开销。逻辑分离调度在同一GPU设备上通过调度算法将Prefill和Decode请求分开处理为两阶段分配独立的计算资源与显存空间。Prefill请求采用大Batch Size调度充分利用GPU的计算能力Decode请求采用Continuous Batching调度提升串行生成的并发效率避免两类请求的资源抢占。3.4 关键技术突破PD分离推理的落地需要解决数据传输、任务调度、状态一致性等核心技术挑战目前主流的PD分离系统如DistServe、Mooncake已通过以下技术实现了突破四、总结与展望Prefill 阶段对输入 Prompt 并行编码一次性构建KV Cache属于计算密集型任务。Decode 阶段逐 token 迭代生成复用KV Cache避免重复计算属于显存带宽密集型任务。KV Cache是自回归推理的核心基石用显存换时间实现两阶段衔接与高效生成。PD 分离通过任务解耦、异构硬件、异步调度、独立批处理解决传统一体化推理的资源冲突与利用率低下问题是当前云端大模型推理服务的主流工程优化方向。