不换硬件，速度翻倍：本地 LLM 推理加速实战

同一块 RTX 3090同一个 70B 模型推理速度从 30 t/s 提升到 160 t/s并且不花一分钱。作者Amar Chetri博士在这篇文章中介绍了三种纯软件优化技术speculative decoding、multi-token prediction 和自动化超参数调优帮你在现有硬件上榨出更多性能。我记得当时特别沮丧。我刚下载了一个强大的 70B 参数模型把它量化到了 Q4_K_M 级别然后启动了我的推理服务器。第一个响应……出来得特别慢。大概每秒只能生成 8 个 token。看着它生成文本感觉就像是在等油漆变干。我知道我的 RTX 3090 性能完全足够我实在舍不得再花几千块刀买第二块 GPU就为了让聊天回复感觉快点。于是我开始深挖。我花了几个星期测试我所能找到的每一种优化技术量化调整、batch size 调整、线程数量、offloading 策略。在这个过程中我发现了两种彻底改变了我本地 LLM 体验的技术speculative decoding 和 multi-token prediction。如今同一块 RTX 3090 上运行同一个 70B 模型速度超过了每秒 160 个 token。这不是我写错了。我真的在不花一分钱购买新硬件的情况下将推理速度翻了不止一倍。下面是我一步步做到这一切的方法。1.理解本地 LLM 运行缓慢的原因在深入解决方案之前我们需要理解问题所在。为什么大型语言模型在消费级硬件上运行如此缓慢即使你有一块不错的 GPU瓶颈不在于计算而在于显存带宽。标准的自回归生成 autoregressive generation 每次只处理一个 token每生成一个新 token 都需要进行一次完整的前向传播。这里解释一下背后的情况当你运行一个大型语言模型 LLM 时模型参数数十亿个参数都存储在你的 GPU 的显存 VRAM 里。对于模型生成的每一个 token这些参数都需要从 VRAM 读取到 GPU 的计算核心。在一个显存带宽为 128 GB/s 的系统上4-bit 精度的 70B 模型约 35GB每秒限制在大约 3-4 次的 token 读取。这样算下来表现会非常糟糕。标准的做法叫做自回归生成 autoregressive generation会让这个问题更严重。模型按顺序一次生成一个 token。先对第一个 token 进行前向传播然后对第二个 token 进行前向传播接着对第三个 token 进行前向传播。每一次传播都需要再次读取这些权重。这是我们所有人都在面临的基本速度限制。好消息是有办法绕过这个限制。2.技术一Speculative Decoding游戏规则改变者我实现的第一个技术是 speculative decoding。老实说第一次听到它时听起来太好了不像是真的。2.1 Speculative Decoding 的工作原理把它想象成一位经验丰富的经理和一位快速实习生之间的协作。大型基础模型你的主要 LLM是经理知识渊博但速度慢需要时间思考每个词。小型草稿模型 draft model 是实习生速度快得多但准确性较低能快速打出想法。以下是改变了一切的工作流程经理不再一次写一个词而是由实习生快速起草接下来 5-16 个词的短序列。经理在一个并行步骤中查看整个草稿。同时验证草稿中的每个词。只要实习生的预测与经理会写的内容一致这些词就会被立即接受。一旦经理发现一个它会选择不同的词就纠正那个词并丢弃其余部分。Speculative decoding 使用一个小型草稿模型并行生成 token 序列并由更大的目标模型进行验证。这之所以更快是因为不需要按顺序做五次前向传播每个 token 一次而只需要两次传播一次用于草稿一次用于验证。在显存带宽受限制的系统上这可以带来巨大的加速。2.2 实际测试结果在我的测试中以 Llama-3.3-70B 作为目标模型Llama-3.2-1B 作为草稿模型我的 RTX 3090 上的吞吐量从约每秒 30 个 token 跃升至超过 160 t/s。其他用户也报告了类似的收益——4x 到 5x 的速度提升很常见。最棒的是输出与大型模型单独生成的结果完全相同。大型模型验证每个被接受的 token因此完全没有质量损失。2.3 硬件要求主要限制你需要足够的 VRAM 同时加载两个模型。对于我的 RTX 309024GB VRAM70B 3B 的组合实际上超出了 VRAM 限制。我不得不改用 1B 草稿模型这样就能舒适地放入。2.4 在 llama.cpp 中的配置方法以下是我用于在 llama.cpp server 中运行 speculative decoding 的确切命令./llama-server / -m ./models/Llama-3.3-70B-Instruct-Q4_K_M.gguf / -md ./models/Llama-3.2-1B-Instruct-Q4_K_M.gguf / -ngl 99 -ngld 99 -fa --port 9999 -c 8192 / --draft-max 16 --draft-min 5各参数说明-m主大型模型路径-md草稿小型模型路径-ngl 99将主模型所有层 offload 到 GPU-ngld 99将草稿模型所有层 offload 到 GPU-fa启用 flash attention--draft-max 16草稿模型生成的最大 token 数--draft-min 5验证前的最小 token 数多 GPU 技巧如果你有多块 GPU将草稿模型放在较慢的 GPU 上为主模型保留主 GPU 的带宽。使用-ngld标志来控制这一点。技术二Multi-Token Prediction更进一步在 speculative decoding 运行起来之后我偶然发现了更有趣的东西multi-token predictionMTP。这是一种更新的技术采用了相同的核心思路但消除了对单独草稿模型的需求。3.1 MTP 的不同之处Multi-token prediction 是一种自我推测解码self-speculative decoding。它不使用单独的草稿模型而是训练主模型同时预测多个 token。Multi-token prediction 并行生成多个 token显著减少了所需的正向传递次数。工作流程如下推测传播模型处理你的提示同时生成一组猜测比如[Token 1, Token 2_guess, Token 3_guess, Token 4_guess, Token 5_guess]。验证传播模型在单次并行传播中验证所有猜测将序列[Prompt Token 1 Token 2_guess …]作为输入同时计算每个位置的下一个“正确” token。接受如果所有猜测都正确你只用两次前向传播就生成了五个 token2.5x 加速。3.2 VRAM 优势对于硬件受限的用户来说这正是 MTP 真正的优势所在。标准的 speculative decoding 需要加载一个完全独立的草稿模型它需要消耗额外的 VRAM。有了 MTP主模型会被训练成自己的草稿模型。唯一的开销来自添加到模型中的微小预测 heads通常消耗不到 1% 的额外 VRAM。对我来说这可是个重大突破。我能够获得类似 speculative decoding 的速度提升而且不需要牺牲用于更大上下文窗口所需的 VRAM。3.3 限制而且很重要说实话模型必须专门为 MTP 训练。你不能在任何模型上直接启用它。模型需要用 MTP heads 进行微调才能支持此功能。这意味着我们现有的流行 GGUF 模型库比如标准的 Llama 3 或 Mistral无法直接使用 MTP。为了让社区受益模型创建者需要发布内置 MTP 功能的版本。3.4 哪些模型支持 MTP越来越多的模型正在发布支持 MTP 功能的版本DeepSeek V3 / R1Qwen3-NextGLM-4.5如果你使用的是 vLLM可以用简单的命令行标志启用 MTPDeepSeekvllm serve deepseek-ai/DeepSeek-R1 / --speculative-config{method: deepseek_mtp, num_speculative_tokens: 1}Qwen3-Nextvllm serve Qwen/Qwen3-Next-80B-A3B-Instruct / --speculative-config {method: qwen3_next_mtp, num_speculative_tokens: 2}注意llama.cpp 目前尚不支持 MTP不过开发正在积极进行中。当我尝试加载一个 MTP 模型时这些层被跳过了。考虑到这可能带来的性能提升特别是对 CPU 和混合推理这是该项目最受期待的功能之一。技术三超参数调优锦上添花在 speculative decoding 运行起来之后我想榨出每一个额外的 token/s。这时我发现了自动化超参数调优。4.1 为什么超参数很重要超参数是 AI 模型的控制旋钮。正确调整它们可能意味着模型缓慢无响应与快速高效之间的差异。影响速度的关键参数Batch size一次处理的 token 数量Thread count并行处理的 CPU 线程数GPU layer countoffload 到 GPU 的层数Context size最大序列长度4.2 使用 llama-optimus 自动优化我找到了一个叫 llama-optimus 的工具它彻底改变了我的调优工作流程。这是一个 Python 工具使用贝叶斯优化自动优化 llama.cpp 的性能标志以获得最大吞吐量。# 安装 pip install llama-optimus # 运行优化 llama-optimus --llama-bin ~/llama.cpp/build/bin / --model ~/models/my-model.gguf / --trials 25 -r 3 --metric tg该工具的工作方式预热系统以避免误导性的冷启动结果使用贝叶斯优化通过 Optuna搜索最佳参数组合测试不同的 batch size、线程数和 GPU 层数输出可直接复制的最优推理命令当我在我的配置上运行时它发现了一个我永远不会手动尝试的配置Best config: {batch: 4096, flash: 1, u_batch: 1024, threads: 4, gpu_layers: 93} Best tg tokens/sec: 73.5优化后的命令llama-server --model my_model.gguf -t 4 / --batch-size 4096 --ubatch-size 1024 / -ngl 93 --flash-attn预热技巧冷启动会欺骗你。首次加载模型时系统缓存尚未预热你可能会看到人为偏高的 token 速率。llama-optimus 包含预热阶段确保你测量的是真实的稳态性能。完整优化工作流程以下是我现在对任何新模型使用的分步流程第一步选择模型对于 Speculative decoding从同一系列使用相同的分词器 tokenizer中选择主模型和兼容的草稿模型对于 MTP寻找明确支持 MTP 训练的模型DeepSeek、Qwen3-Next第二步适当量化 使用 Q4_K_M 以获得速度和质量的最佳平衡。对于草稿模型更小的量化Q4_0也能正常工作。第三步运行自动调优llama-optimus --llama-bin ~/llama.cpp/build/bin / --model ~/models/main-model.gguf / --trials 30 --metric tg第四步启动 speculative decoding./llama-server / -m ./models/main-model.gguf / -md ./models/draft-model.gguf / -t [optimal threads] / --batch-size [optimal batch] / --ubatch-size [optimal ubatch] / -ngl [optimal layers] / -ngld 99 / --draft-max 16 / --draft-min 5 / --flash-attn第五步基准测试和对比llama-bench --model my-model.gguf -t 4 -ngl 99 -n 128 -p 128 -r 3结果2x 速度提升是什么感觉优化前我的 70B 模型以每秒 30 个 token 的速度缓慢运行勉强可用但体验不佳。在使用 1B 草稿模型实现 speculative decoding 并优化超参数后我稳定地获得了 160 tokens/s。在 RTX 3090 上通过 speculative decoding 获得的实际性能提升这意味着500 token 的响应只需 3 秒而不是 16 秒实时聊天感觉瞬间完成我可以在极短的时间内运行批量处理任务所有这一切都使用我两年前就已经拥有的同一硬件。我犯过的常见错误让你少走弯路错误一模型顺序搞反 我曾经把主模型和草稿模型搞反了。结果不是加速而是大幅减速。记住大模型用-m小模型用-md。错误二忽视 tokenizer 兼容性 草稿模型必须与主模型共享相同的 tokenizer。这就是为什么使用同一系列的模型Llama 3.2 1B 配 Llama 3.3 70B效果这么好。错误三不预热 冷启动给了我人为偏高的数字无法反映真实性能。基准测试前务必预热系统。错误四VRAM 超载 我尝试在 70B 主模型旁边使用 3B 草稿模型但两者加起来超出了我 24GB 的 VRAM。系统开始换页到系统内存性能急剧下降。VRAM 受限时坚持使用更小的草稿模型。我的下一步优化清单这个领域发展很快以下是我正在关注的方向Quantization-Aware TrainingQAT - Google 最近发布了经过 QAT 优化的 Gemma 3 模型。与传统量化训练后转换不同QAT 从一开始就训练模型对量化具有弹性。早期测试显示 QAT 模型即使在 4-bit 精度下也能保持质量困惑度几乎没有下降。更好的 MoE Offloading - 对于 DeepSeek 等混合专家mixture-of-experts模型新技术允许更智能的 offloading将始终活跃的参数保留在 GPU 上同时将专家路由到 CPU。性能提升非常显著。Glinthawk 架构 - 微软的研究人员展示了一种两层架构将注意力机制 offload 到低端计算设备上实现了 5.9x 的吞吐量提升。这是前沿技术但它展示了这个领域的发展方向。最后的想法你不需要购买新硬件就能从本地 LLM 中获得显著更好的性能。我分享的这些技术——speculative decoding、multi-token prediction 和自动化超参数调优——都是纯软件优化能让你更高效地利用已有的硬件。关键要点Speculative decoding 配合兼容的模型对可以带来 4-5x 的加速Multi-token prediction 在支持的情况下提供类似的收益且无需额外 VRAM 开销自动化调优能找到你永远不会手动发现的最优设置始终用预热后的系统进行基准测试以获得真实数字我今天使用的设置比我六个月前的好得多。最棒的是当我最终升级硬件时这些技术同样会随之扩展。准备好将你的速度翻倍了吗为你最喜欢的 LLM 下载一个兼容的草稿模型用我分享的标志启动 llama.cpp然后看着你的 token 计数器飙升吧。这里给大家精心整理了一份全面的AI大模型学习资源包括AI大模型全套学习路线图从入门到实战、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等资料免费分享扫码免费领取全部内容1. 成长路线图学习规划要学习一门新的技术作为新手一定要先学习成长路线图方向不对努力白费。这里我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。2. 大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。书籍含电子版PDF3. 大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。4. 2026行业报告行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5. 大模型项目实战学以致用当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。6. 大模型面试题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。7. 资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容