vLLM 教程上新！覆盖从入门到进阶 4 种应用方式；中文文档同步上线，0 帧起手加速大模型推理

如今，大语言模型 (LLM) 的发展正在从规模参数迭代升级拓展至应用场景的适配与创新，在这个过程中，其也暴露出一系列问题。例如，在推理环节的效率较低，处理复杂任务时耗时较长，难以满足对实时性要求较高的场景需求；在资源利用方面，由于模型规模庞大，对计算资源和存储资源的消耗巨大，且存在一定程度的浪费等。

针对于此，来自加州大学伯克利分校 (UC Berkeley) 的研究团队于 2023 年开源了 vLLM (Virtual Large Language Model)，这是一款专为大模型推理加速而设计的库，其依靠卓越的推理效率和资源优化能力在全球范围内引发广泛关注。

vLLM 教程：从入门到进阶

为帮助国内开发者更快速入门 vLLM，小贝在 http://OpenBayes.com 的「公共教程」板块上线了 4 个 vLLM 教程，覆盖了 vLLM 的安装、使用、推理以及 API 服务器的部署。无论是毫无经验的新手小白，还是已经有一定基础、渴望提升的开发者，都能找到适合自己的学习路径！

1. vLLM 入门教程：零基础分步指南

该教程逐步展示了如何配置和运行 vLLM，提供 vLLM 的安装、模型推理、启动 vLLM 服务器以及如何发出请求的完整入门指南。

* 在线运行：https://go.openbayes.com/vNYCa

2. 使用 vLLM 对 Qwen2.5 推理

该教程详细展示了如何对一个 3B 参数的大语言模型的进行推理任务，包括模型的加载、数据的准备、推理过程的优化，以及结果的提取和评估。

* 在线运行：https://go.openbayes.com/lZIUd

3. 使用 vLLM 加载大模型进行少样本学习

该教程为使用 vLLM 加载 Qwen2.5-3B-Instruct-AWQ 模型进行少样本学习，详细解释了如何通过检索训练数据获取相似问题构建对话，利用模型生成不同输出，推断误解并结合相关方法进行整合排名等操作，实现从数据准备到结果提交的完整流程。

* 在线运行：https://go.openbayes.com/pYEub

4. 将 LangChain 与 vLLM 结合使用教程

本教程围绕将 LangChain 与 vLLM 结合使用展开，旨在简化并加速智能 LLM 应用程序开发，涵盖从基础设置到高级功能应用的多方面内容。

* 在线运行：https://go.openbayes.com/BhNo3

追溯 vLLM：开源历程及技术演进

vLLM 的雏形诞生于 2022 年年底，加州大学伯克利分校的研究团队在部署一个名为「alpa」的自动化并行推理项目时，发现其运行速度非常慢且 GPU 利用率低。研究人员敏锐地察觉到，大语言模型推理存在着巨大的可优化空间。然而，市场上并没有专门针对大语言模型推理优化的开源系统，随即，他们决定自己动手创建一个大语言模型推理框架。

经过无数次的试验和调试中，他们关注到了操作系统中经典的虚拟内存和分页技术，并基于此在 2023 年提出了开创性注意力算法 PagedAttention，其可以有效地管理注意力键和值，进而构建了高吞吐量的分布式 LLM 服务引擎 vLLM，实现了 KV 缓存内存几乎零浪费，有效解决了大语言模型推理中的内存管理瓶颈问题。与 Hugging Face Transformers 相比，其吞吐量提升了 24 倍，而且这一性能提升不需要对模型架构进行任何更改。

更值得一提的是，vLLM 不受硬件限制，不仅仅局限于 Nvidia GPU，还对 AMD GPU、Intel GPU、AWS Neuron 和 Google TPU 等市面上众多硬件架构敞开怀抱，真正推动了大语言模型在不同硬件环境下的高效推理和应用。如今， vLLM 已经能够支持超 30 个生成式大语言模型，并获得了包括 Anyscale、AMD、NVIDIA、Google Cloud 在内的 20 多个企业的支持和赞助。

2023 年 6 月，vLLM 的开源代码正式发布。短短一年时间里，vLLM 在 Github 上星标数就突破了 21.8k。截止目前，该项目星标数已达 31k。

vLLM 在 GitHub 上已获得 31k stars

同年 9 月，研究团队发表了论文「Efficient Memory Management for Large Language Model Serving with PagedAttention」，进一步阐述 vLLM 的技术细节和优势。而团队对 vLLM 研究的脚步并未停歇，仍在围绕兼容性、易用性等方面展开迭代升级。例如在硬件适配方面，除了 Nvidia GPU 之外，怎样能够让 vLLM 在更多的硬件上面跑起来；再比如在科研方面，如何进一步提高系统效率和推理速度等。而这些也都体现在 vLLM 的一次次的版本更新中。

论文地址：

https://dl.acm.org/doi/10.1145/3600006.3613165

vLLM 系统概览

vLLM v0.6.4 更新

吞吐量提高 2.7 倍，延迟减少 5 倍

就在上个月，vLLM 的版本更新到了 0.6.4，在性能提升、模型支持和多模态处理等方面都取得了重要的进展。

在性能方面，新版本引入了多步调度 (Multistep scheduling) 和异步输出处理 (Asynchronous output processing)，优化了 GPU 的利用率并提高了处理效率，从而提高了整体的吞吐量。

vLLM

技术解析

* 多步调度允许 vLLM 一次性完成多个步骤的调度和输入准备，使得 GPU 可以连续处理多个步骤而不必每个步骤都等待 CPU 指令，这样分散了 CPU 的工作负载，减少了 GPU 的空闲时间。

* 异步输出处理使得输出处理与模型的执行可以并行进行。具体来讲，vLLM 不再立即处理输出，而是延迟处理，在执行第 n+1 步的同时处理第 n 步的输出。虽然这可能会导致每个请求多执行一步，但对 GPU 利用率的大幅提高远远弥补了这一成本。

例如，在 Llama 8B 模型上可以实现 2.7 倍的吞吐量提升和 5 倍的 TPOT（每个输出标记的时间）减少，如下图所示。

在 ShareGPT 数据集上对搭载于 1 张 H100 的 Llama 8B 模型进行 vLLM v0.5.3 与 v0.6.0 之间的性能比较

而在 Llama 70B 模型上实现了 1.8 倍的吞吐量提升和 2 倍的 TPOT 减少，如下图所示。

在 ShareGPT 数据集上对搭载于 4 张 H100 的 70B 模型进行 vLLM v0.5.3 与 v0.6.0 之间的性能比较

模型支持方面 vLLM 新纳入了对 Exaone、Granite 和 Phi-3.5-MoE 等前沿大语言模型的适配。在多模态领域，增加了多图像输入的功能（官方文档中以 Phi-3-vision 模型作为示例演示），以及对 Ultravox 的多个音频块的处理能力，进一步扩展了 vLLM 在多模态任务中的应用范围。

首个完整版 vLLM 中文文档上线

毫无疑问，vLLM 作为大模型领域的一项重要技术创新，代表了当前高效推理的发展方向。为了让国内开发者更便捷、准确地理解其背后的先进技术原理，将 vLLM 引入到国内大模型的开发中，进而推动该领域的发展。HyperAI超神经的社区志愿者们通过开放合作的方式，经过翻译和校对的双重审核，成功完成了首个 vLLM 中文文档，现已完整上线至 https://vllm.hyper.ai/。

vLLM 中文文档官方网站

vLLM

这份文档为您提供了：

* 从零入门的基础概念科普

* 快速上手的一键克隆教程

* 及时更新的 vLLM 知识库

* 友好开放的中文社区生态

vLLM 在不同计算芯片上的安装方式

在 GitHub vLLM 中文：

https://github.com/hyperai/vllm-cn

参考资料：

1.https://blog.vllm.ai/2024/09/05/perf-update.html

2.https://www.163.com/dy/article/J6606DLJ0511B6FU.html

3. https://mp.weixin.qq.com/s/e0jcROf5bz-vaxEKILnqLw

新用户福利

* 注册福利：点击下方邀请链接注册，即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长，永久有效！

小贝总专属邀请链接（直接复制到浏览器打开）：

https://go.openbayes.com/9S6Dr