开源模型应用落地-DeepSeek-R1-Distill-Qwen-7B与vllm实现推理加速的正确姿势（一）

一、前言

    在当今人工智能技术迅猛发展的时代，各类人工智能模型如雨后春笋般不断涌现，其性能的优劣直接影响着应用的广度与深度。从自然语言处理到计算机视觉，从智能安防到医疗诊断，AI 模型广泛应用于各个领域，人们对其准确性、稳定性和高效性的期望也与日俱增。

    在此背景下，DeepSeek 模型的出现为行业带来了新的曙光。DeepSeek团队开发的DeepSeek-R1-Distill-Qwen-7B模型，利用蒸馏技术成功提炼出Qwen-7B大型模型的核心知识，旨在满足小型模型的需求。通过对 DeepSeek 模型进行全面且深入的测试，结合蒸馏技术充分挖掘其潜力、优化其性能表现以及拓展其应用边界有着至关重要的作用。本文将围绕 DeepSeek 模型测试展开，详细阐述相关技术与创新点。

---

二、术语

2.1. vLLM

    vLLM是一个开源的大模型推理加速框架，通过PagedAttention高效地管理attention中缓存的张量，实现了比HuggingFace Transformers高14-24倍的吞吐量。

2.2. DeepSeek-R1-Zero

    是一个通过大量强化学习（RLÿ