（二十二）32天GPU测试从入门到精通-DeepSeek 模型测试day20

目录引言DeepSeek 模型介绍架构特点推理性能测试中文场景优化与其他模型对比实战部署选型建议引言DeepSeek 是中国深度求索公司开发的大语言模型系列以出色的中文能力和高性价比著称是国产大模型的代表之一。从 2023 年的第一代 DeepSeek LLM到 2024 年的 DeepSeek-V2/V2.5再到 2024 年底的 DeepSeek-V3 和 2025 年初的 DeepSeek-R1DeepSeek 系列快速发展在中文场景下表现优异。DeepSeek 的核心创新在于 MoEMixture of Experts架构和 MLAMulti-head Latent Attention技术。MoE 架构使得模型总参数量大但激活参数少推理成本与较小的密集模型相当但性能接近大模型。MLA 技术显著降低了长上下文的显存占用使得 256K 上下文可以在单卡上运行。掌握 DeepSeek 模型测试对中文场景应用至关重要。如果你的应用主要面向中文用户DeepSeek 是一个值得考虑的选择。它在中文理解、中文生成、中文知识等方面都优于 LLaMA与 Qwen 相当。DeepSeek 有什么独特优势中文优化、高性价比架构上有什么创新MoE 架构、高效注意力中文能力如何与 LLaMA/Qwen 对比推理性能如何延迟、吞吐量实测如何部署优化vLLM/llama.cpp 适配这些问题都指向一个核心主题DeepSeek 模型测试。DeepSeek 系列概览┌─────────────────────────────────────────────────────────────────────┐ │ DeepSeek 模型系列 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ DeepSeek LLM (第一代): │ │ ┌─────────────────────────────────────────────────────────────┐ │ │ │ 模型7B/16B/67B │ │ │ │ 特点纯中文训练上下文 4K │ │ │ │ 时间2023 年 │ │ │ └─────────────────────────────────────────────────────────────┘ │ │ ↓ │ │ DeepSeek-V2 (第二代): │ │ ┌─────────────────────────────────────────────────────────────┐ │ │ │ 模型16B (MoE)/236B (MoE) │ │ │ │ 特点MoE 架构上下文 128K多 token 预测 │ │ │ │ 时间2024 年中 │ │ │ └─────────────────────────────────────────────────────────────┘ │ │ ↓ │ │ DeepSeek-V2.5 (优化版): │ │ ┌─────────────────────────────────────────────────────────────┐ │ │ │ 模型236B (MoE) │ │ │ │ 特点融合架构代码/数学增强 │ │ │ │ 时间2024 年底 │ │ │ └─────────────────────────────────────────────────────────────┘ │ │ ↓ │ │ DeepSeek-V3 (第三代): │ │ ┌─────────────────────────────────────────────────────────────┐ │ │ │ 模型671B (MoE) │ │ │ │ 特点MLA 注意力MoE 21/37B 激活上下文 256K │ │ │ │ 时间2024 年底 │ │ │ └─────────────────────────────────────────────────────────────┘ │ │ ↓ │ │ DeepSeek-R1 (推理专用): │ │ ┌─────────────────────────────────────────────────────────────┐ │ │ │ 模型671B (MoE) │ │ │ │ 特点强化学习优化推理能力增强 │ │ │ │ 时间2025 年初 │ │ │ └─────────────────────────────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────┘DeepSeek 模型介绍理解了 DeepSeek 系列的发展历程后让我们深入了解 DeepSeek-V3 的架构特性。DeepSeek-V3 是 DeepSeek 系列的旗舰模型总参数量 671B但通过 MoE 架构每 token 仅激活 21B 参数推理成本与 21B 密集模型相当但性能接近 671B 密集模型。DeepSeek-V3 架构DeepSeek-V3 的基础架构采用 Transformer Decoder-only 设计。MLAMulti-head Latent Attention是 DeepSeek 的核心创新之一通过压缩 KV 为低维潜在向量显著降低了长上下文的显存占用。MoEMixture of Experts配置为 256 个专家每 token 激活 8 个专家加 1 个共享专家激活参数 21B/671B3.1%。Multi-token 预测技术一次预测多个 token提升吞吐量。模型规格方面总参数量 671B激活参数 21B每 token词表大小 102.4k tokens上下文 256K tokens。训练数据约 15T tokens语言包括中文和英文数据截止到 2024 年。效率优化方面MLA 降低 KV Cache 显存MoE 稀疏激活降低计算量多 token 预测一次预测多个 token。这些优化使得 DeepSeek-V3 在保持高性能的同时推理成本大幅降低。MoE 架构详解解释了 MoE 的工作原理。MoEMixture of Experts专家混合使用多个专家网络动态选择激活。DeepSeek-V3 的 MoE 配置为总专家数 256每 token 激活专家 8 个激活参数 21B/671B3.1%共享专家 1 个所有 token 使用。优势包括推理成本与 21B 密集模型相当性能表现接近 671B 密集模型训练效率更高稀疏更新更快收敛灵活性更好不同任务激活不同专家。挑战包括负载均衡确保专家均匀使用、通信开销多卡间专家数据交换、部署复杂需要 MoE 支持的推理引擎。├─────────────────────────────────────────────────┤ │ │ │ 基础架构: │ │ ├── Transformer Decoder-only │ │ ├── MLA (Multi-head Latent Attention) │ │ ├── MoE (Mixture of Experts): 21/37B 激活 │ │ └── Multi-token 预测技术 │ │ │ │ 模型规格: │ │ ├── 总参数量671B │ │ ├── 激活参数21B (每 token) │ │ ├── 词表大小102.4k tokens │ │ └── 上下文256K tokens │ │ │ │ 训练数据: │ │ ├── 数据量~15T tokens │ │ ├── 语言中文 英文 │ │ └── 截止2024 年数据 │ │ │ │ 效率优化: │ │ ├── MLA: 降低 KV Cache 显存 │ │ ├── MoE: 稀疏激活降低计算量 │ │ └── 多 token: 一次预测多个 token │ │ │ └─────────────────────────────────────────────────┘MoE 架构详解┌─────────────────────────────────────────────────┐ │ DeepSeek MoE 架构详解 │ ├─────────────────────────────────────────────────┤ │ │ │ 什么是 MoE: │ │ ├── Mixture of Experts (专家混合) │ │ ├── 多个专家网络动态选择激活 │ │ └── 总参数大激活参数小 │ │ │ │ DeepSeek-V3 MoE 配置: │ │ ├── 总专家数256 │ │ ├── 每 token 激活专家8 │ │ ├── 激活参数21B / 671B 3.1% │ │ └── 共享专家1 个 (所有 token 使用) │ │ │ │ 优势: │ │ ├── 推理成本与 21B 密集模型相当 │ │ ├── 性能表现接近 671B 密集模型 │ │ ├── 训练效率稀疏更新更快收敛 │ │ └── 灵活性不同任务激活不同专家 │ │ │ │ 挑战: │ │ ├── 负载均衡确保专家均匀使用 │ │ ├── 通信开销多卡间专家数据交换 │ │ └── 部署复杂需要 MoE 支持的推理引擎 │ │ │ └─────────────────────────────────────────────────┘架构特点DeepSeek 的架构创新是其性能优势的关键。MLA 注意力和多 token 预测是两项核心技术使得 DeepSeek 在长上下文和高吞吐场景下表现优异。MLA 注意力MLAMulti-head Latent Attention是 DeepSeek 针对长上下文场景的创新设计。传统 Attention 的显存瓶颈在于 KV Cache 随序列长度线性增长256K 上下文需要 TB 级显存这在实际部署中是不可行的。MLA 的解决方案是潜在注意力机制将 KV 压缩为低维潜在向量解码时恢复完整 KV。这种设计将显存减少 10-20 倍使得 256K 上下文可以在单卡上运行。实现细节包括压缩率 16xhidden → latent注意力头从 128标准减少到 16潜在恢复时通过上采样解码。效果非常显著256K 上下文仅需 8-16GB 显存速度与标准 Attention 相当精度无明显损失。这使得 DeepSeek-V3 在长文本应用场景下具有独特优势。多 Token 预测技术是另一项关键创新。传统自回归一次预测 1 个 tokenN 个 token 需要 N 次前向传播延迟高、吞吐低。多 token 预测一次预测 K 个 tokenK2-4N 个 token 需要 N/K 次前向传播吞吐提升 K 倍延迟降低约 K 倍。实现方式包括多输出头每个位置一个预测头辅助损失鼓励准确预测动态 K根据置信度调整。DeepSeek-V3 的配置为默认 K2-3最大 K4吞吐提升 2.5-3 倍。├─────────────────────────────────────────────────┤ │ │ │ 问题传统 Attention 显存瓶颈 │ │ ├── KV Cache 随序列长度线性增长 │ │ ├── 长上下文场景显存不足 │ │ └── 256K 上下文需要 TB 级显存 │ │ │ │ 解决潜在注意力机制 │ │ ├── 压缩 KV 为低维潜在向量 │ │ ├── 解码时恢复完整 KV │ │ ├── 显存减少10-20x │ │ └── 256K 上下文可在单卡运行 │ │ │ │ 实现: │ │ ├── 压缩率16x (hidden → latent) │ │ ├── 注意力头128 (标准) → 16 (潜在) │ │ └── 恢复解码时上采样 │ │ │ │ 效果: │ │ ├── 显存256K 上下文仅需 8-16GB │ │ ├── 速度与标准 Attention 相当 │ │ └── 精度无明显损失 │ │ │ └─────────────────────────────────────────────────┘多 token 预测┌─────────────────────────────────────────────────┐ │ 多 Token 预测技术 │ ├─────────────────────────────────────────────────┤ │ │ │ 传统自回归: │ │ ├── 一次预测 1 个 token │ │ ├── N 个 token 需要 N 次前向传播 │ │ └── 延迟高吞吐低 │ │ │ │ 多 Token 预测: │ │ ├── 一次预测 K 个 token (K2-4) │ │ ├── N 个 token 需要 N/K 次前向传播 │ │ ├── 吞吐提升Kx │ │ └── 延迟降低约 Kx │ │ │ │ 实现方式: │ │ ├── 多输出头每个位置一个预测头 │ │ ├── 辅助损失鼓励准确预测 │ │ └── 动态 K: 根据置信度调整 │ │ │ │ DeepSeek-V3 配置: │ │ ├── 默认 K: 2-3 │ │ ├── 最大 K: 4 │ │ └── 吞吐提升2.5-3x │ │ │ └─────────────────────────────────────────────────┘推理性能测试部署好 DeepSeek 模型后需要进行性能测试以验证配置是否正确。DeepSeek 的 MoE 架构使得性能测试尤为重要因为激活参数少但总参数多需要确保推理引擎正确支持 MoE。vLLM 部署测试性能基准测试脚本通过发送多个请求到 vLLM 服务测量每个请求的 token 数、时间、以及速度tokens/s。测试结果可以与官方参考值对比。性能参考表提供了不同配置下的预期性能。DeepSeek-V2-16B 在 FP16、1xA100 时吞吐量约 120-150 tokens/s延迟 40-55ms。INT4 量化后吞吐量提升到 180-220 tokens/s延迟降低到 30-40ms。DeepSeek-V3-671B 需要多卡部署。MoE、8xH100 时吞吐量约 80-100 tokens/s延迟 100-150ms。16xH100 时吞吐量约 150-180 tokens/s延迟 80-120ms。32xH100 时吞吐量约 280-320 tokens/s延迟 60-90ms。DeepSeek-R1-671B推理优化版在 MoE、16xH100 时吞吐量约 140-170 tokens/s延迟 85-125ms。import time import requests import statistics def benchmark_deepseek(base_url: str http://localhost:8000): DeepSeek 性能基准测试 print(*70) print(DeepSeek 性能基准测试) print(*70) # 测试提示 prompts [ 请介绍一下人工智能。, 什么是深度学习, 机器学习有哪些应用场景, ] results [] print(f\n{Prompt:30} {Tokens:10} {Time (s):12} {Tokens/s:12}) print(-*70) for prompt in prompts: start time.perf_counter() response requests.post( f{base_url}/v1/chat/completions, json{ model: deepseek, messages: [{role: user, content: prompt}], max_tokens: 200, temperature: 0.7 } ) elapsed time.perf_counter() - start if response.status_code 200: data response.json() content data[choices][0][message][content] tokens len(content.split()) tokens_per_sec tokens / elapsed results.append({ prompt: prompt[:20], tokens: tokens, time: elapsed, tokens_per_sec: tokens_per_sec }) print(f{prompt[:30]:30} {tokens:10} {elapsed:12.2f} {tokens_per_sec:12.1f}) # 统计 avg_tps statistics.mean([r[tokens_per_sec] for r in results]) print(-*70) print(f平均速度{avg_tps:.1f} tokens/s) return results if __name__ __main__: benchmark_deepseek()性能参考值┌────────────────────────────────────────────────────────────────────┐ │ DeepSeek 推理性能参考 │ ├──────────────────┬─────────────┬─────────────┬─────────────────────┤ │ 配置 │ 吞吐量 │ 延迟 │ 显存占用 │ │ │ (tok/s) │ (ms) │ (GB) │ ├──────────────────┼─────────────┼─────────────┼─────────────────────┤ │ DeepSeek-V2-16B │ │ │ │ │ FP16, 1xA100 │ 120-150 │ 40-55 │ 32-36 │ │ INT4, 1xA100 │ 180-220 │ 30-40 │ 16-20 │ ├──────────────────┼─────────────┼─────────────┼─────────────────────┤ │ DeepSeek-V3-671B │ │ │ │ │ MoE, 8xH100 │ 80-100 │ 100-150 │ 640-720 │ │ MoE, 16xH100 │ 150-180 │ 80-120 │ 640-720 │ │ MoE, 32xH100 │ 280-320 │ 60-90 │ 640-720 │ ├──────────────────┼─────────────┼─────────────┼─────────────────────┤ │ DeepSeek-R1-671B │ │ │ │ │ MoE, 16xH100 │ 140-170 │ 85-125 │ 640-720 │ └──────────────────┴─────────────┴─────────────┴─────────────────────┘ 注测试条件 vLLMMoE 激活 21B 参数实际性能受配置影响中文场景优化DeepSeek 的核心优势在于中文能力。与 LLaMA 相比DeepSeek 在中文理解、中文生成、中文知识等方面都有显著优势。与 Qwen 相比两者在中文能力上相当各有特色。中文能力对比中文理解方面DeepSeek-V3 和 Qwen-2.5 都是五星最优LLaMA-3 是三星良好。DeepSeek 的优势在于纯中文训练数据对中文语境的理解更准确。中文生成方面DeepSeek-V3 和 Qwen-2.5 都是五星流畅自然LLaMA-3 是三星偶有生硬。DeepSeek 的优势在于中文语感更好生成的中文更自然。中文知识方面DeepSeek-V3 和 Qwen-2.5 都是五星中国知识丰富LLaMA-3 是二星西方知识为主。DeepSeek 的优势在于中文百科、历史、文化知识更丰富。代码能力方面三者都是四星优秀差距不大均支持主流编程语言。数学推理方面DeepSeek-R1 是五星推理优化DeepSeek-V3 和 LLaMA-3 都是四星优秀。DeepSeek-R1 专为推理优化在数学和逻辑推理任务上表现优异。中文 Benchmark 对比数据显示DeepSeek-V3 和 Qwen-2.5 在中文任务上明显优于 LLaMA-3。C-Eval综合DeepSeek-V3 85.2%Qwen-2.5 86.5%LLaMA-3-70B 62.3%。CMMLU多选DeepSeek-V3 83.5%Qwen-2.5 84.2%LLaMA-3-70B 58.7%。MMLU-CN中文DeepSeek-V3 82.1%Qwen-2.5 83.8%LLaMA-3-70B 60.5%。HumanEval-CN代码DeepSeek-V3 78.5%Qwen-2.5 79.2%LLaMA-3-70B 72.0%。GSM8K-CN数学DeepSeek-V3 88.2%Qwen-2.5 87.5%LLaMA-3-70B 85.0%。C3阅读理解DeepSeek-V3 86.8%Qwen-2.5 87.2%LLaMA-3-70B 65.5%。├─────────────────────────────────────────────────┤ │ │ │ 中文理解: │ │ ├── DeepSeek-V3: ⭐⭐⭐⭐⭐ (最优) │ │ ├── Qwen-2.5: ⭐⭐⭐⭐⭐ (最优) │ │ ├── LLaMA-3: ⭐⭐⭐ (良好) │ │ └── DeepSeek 优势纯中文训练数据 │ │ │ │ 中文生成: │ │ ├── DeepSeek-V3: ⭐⭐⭐⭐⭐ (流畅自然) │ │ ├── Qwen-2.5: ⭐⭐⭐⭐⭐ (流畅自然) │ │ ├── LLaMA-3: ⭐⭐⭐ (偶有生硬) │ │ └── DeepSeek 优势中文语感更好 │ │ │ │ 中文知识: │ │ ├── DeepSeek-V3: ⭐⭐⭐⭐⭐ (中国知识丰富) │ │ ├── Qwen-2.5: ⭐⭐⭐⭐⭐ (中国知识丰富) │ │ ├── LLaMA-3: ⭐⭐ (西方知识为主) │ │ └── DeepSeek 优势中文百科/历史/文化 │ │ │ │ 代码能力: │ │ ├── DeepSeek-V3: ⭐⭐⭐⭐ (优秀) │ │ ├── Qwen-2.5: ⭐⭐⭐⭐ (优秀) │ │ ├── LLaMA-3: ⭐⭐⭐⭐ (优秀) │ │ └── 差距不大均支持主流编程语言 │ │ │ │ 数学推理: │ │ ├── DeepSeek-R1: ⭐⭐⭐⭐⭐ (推理优化) │ │ ├── DeepSeek-V3: ⭐⭐⭐⭐ (优秀) │ │ ├── LLaMA-3: ⭐⭐⭐⭐ (优秀) │ │ └── DeepSeek-R1 专为推理优化 │ │ │ └─────────────────────────────────────────────────┘中文 Benchmark 对比┌────────────────────────────────────────────────────────────────────┐ │ 中文 Benchmark 对比 │ ├──────────────────┬─────────────┬─────────────┬─────────────────────┤ │ Benchmark │ DeepSeek-V3 │ Qwen-2.5 │ LLaMA-3-70B │ ├──────────────────┼─────────────┼─────────────┼─────────────────────┤ │ C-Eval (综合) │ 85.2% │ 86.5% │ 62.3% │ │ CMMLU (多选) │ 83.5% │ 84.2% │ 58.7% │ │ MMLU-CN (中文) │ 82.1% │ 83.8% │ 60.5% │ │ HumanEval-CN │ 78.5% │ 79.2% │ 72.0% │ │ GSM8K-CN (数学) │ 88.2% │ 87.5% │ 85.0% │ │ C3 (阅读理解) │ 86.8% │ 87.2% │ 65.5% │ └──────────────────┴─────────────┴─────────────┴─────────────────────┘ 注DeepSeek 和 Qwen 在中文任务上明显优于 LLaMA与其他模型对比理解了 DeepSeek 的中文优势后让我们从更全面的角度对比 DeepSeek、Qwen 和 LLaMA。这三个模型系列各有特色适用于不同的场景。综合对比综合对比从多个维度评估三个模型系列。中文能力DeepSeek 和 Qwen 都是五星LLaMA 是三星DeepSeek 和 Qwen 优势明显。英文能力LLaMA 是五星DeepSeek 和 Qwen 是四星LLaMA 优势明显。代码能力三者都是四星相当。数学推理DeepSeek 是五星R1 优化Qwen 和 LLaMA 是四星DeepSeek 略有优势。推理成本DeepSeek 是四星MoE 优势Qwen 是四星LLaMA 是三星DeepSeek 和 Qwen 优势明显。生态支持LLaMA 是五星最广泛Qwen 是四星DeepSeek 是三星LLaMA 优势明显。开源许可DeepSeekMIT和 QwenApache优于 LLaMALlama 社区许可。综合推荐三者都是四星需要根据场景选择。选择建议选择 DeepSeek 的场景包括中文应用为主、需要强推理能力选 R1、关注推理成本MoE 架构、需要宽松开源许可MIT。选择 Qwen 的场景包括中英文混合应用、需要完整工具链支持、阿里云生态集成、企业级应用。选择 LLaMA 的场景包括英文应用为主、需要最广泛生态支持、研究与学术用途、国际化部署。├──────────────┬─────────────┬─────────────┬─────────────┬──────────┤ │ 维度 │ DeepSeek │ Qwen │ LLaMA │ 备注 │ ├──────────────┼─────────────┼─────────────┼─────────────┼──────────┤ │ 中文能力 │ ⭐⭐⭐⭐⭐ │ ⭐⭐⭐⭐⭐ │ ⭐⭐⭐ │ D/Q 优 │ ├──────────────┼─────────────┼─────────────┼─────────────┼──────────┤ │ 英文能力 │ ⭐⭐⭐⭐ │ ⭐⭐⭐⭐ │ ⭐⭐⭐⭐⭐ │ L 优 │ ├──────────────┼─────────────┼─────────────┼─────────────┼──────────┤ │ 代码能力 │ ⭐⭐⭐⭐ │ ⭐⭐⭐⭐ │ ⭐⭐⭐⭐ │ 相当 │ ├──────────────┼─────────────┼─────────────┼─────────────┼──────────┤ │ 数学推理 │ ⭐⭐⭐⭐⭐ │ ⭐⭐⭐⭐ │ ⭐⭐⭐⭐ │ D 优 │ ├──────────────┼─────────────┼─────────────┼─────────────┼──────────┤ │ 推理成本 │ ⭐⭐⭐⭐ │ ⭐⭐⭐⭐ │ ⭐⭐⭐ │ MoE 优 │ ├──────────────┼─────────────┼─────────────┼─────────────┼──────────┤ │ 生态支持 │ ⭐⭐⭐ │ ⭐⭐⭐⭐ │ ⭐⭐⭐⭐⭐ │ L 最优 │ ├──────────────┼─────────────┼─────────────┼─────────────┼──────────┤ │ 开源许可 │ MIT │ Apache │ Llama │ D/Q 优 │ ├──────────────┼─────────────┼─────────────┼─────────────┼──────────┤ │ 综合推荐 │ ★★★★☆ │ ★★★★☆ │ ★★★★☆ │ 看场景 │ └──────────────┴─────────────┴─────────────┴─────────────┴──────────┘选择建议┌─────────────────────────────────────────────────┐ │ 模型选择建议 │ ├─────────────────────────────────────────────────┤ │ │ │ 选择 DeepSeek 的场景: │ │ ✓ 中文应用为主 │ │ ✓ 需要强推理能力 (选 R1) │ │ ✓ 关注推理成本 (MoE 架构) │ │ ✓ 需要宽松开源许可 (MIT) │ │ │ │ 选择 Qwen 的场景: │ │ ✓ 中英文混合应用 │ │ ✓ 需要完整工具链支持 │ │ ✓ 阿里云生态集成 │ │ ✓ 企业级应用 │ │ │ │ 选择 LLaMA 的场景: │ │ ✓ 英文应用为主 │ │ ✓ 需要最广泛生态支持 │ │ ✓ 研究与学术用途 │ │ ✓ 国际化部署 │ │ │ └─────────────────────────────────────────────────┘实战部署DeepSeek 模型的部署与其他模型类似支持 vLLM 和 llama.cpp 等主流推理引擎。由于 DeepSeek-V3 使用 MoE 架构需要确保推理引擎支持 MoE。vLLM 部署 DeepSeekvLLM 部署脚本展示了如何启动 DeepSeek-V3 服务。配置包括模型名称、端口、张量并行数8、最大序列长度256K、显存利用率0.9、分块预填充、以及信任远程代码MoE 需要。启动后服务提供 OpenAI API 兼容接口。llama.cpp 部署脚本展示了如何在 CPU 或混合模式下运行 DeepSeek。配置包括 GGUF 模型路径、端口、GPU 层数、上下文大小、批处理大小。这使得 DeepSeek 可以在无 GPU 或有限 GPU 的设备上运行。echo echo vLLM 部署 DeepSeek-V3 echo # 配置 MODEL${MODEL:-deepseek-ai/DeepSeek-V3} PORT${PORT:-8000} TP_SIZE${TP_SIZE:-8} echo echo 部署配置: echo 模型$MODEL echo 端口$PORT echo 张量并行$TP_SIZE echo # 启动服务 python3 -m vllm.entrypoints.openai.api_server \ --model $MODEL \ --host 0.0.0.0 \ --port $PORT \ --tensor-parallel-size $TP_SIZE \ --max-model-len 256000 \ --gpu-memory-utilization 0.9 \ --enable-chunked-prefill \ --trust-remote-code echo echo echo DeepSeek-V3 服务已启动 echo echo echo API 端点http://localhost:$PORT/v1llama.cpp 部署 DeepSeek#!/bin/bash # deploy_deepseek_llamacpp.sh - llama.cpp 部署 DeepSeek echo echo llama.cpp 部署 DeepSeek echo # 配置 MODEL${MODEL:-~/.cache/llama.cpp/models/deepseek-v3-q4_k_m.gguf} PORT${PORT:-8080} N_GPU${N_GPU:-35} echo echo 部署配置: echo 模型$MODEL echo 端口$PORT echo GPU 层数$N_GPU echo # 启动服务 cd /opt/llama.cpp ./server \ -m $MODEL \ --host 0.0.0.0 \ --port $PORT \ -ngl $N_GPU \ -c 32768 \ --batch-size 512 echo echo echo DeepSeek 服务已启动 echo 选型建议选择合适的 DeepSeek 模型需要考虑场景需求、硬件条件、以及预算限制。下面的选型建议可以帮助你做出合适的选择。场景推荐中文客服系统推荐 DeepSeek-V2-16B。显存需求 16-20GBINT4硬件要求单卡 A10/RTX 4090。优势是中文流畅、成本低。智能写作助手推荐 DeepSeek-V3-671B。显存需求 640-720GB硬件要求 8-16 卡 H100。优势是长上下文、高质量生成。数学/逻辑推理推荐 DeepSeek-R1-671B。显存需求 640-720GB硬件要求 16 卡 H100。优势是推理优化、步骤清晰。代码辅助推荐 DeepSeek-Coder-V2。显存需求 32-40GB硬件要求单卡 A100/双卡 A10。优势是代码专用、支持多语言。个人/本地使用推荐 DeepSeek-V2-16BINT4。显存需求 10-14GB硬件要求 RTX 3090/4090 或 CPU。优势是本地运行、隐私保护。成本对比表显示了不同配置的硬件成本、云成本、以及性能/成本比。V2-16B 单卡硬件成本约4,000云成本4,000云成本600-900/月性能/成本比五星。V3-671B 8 卡硬件成本约80,000云成本80,000云成本8,000-12,000/月性能/成本比四星。V3-671B 16 卡硬件成本约160,000云成本160,000云成本16,000-24,000/月性能/成本比五星。R1-671B 16 卡硬件成本约160,000云成本160,000云成本16,000-24,000/月性能/成本比四星。DeepSeek MoE 架构的性能/成本比优于同级别密集模型。├─────────────────────────────────────────────────┤ │ │ │ 中文客服系统: │ │ ├── 推荐DeepSeek-V2-16B │ │ ├── 显存16-20GB (INT4) │ │ ├── 硬件单卡 A10/RTX 4090 │ │ └── 优势中文流畅成本低 │ │ │ │ 智能写作助手: │ │ ├── 推荐DeepSeek-V3-671B │ │ ├── 显存640-720GB │ │ ├── 硬件8-16 卡 H100 │ │ └── 优势长上下文高质量生成 │ │ │ │ 数学/逻辑推理: │ │ ├── 推荐DeepSeek-R1-671B │ │ ├── 显存640-720GB │ │ ├── 硬件16 卡 H100 │ │ └── 优势推理优化步骤清晰 │ │ │ │ 代码辅助: │ │ ├── 推荐DeepSeek-Coder-V2 │ │ ├── 显存32-40GB │ │ ├── 硬件单卡 A100/双卡 A10 │ │ └── 优势代码专用支持多语言 │ │ │ │ 个人/本地使用: │ │ ├── 推荐DeepSeek-V2-16B (INT4) │ │ ├── 显存10-14GB │ │ ├── 硬件RTX 3090/4090 或 CPU │ │ └── 优势本地运行隐私保护 │ │ │ └─────────────────────────────────────────────────┘成本对比┌────────────────────────────────────────────────────────────────────┐ │ DeepSeek 部署成本对比 │ ├──────────────────┬─────────────┬─────────────┬─────────────────────┤ │ 配置 │ 硬件成本 │ 云成本 │ 性能/成本比 │ │ │ (一次性) │ (月租) │ │ ├──────────────────┼─────────────┼─────────────┼─────────────────────┤ │ V2-16B 单卡 │ $4,000 │ $600-900 │ ⭐⭐⭐⭐⭐ │ │ V3-671B 8 卡 │ $80,000 │ $8K-12K │ ⭐⭐⭐⭐ │ │ V3-671B 16 卡 │ $160,000 │ $16K-24K │ ⭐⭐⭐⭐⭐ │ │ R1-671B 16 卡 │ $160,000 │ $16K-24K │ ⭐⭐⭐⭐ │ └──────────────────┴─────────────┴─────────────┴─────────────────────┘ 注DeepSeek MoE 架构性能/成本比优于同级别密集模型总结今天学到的内容✅DeepSeek 模型介绍系列演进、V3/R1 特性✅架构特点MoE、MLA、多 token 预测✅推理性能测试vLLM 基准测试、性能参考✅中文场景优化中文能力对比、Benchmark✅与其他模型对比DeepSeek vs Qwen vs LLaMA✅实战部署vLLM/llama.cpp 部署✅选型建议场景推荐、成本对比下一步明天我们将学习Day 21 - Qwen 模型测试深入了解Qwen 系列模型介绍多语言支持测试推理性能 benchmark应用场景分析