DeepSeek 概述与本地化部署【详细流程】

 

目录

一、引言

1.1 背景介绍

1.2 本地化部署的优势

二、deepseek概述

2.1 功能特点

2.2 核心优势

三、本地部署流程

3.1 版本选择

3.2 部署过程

3.2.1 下载Ollama

3.2.2 安装Ollama 

3.2.3 选择 r1 模型

3.2.4 选择版本 

3.2.5 本地运行deepseek模型 

3.3.6 查看已有模型

3.3 使用客户端工具

4. 总结 

---

一、引言

1.1 背景介绍

DeepSeek，中文名为“深度求索”，是一家位于杭州的人工智能公司，由知名对冲基金 High-Flyer 投资支持。该公司专注于人工智能基础技术研究，并以其开源的大型语言模型在业内脱颖而出。通过将这些模型开源，深度求索不仅推动了技术的发展，还让更多开发者能够参与到人工智能的进步中来，这种开放的态度赢得了广泛的关注和认可。

1.2 本地化部署的优势

通过本地部署，可以完全掌控数据的存储和传输过程，减少了因第三方平台安全漏洞导致的数据泄露风险。避免了将敏感信息上传到云端的风险。这对于涉及个人隐私或商业机密的数据尤为重要。

二、deepseek概述

DeepSeek是由杭州深度求索人工智能基础技术研究有限公司开发的AI大模型，具备强大的智能问答和多模态交互能力。它能够理解并生成自然语言，提供精准的回答和建议，适用于多个领域，如教育、科技、生活等。DeepSeek的核心优势在于其低成本、高效率的训练和推理能力，打破了传统N卡垄断，降低了大模型的使用门槛。

2.1 功能特点

(1) 深层次逻辑推理

DeepSeek 不仅能够处理简单的问题，还能在面对复杂问题时进行深入的逻辑分析。无论是多步骤的推理还是复杂的决策支持，DeepSeek 都能提供有力的帮助，帮助用户找到最佳解决方案。

(2) 文档解析与总结

无论您需要处理的是 PDF、Word 文档，还是其他格式的文件，DeepSeek 都能轻松应对。只需将文件上传给 DeepSeek，它就能快速分析内容，提取关键要点，并生成简洁明了的总结报告。这一功能特别适合需要高效处理大量文档的专业人士，如研究人员、律师或记者，显著提升工作效率。

(3) 实时信息获取

通过其强大的联网搜索功能，DeepSeek 能够实时抓取最新的信息和数据。这对于那些需要时刻了解最新动态的用户来说尤为重要，比如新闻工作者、市场分析师或任何需要及时获取最新资讯的人士。您可以依赖 DeepSeek 获取最前沿的信息，保持竞争力。当然这一点得结合实际，可能最新消息更新得时间点有所延后。

(4) 全方位应用场景

无论是对话聊天、语言翻译、创意写作、编程辅助、解题答疑、文献解读，还是旅行规划，DeepSeek 都能派上用场。简直是居家旅行必备良品！

2.2 核心优势

(1) 智能化

DeepSeek能够理解复杂的问题，并提供精准的解决方案。它通过深度学习和自然语言处理技术，能够理解用户的需求并提供个性化的建议。

(2) 多功能性

DeepSeek在多个领域都有广泛的应用，包括学习、工作和生活。它可以用作学习助手、编程助手、写作助手、生活助手和翻译助手等，满足用户在不同场景下的需求。

(3) 易用性

DeepSeek通过自然语言交互，用户无需学习复杂的操作即可与模型进行对话。这种交互方式使得用户能够轻松地获取所需的信息和服务。

(4) 低成本

DeepSeek的训练和推理成本较低，打破了传统N卡垄断，降低了大模型的使用门槛。这使得更多的企业和个人能够使用高性能的AI服务。

(5) 高效率

DeepSeek在推理能力和响应速度上表现出色，能够快速处理复杂的查询和任务，提供准确的答案和解决方案。

(6) 开源生态

DeepSeek采用了开源策略，吸引了大量开发者和研究人员的参与，推动了AI技术的发展和应用。

(7) 本地部署优势

DeepSeek支持本地部署，确保数据隐私和安全，同时提供更高的性能和稳定性，适合对数据安全要求较高的企业和机构。

三、本地部署流程

3.1 版本选择

本地部署就是自己部署DeepSeek-R1模型，使用本地的算力，

主要瓶颈：内存+显存的大小。

特点：此方案不用联网。

适合：有数据隐私方面担忧的或者保密单位根本就不能上网的。

使用满血版：DeepSeek R1 671B 全量模型的文件体积高达 720GB，对于绝大部分人而言，本地资源有限，很难达到这个配置

蒸馏版本：

蒸馏版本链接：https://huggingface.co/deepseek-ai

开源2+6个模型。R1预览版和正式版的参数高达660B，非一般公司能用。为进一步平权， 于是他们就蒸馏出了6个小模型，并开源给社区。最小的为1.5B参数，10G显存可跑。

如果你要在个人电脑上部署，一般选择其他架构的蒸馏模型，本质是微调后的Llama或Qwen模型，基本32B以下，并不能完全发挥出DeepSeek R1的实力。

3.2 部署过程

3.2.1 下载Ollama

Ollama 是一个开源的大型语言模型（LLM）平台，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。 Ollama 提供了一个简单的方式来加载和使用各种预训练的语言模型，支持文本生成、翻译、代码编写、问答等多种自然语言处理任务。 Ollama 的特点在于它不仅仅提供了现成的模型和工具集，还提供了方便的界面和 API，使得从文本生成、对话系统到语义分析等任务都能快速实现。

访问链接： Ollama

 根据自己的操作系统选择 ↓ ↓ ↓

3.2.2 安装Ollama 

就傻瓜式安装

安装完成后，检验是否安装成功。

`win+r` 输入 cmd  

命令行输入

ollama -v

能显示版本，就说明安装成功。

3.2.3 选择 r1 模型

 

3.2.4 选择版本 

b代表10亿参数量，7b就是70亿参数量。这里的671B是 HuggingFace经过4-bit 标准量化的，所以大小是404GB

ollama 支持 CPU 与 GPU 混合推理。将内存与显存之和大致视为 系统的 “总内存空间”。 如果你想运行404GB的671B，建议你的内存+显存能达到500GB以 上

除了模型参数占用的内存+显存空间（比如671B的404GB）以 外，实际运行时还需额外预留一些内存（显存）空间用于上 下文缓存。预留的空间越大，支持的上下文窗口也越大。所 以根据你个人电脑的配置，评估你选择部署哪一个版本。如 果你想运行404GB的671B，建议你的内存+显存能达到500GB 以上

这里我们以7B为例，大多数的电脑都能够运行起来。

3.2.5 本地运行deepseek模型 

再命令中，输入如下命令

ollama run deepseek-r1:7b

 

注意：

下载支持断点续传，如果下载中速度变慢，可以鼠标点击命 令行窗口，然后ctrl+c取消，取消后按方向键“上”，可以找到 上一条命令，即”ollama run deepseek-r1:7b“，按下回车会重新链接，按照之前进度接着下载。

下载完成后，自动进入模型，直接在命令行输入问题，即可得到回复。

获取帮助

/?

退出对话

/bye

 

3.3.6 查看已有模型

代码如下

ollama list

后续要运行模型，仍然使用之前的命令

ollama run deepseek-r1:7b

 

3.3 使用客户端工具

本地部署好模型之后，在命令行操作还是不太方便，我们继 续使用一些客户端工具来使用。

我们使用 Cherry Studio，Cherry Studio 是一个支持多模型服务的桌面客户端，为专业用户而打造，内置 30 多个行业的智能助手，帮助用户在多种场景下提升工作效率。

Cherry Studio的下载地址：https://cherry-ai.com/

 

就直接傻瓜式安装。

然后我们以Cherry Studio为例访问7b的蒸馏模型。

 如何这里没有显示r1模型，那么说明你之前没有安装好，去重新安装。

然后去选择模型，值得注意的是，使用时要确保ollama客户端已启动。

 

然后提问 ↓ ↓ ↓

4. 总结 

以上就是deepseek本地化部署的全部内容，部署流程参考B站尚硅谷 👇 👇 👇30-部署方式3：本地算力部署_哔哩哔哩_bilibili

更多内容点击下面链接查看 👇 👇 👇

专栏管理-CSDN创作中心