保姆级教程--DeepSeek部署
以DeepSeek-R1或其他类似模型为例,涵盖环境配置、代码部署和运行测试的全流程:
准备工作
1. 注册 Cloud Studio
- 访问 [Cloud Studio 官网](https://cloudstudio.net/),使用腾讯云账号登录。
- 完成实名认证(如需长期使用)。
2. 创建工作空间
进入控制台,点击「新建工作空间」。
选择「Python」模板,配置资源:
运行环境:推荐选择 Ubuntu 18.04+(预装Python 3.8)。
资源规格:若需GPU加速,选择「GPU 加速型」;否则选「基础型」。
存储:至少分配 20GB 存储(模型文件通常较大)。
步骤 1:配置开发环境
1. 安装依赖库
打开 Cloud Studio 的终端(Terminal),依次执行以下命令:
```bash
# 更新系统包
sudo apt-get update
# 安装 Python 依赖
sudo apt-get install -y python3-pip python3-dev
# 安装 PyTorch(根据CUDA版本选择,若无GPU则用CPU版)
pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
# 安装 DeepSeek 所需依赖(假设项目需要)
pip3 install transformers datasets accelerate sentencepiece
```
2. 验证 GPU 可用性(如选择GPU环境)
```bash
nvidia-smi # 查看GPU信息
python3 -c "import torch; print(torch.cuda.is_available())" # 输出应为 True
```
步骤 2:部署 DeepSeek 模型
1. 克隆代码仓库
假设 DeepSeek 代码托管在 GitHub,例如官方仓库 `deepseek-ai/DeepSeek-R1`:
```bash
git clone https://github.com/deepseek-ai/DeepSeek-R1.git
cd DeepSeek-R1
```
若代码需权限访问,使用 SSH Key 或 Personal Access Token(需提前配置)。
2. 下载模型权重
从 Hugging Face 或官方渠道下载预训练模型(如 `deepseek-r1-base`):
```bash
# 示例:使用 huggingface-cli 下载
pip install huggingface_hub
huggingface-cli download deepseek-ai/deepseek-r1-base --local-dir ./model
```
3. 配置模型路径
修改代码中的模型加载路径(如 `config.json` 或 `inference.py`):
```python
# 示例代码片段
from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained("./model")
tokenizer = AutoTokenizer.from_pretrained("./model")
```
步骤 3:运行推理测试
1. 编写测试脚本
- 在项目根目录创建 `demo.py`,添加示例推理代码:
```python
from transformers import pipeline
# 加载模型
generator = pipeline('text-generation', model='./model')
# 示例输入
prompt = "中国的首都是"
result = generator(prompt, max_length=50, num_return_sequences=1)
print(result[0]['generated_text'])
```
2. 执行推理
```bash
python3 demo.py
```
预期输出:生成与输入相关的文本,例如 `中国的首都是北京,位于华北平原...`。
步骤 4:部署为 API 服务(可选)
1. 安装 FastAPI 和 Uvicorn
```bash
pip install fastapi uvicorn
```
2. 创建 API 文件 `api.py`
```python
from fastapi import FastAPI
from pydantic import BaseModel
from transformers import pipeline
app = FastAPI()
generator = pipeline('text-generation', model='./model')
class RequestData(BaseModel):
prompt: str
max_length: int = 50
@app.post("/generate")
async def generate_text(data: RequestData):
result = generator(data.prompt, max_length=data.max_length)
return {"result": result[0]['generated_text']}
```
3. 启动服务
```bash
uvicorn api:app --host 0.0.0.0 --port 8080
```
4. 访问 API
在 Cloud Studio 的「端口」选项卡中,将端口 `8080` 设置为公开访问。
通过生成的临时 URL(如 `https://xxxx.cloudstudio.net`)调用 API:
```bash
curl -X POST "https://xxxx.cloudstudio.net/generate" \
-H "Content-Type: application/json" \
-d '{"prompt": "人工智能的未来是"}'
```
常见问题解决
1. 依赖冲突
使用虚拟环境隔离依赖:
```bash
pip install virtualenv
virtualenv venv
source venv/bin/activate
```
2. 模型下载失败
替换 Hugging Face 镜像源:
```bash
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download ...
```
3. 显存不足(GPU环境)
- 减少批量大小(`batch_size`)或启用梯度裁剪。
通过以上步骤,成功在 Cloud Studio 上部署了 DeepSeek 模型,并可通过 API 提供服务。若需长期运行,建议绑定自定义域名并配置 HTTPS。
相关文章:
保姆级教程--DeepSeek部署
以DeepSeek-R1或其他类似模型为例,涵盖环境配置、代码部署和运行测试的全流程: 准备工作 1. 注册 Cloud Studio - 访问 [Cloud Studio 官网](https://cloudstudio.net/),使用腾讯云账号登录。 - 完成实名认证(如需长期使用…...
AI方案调研与实践 (不定期补充)
目录 说明 1. AI云主机准备 1.1 Ollama配置 设置模型保存路径 配置模型驻留内存时间 查看GPU状况命令: nvidia-smi 2. Deepseek 2.1 安装与使用 3. LobeChat配置 参考 说明 调研并实例化各种AI方案,探索训练/使用方式的最佳实践。 1. AI云主机准备 可以去一…...
人工智能大模型之模型蒸馏与知识蒸馏
一、背景介绍 随着人工智能技术的不断发展,大模型在各个领域的应用也越来越广泛。模型蒸馏(Model Distillation)和知识蒸馏(Knowledge Distillation)是两种非常重要的模型压缩技术,它们可以帮助我们将大型…...
[手机Linux] onepluse6T 系统重新分区
一,刷入TWRP 1. 电脑下载 Fastboot 工具(解压备用)和对应机型 TWRP(.img 后缀文件,将其放入前面解压的文件夹里) 或者直接这里下载:TWRP 2. 将手机关机,长按音量上和下键 开机键 进入 fastbo…...
k8s部署elasticsearch
前置环境:已部署k8s集群,ip地址为 192.168.10.1~192.168.10.5,总共5台机器。 1. 创建provisioner制备器(如果已存在,则不需要) 制备器的具体部署方式,参考我之前的文章:k8s部署rab…...
知识图谱智能应用系统:数据分析与挖掘技术文档
一、概述 在知识图谱智能应用系统中,数据分析与挖掘模块是实现知识发现和智能应用的核心环节。该模块负责处理和分析来自数据采集与预处理模块的结构化和半结构化数据,提取有价值的知识,并将其转化为可用于知识图谱构建和应用的三元组数据。本技术文档详细介绍了数据分析与…...
YAML中的`---`:文档分隔符
前言 YAML(YAML Ain’t Markup Language)是一种简洁且易于人类阅读的数据序列化标准,广泛用于配置文件、数据存储以及应用程序之间的数据交换。然而,对于许多初学者来说,YAML的一些特性可能不太直观,比如-…...
本地部署DeepSeek
下载Docker Docker Desktop: The #1 Containerization Tool for Developers | Docker 下载安装ollama Download Ollama on macOS 下载完成后解压运行 终端输入 Ollama --version 输出对应版本号即为下载成功 如果没有弹出上述图片,浏览器输入http://localhos…...
21.[前端开发]Day21-HTML5新增内容-CSS函数-BFC-媒体查询
王者荣耀-网页缩小的问题处理 为什么会产生这个问题?怎么去解决 可以给body设置最小宽度 1 HTML5新增元素 HTML5语义化元素 HTML5其他新增元素 2 Video、Audio元素 HTML5新增元素 - video video支持的视频格式 video的兼容性写法 HTML5新增元素 - audio audio…...
nbmade-boot调用deepseek的api过程与显示
希望大家一起能参与我的新开源项目nbmade-boot: 宁波智能制造低代码实训平台 下面简单介绍调用最近大红的AI :deepseek的api过程与显示,包括前后端代码与效果图 一、后端代码 1、几个基础的java类 DeepSeekRequest .java package com.nbcio.demo.do…...
Linux:安装 node 及 nvm node 版本管理工具(ubuntu )
目录 方法一:手动下载安装文件安装方法二:curl安装 方法一:手动下载安装文件安装 git clone 远程镜像 git clone https://gitee.com/mirrors/nvm安装 nvm bash install.sh刷新配置,使配置在终端生效 // 方法 1 source /root/.…...
微服务日志查询难解决方案-EFK
前言 在微服务项目中,日志查询难是一个常见问题,主要原因包括:日志分散:微服务实例分布在多个节点或容器中,日志存储位置分散。格式不统一:不同服务可能使用不同的日志格式,难以统一查询。调用…...
【多线程-第三天-NSOperation和GCD的区别 Objective-C语言】
一、我们来看NSOperation和GCD的区别 1.我们来对比一下,NSOperation和GCD, 那这个代码,我们都写过了, 我们来看一下它们的特点啊,首先来看GCD, 1)GCD是C语言的框架,是iOS4.0之后推出的,并且它的特点是,针对多核做了优化,可以充分利用CPU的多核,OK,这是GCD, 2…...
【医院运营统计专题】2.运营统计:医院管理的“智慧大脑”
医院成本核算、绩效管理、运营统计、内部控制、管理会计专题索引 引言 在当今医疗行业快速发展的背景下,医院运营管理的科学性和有效性成为了决定医院竞争力和可持续发展能力的关键因素。运营统计作为医院管理的重要工具,通过对医院各类数据的收集、整理、分析和解读,为医…...
Ollama 部署 DeepSeek-R1 及Open-WebUI
Ollama 部署 DeepSeek-R1 及Open-WebUI 文章目录 Ollama 部署 DeepSeek-R1 及Open-WebUI〇、说明为什么使用本方案 一、 安装Ollama1、主要特点:2、安装3、验证 二、Ollama 部署 DeepSeek1、部署2、模型选用3、Ollama 常用命令4、Ollama模型默认存储路径 安装open-w…...
Docker 容器 Elasticsearch 启动失败完整排查记录
背景 在服务器上运行 Docker 容器 es3,但 Elasticsearch 无法正常启动,运行 docker ps -a 发现 es3 处于 Exited (1) 状态,即进程异常退出。 本次排查从错误日志、容器挂载、权限问题、SELinux 影响、内核参数等多个方面入手,最…...
离线安装Appium Server
1、问题概述? 安装Appium通常有两种方式: 第一种:下载exe安装包,这种是Appium Server GUI安装方式,缺点是通过命令启动不方便。 第二种:通过cmd安装appium server,可以通过命令方式启动,比较方便。 问题:在没有外网的情况下,无法通过命令在cmd中安装appium server…...
Vite 打包原理
🤍 前端开发工程师、技术日更博主、已过CET6 🍨 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 🕠 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 🍚 蓝桥云课签约作者、上架课程《Vue.js 和 E…...
目前推荐的优秀编程学习网站与资源平台,涵盖不同学习方式和受众需求
一、综合教程与互动学习平台 菜鸟教程 特点:适合零基础新手,提供免费编程语言教程(Python、Java、C/C++、前端等),页面简洁且包含大量代码示例,支持快速上手。适用人群:编程入门者、需要快速查阅语法基础的学习者。W3Schools 特点:专注于Web开发技术(HTML、CSS、JavaS…...
【大模型】Ubuntu下安装ollama,DeepSseek-R1:32b的本地部署和运行
1 ollama 的安装与设置 ollama官网链接:https://ollama.com/ 在左上角的【Models】中展示了ollama支持的模型在正中间的【Download】中课可以下载支持平台中的安装包。 其安装和模型路径配置操作流程如下: ollama的安装 这里选择命令安装curl -fsSL …...
蓝桥杯---力扣题库第38题目解析
文章目录 1.题目重述2.外观数列举例说明3.思路分析(双指针模拟)4.代码说明 1.题目重述 外观数列实际上就是给你一串数字,我们需要对于这个数据进行一个简单的描述罢了; 2.外观数列举例说明 外观数列都是从1开始的,也…...
oCam:免费且强大的录屏软件
今天给大家推荐一个非常好的录屏软件。几乎可以满足你日常工作的需求。而且软件完全免费,没有任何的广告。 oCam:免费且强大的录屏软件 oCam是一款功能强大的免费录屏软件,支持屏幕录制、游戏录制和音频录制等多种模式,能够满足不…...
Day81:数据的保存
在编程中,数据保存是非常重要的,它使得程序能够持久化存储数据,并在程序重启后继续使用。这一节,我们将介绍如何使用 Python 来保存数据,涉及常见的几种方式,包括将数据保存到文件中、使用数据库等方法。 1. 保存数据到文本文件 文本文件是最常用的数据存储方式之一。你…...
苍穹外卖 项目记录 day11 Spring Task订单定时处理-来单提醒-客户催单
文章目录 Spring Taskcron表达式Spring Task使用步骤订单状态定时处理WebSocketWebSockt入门示例来单提醒客户催单 Spring Task Spring Task 是Spring框架提供的任务调度工具,可以按照约定的时间自动执行某个代码逻辑。 应用场景: 1). 信用卡每月还款…...
【GitLab CI/CD 实践】从 0 到 1 搭建高效自动化部署流程
网罗开发 (小红书、快手、视频号同名) 大家好,我是 展菲,目前在上市企业从事人工智能项目研发管理工作,平时热衷于分享各种编程领域的软硬技能知识以及前沿技术,包括iOS、前端、Harmony OS、Java、Python等…...
Django开发入门 – 1.搭建基于Python Web框架Django的IDE开发环境
Django开发入门 – 1.搭建基于Python Web框架Django的IDE开发环境 Build A Integrated Development Environment(IDE) for Python Web Framework - django By JacksonML 1. 获取及安装最新版Python 打开Chrome浏览器,访问Python官网链接:https://www…...
【Java基础】序列化、反序列化和不可变类
Hi~!这里是奋斗的明志,很荣幸您能阅读我的文章,诚请评论指点,欢迎欢迎 ~~ 🌱🌱个人主页:奋斗的明志 🌱🌱所属专栏:Java基础面经 📚本系列文章为个…...
R语言 文本分析 天龙八部
起因, 目的: 前面有人对 “倚天屠龙记” 进行分析,我这里只是进行模仿而已。 完整的文件, 已经绑定了,反正读者可以找一下。 案例背景 小说《天龙八部》是金庸先生所著的武侠小说,也是“射雕三部曲”的前传。全书共50章,字数超过一百万字。故事发生在北宋末年,以大理…...
Gradle 发布Jar到 Maven Central
1. 前置步骤 自 2024 年 3 月 12 日起,所有注册和发布都将通过 Central Portal 进行。 Central Portal 帐户注册命名空间可用于对工件进行签名的 GPG 密钥 1. 创建 GPG 密钥对 2. 分发公钥 更多教程参考本文: 如何发布jar包到maven中央仓库(2024年3月最…...
小米6的ubantu touch 怎么安装docker
deekseek 真的太牛逼了。 小米6的ubantu touch 怎么安装docker? Thought for 19 seconds 嗯,用户问的是在小米6上安装Ubuntu Touch后如何安装Docker。首先,我需要确认Ubuntu Touch的版本是否支持Docker。Ubuntu Touch是基于Ubuntu的移动操作…...
