当前位置: 首页 > news >正文

【大模型】本地部署DeepSeek-R1:8b大模型及搭建Open-WebUI交互页面

本地部署DeepSeek-R1:8b大模型

  • 一、摘要及版本选择说明
    • 1.1 摘要
    • 1.2 版本选择
  • 二、下载并安装Ollama
  • 三、运行DeepSeek-R1:8b大模型
  • 四、安装Open WebUI增强交互体验
  • 五、关闭Ollama开机自动启动
  • 六、DeepSeek大模型启停步骤

一、摘要及版本选择说明

1.1 摘要

作为一名对 AI 和生成式模型感兴趣的开发者或学习者,了解如何在小规模环境中部署这些模型是有趣且有益的。在个人笔记本上部署 DeepSeek-R1 是一种具有挑战性的但非常有价值的实践。它不仅可以帮助你快速实现文本生成和问答功能,还能通过不断解决遇到的问题,提升你的技术能力和对 AI 模型的理解。尽管过程中可能会遇到资源不足、配置复杂等问题,但通过仔细规划和持续学习,最终可以成功完成部署并享受到模型带来的便利。本文将介绍下载安装Ollama的方法,并且根据个人电脑的配置选择合适的DeepSeek版本进行安装部署测试,然后通过安装部署Open-WebUI交互页面来增强使用大模型的体验的整个过程。

1.2 版本选择

DeepSeek R1对硬件资源比较友好,对不同硬件配置有良好的适应性,能根据用户计算机硬件配置选择合适的模型版本。入门级设备拥有4GB 存和核显就能运行1.5B(Billion,十亿,大模型参数的数量)版本;进阶设备8GB内存搭配4GB显存就能驾驭7B版本;高性能设备则可选择32B版本。而且,DeepSeek R1支持低配置电脑,即使是没有独立显卡的低配置电脑,只要有足够的空余硬盘空间,如部署最大的6710亿参数的大模型需要至少1TB的空余空间,也能完成部署。
本人电脑配置支持DeepSeek-R1:8b,因此选择部署DeepSeek-R1:8b大模型。

二、下载并安装Ollama

  1. 下载Ollama
    访问Ollama官网, 点击“Download”,根据操作系统下载自己操作系统对应的安装包,比如,Windows用户可以点击“Windows”图标,然后,点击“Download for Windows”下载安装包。需要注意的是,对于Windows系统,这里仅支持Windows10及其以上版本。
    在这里插入图片描述
  2. 安装Ollama
    下载完成后,双击【OllamaSetup.exe】,在弹窗中点击【Install】,默认安装即可。当安装成功后,一般会在电脑右下角有个提示框,如果你点击该提示框,会打开cmd,如下图所示:
    在这里插入图片描述
    可以在该cmd中输入命令,查看当前ollama的版本:
     ollama --version
    
    执行效果如下:
    在这里插入图片描述
    如果你没有看到电脑右下角的那个弹窗,可以自己打开cmd,然后执行上述查看版本命令,也是可以的,具体如下:
    在这里插入图片描述

三、运行DeepSeek-R1:8b大模型

蒸馏模型
DeepSeek团队已经证明,大型模型的推理模式可以被提炼到小型模型中,与通过小型模型的强化学习发现的推理模式相比,可以获得更好的性能。
以下是通过使用DeepSeek-R1生成的推理数据,针对研究社区广泛使用的几个密集模型进行微调而创建的模型。
在这里插入图片描述

  1. 运行或下载模型
    在cmd中运行如下命令:

    ollama run deepseek-r1:8b
    

    该命令执行时,会进行如下两个方向的操作:

    • 本地模型检查:Ollama 会检查本地是否已经下载并缓存了 deepseek-r1:8b 模型。它会在 Ollama 默认的模型存储目录中查找该模型的相关文件。
    • 模型下载:如果本地没有找到该模型,Ollama 会尝试从其默认的模型注册表(通常是 Ollama 官方的模型仓库)下载 deepseek-r1:8b 模型。在下载过程中,会显示下载进度信息,直到模型文件全部下载完成并存储到本地。

    执行成功后,效果如下:
    在这里插入图片描述

  2. 测试模型能否正常推理
    在刚刚运行ollama run deepseek-r1:8b的cmd窗口中,输入相关的问题,如下所示:
    在这里插入图片描述
    秒级得到回复,性能还是很好的,给deepseek点赞!!

  3. (可选)检查一下运行deepseek-r1:8b用掉了多少GPU
    如果你本地电脑有Nvidia显卡,且已经安装了cuda,可在cmd中输入:nvidia-smi命令查看GPU使用情况:
    在这里插入图片描述

四、安装Open WebUI增强交互体验

这种命令行的交互方式不是特别友好,因此我们安装Open WebUI来增强交互体验。当然,只要是支持Ollama的WebUI都可以,如Dify、AnythingLLM等。这里使用比较简单而且也是与Ollama结合比较紧密的Open WebUI。可以在cmd命令行窗口中执行如下命令安装Open WebUI,注意:这里使用国内清华大学的安装源镜像,这样可以加快安装速度。具体步骤如下:

  1. 检查本地电脑是否安装Microsoft Visual C++ Build Tools

    • 按下 Win + R 组合键打开 “运行” 对话框。
    • 在对话框中输入 appwiz.cpl 并回车,打开 “程序和功能” 窗口。
    • 在程序列表中查找 “Visual Studio Build Tools” 相关的条目。如果能找到类似 “Microsoft Visual Studio Build Tools 20xx”(xx 代表具体版本号)的程序,说明已经安装了 Visual C++ Build Tools。
      我电脑没有查到,如图所示:
      在这里插入图片描述
      如果此时执行pip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple命令时,报错如下:
      在这里插入图片描述
    • 需要安装Microsoft Visual C++ Build Tools
      • 到微软官网下载
        在这里插入图片描述
        下载完成后的安装包为:vs_BuildTools.exe
      • 双击vs_BuildTools.exe安装包,进行安装。
        在弹出的安装界面中(如下图所示),在界面左上角的“桌面应用和移动应用”下方,选中“使用C++的桌面开发”,然后,点击界面右下角的“安装”按钮,完成安装。
        在这里插入图片描述
        点击【安装】按钮,会看到如下页面:
        在这里插入图片描述
        等待一会儿,就完成了安装,如下图所示:
        在这里插入图片描述
        点击【确定】按钮,然后关闭“Visual Studio Install”安装窗口即可。
  2. 确保本地已经Python环境:

    python --version
    

    在这里插入图片描述

  3. 执行安装open-webui的命令:

    pip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple
    

    执行过程如下:
    在这里插入图片描述

  4. 可以执行如下命令启动Open WebUI服务

    open-webui serve
    

    注意,如果启动以后,看到下面界面,说明还没有启动成功,需要继续等待。可以敲击几次回车。
    在这里插入图片描述
    在继续等待过程中,可能屏幕上会出现一些错误信息,里面会包含如下内容:
    在这里插入图片描述
    这个错误信息说明,启动过程连接Hugging Face Hub失败。Hugging Face Hub网站在国外,所以,经常会连接失败,所以,导致open-webui启动过程始终停止不动。
    直到出现下面屏幕信息以后,才说明启动成功了。
    在这里插入图片描述
    启动后,在浏览器中访问http://localhost:8080/即可进入Open WebUI界面。如果网页显示“拒绝连接”,无法访问Open WebUI界面,一般是由于你的计算机开启了Windows防火墙,可以关闭本地电脑防火墙即可。
    如正常访问,会看到如下:
    在这里插入图片描述
    点击【开始使用】,进入填写邮箱页面,即需要注册一个管理员账号(如图所示),然后,就可以开始使用了。
    在这里插入图片描述
    此时会看到如下页面(如看不到,需要确保ollama服务已启动,在任务管理器可查看):
    在这里插入图片描述
    点击【确认,开始使用!】按钮,然后会看到我们自己部署的模型:
    在这里插入图片描述
    可以在对话框中输入你想要对话的内容,比如“请问如何快速高效地学习并掌握deepseek大模型”,然后回车,页面就会给出DeepSeek R1的回答结果,如图所示:
    在这里插入图片描述

五、关闭Ollama开机自动启动

在Windows 中如果想要将应用程序设置为开机自启动,其步骤如下:

  1. 按下 Win + R 组合键,打开 “运行” 对话框,输入 shell:startup 并回车,这会打开 “启动” 文件夹。
  2. 找到 Ollama 的可执行文件(通常在安装目录下),创建其快捷方式。
  3. 将创建好的快捷方式复制或移动到 “启动” 文件夹中。
    我们可以按照这个方法检查并确认Ollama应用程序是否是开机自启动,通过如上步骤,我们得知ollama确实被设置成了开机自启动:
    在这里插入图片描述

由于ollama安装完成后会默认被设置成开启自动,为了节省当我们不需要使用ollama时的资源,可以将其关闭掉。具体步骤如下:

  1. 打开任务管理器,点击左侧【启动应用】选项,找到ollama,如图所示:
    在这里插入图片描述
  2. 把鼠标指针放到“已启动”上面,单击鼠标右键,在弹出的菜单中点击“禁用”,然后关闭任务管理器界面。经过这样设置以后,Ollama以后就不会开机自动启动了。

六、DeepSeek大模型启停步骤

  1. 停止大模型
    当我们本次使用完大模型时,只需要关闭各个cmd命令行窗口,大模型就停止运行了。
  2. 启动大模型及open-web步骤如下:
    • (可选)确保ollama应用程序处于启动状态(该步骤如关闭Ollama开机自启动的话,需要先启动ollama服务)
    • 新建一个cmd命令行窗口,在cmd命令行窗口中执行如下命令启动DeepSeek R1大模型:
      ollama run deepseek-r1:8b
      
    • 再新建一个cmd命令行窗口,在cmd命令行窗口中执行如下命令启动Open WebUI服务:
      open-webui serve
      
    • 在浏览器中访问大模型对话页面
      在浏览器中访问http://localhost:8080/即可进入Open WebUI界面,开始使用大模型。

相关文章:

【大模型】本地部署DeepSeek-R1:8b大模型及搭建Open-WebUI交互页面

本地部署DeepSeek-R1:8b大模型 一、摘要及版本选择说明1.1 摘要1.2 版本选择 二、下载并安装Ollama三、运行DeepSeek-R1:8b大模型四、安装Open WebUI增强交互体验五、关闭Ollama开机自动启动六、DeepSeek大模型启停步骤 一、摘要及版本选择说明 1.1 摘要 作为一名对 AI 和生成…...

Python 调用 Stabilityai API在本地生成图像

Python 调用 Stabilityai API在本地生成图像 摘要功能 代码结构关键技术代码下载立即体验 摘要 本程序利用硅基流动目前的免费 stabilityai/stable-diffusion-2-1 模型API,生成图像并下载到本地,用户可以通过输入描述性提示词来获取相应的图像。使用Pyt…...

Python3中异常处理:try-finally语句的示例

一. 简介 前面一篇文章简单学习了 try-finally语句结构,执行过程、以及使用场景。文章如下: Python3中异常处理:try-finally语句-CSDN博客 本文写一些简单的示例来继续学习 try-finally语句的使用。 二. Python3中异常处理:try…...

Lua限流器的3种写法

学而不思则罔,思而不学则殆 引言 上篇文章讲解了Lua脚本,事务和Pipline之间的使用方式和性能差距,本篇文章将聚焦Lua脚本,我将用三种写法来展现如何实现一个Redis限流器 固定窗口限流 固定窗口限流也是最简单的限流算法&#x…...

基于 GEE 利用插值方法填补缺失影像

目录 1 完整代码 2 运行结果 利用GEE合成NDVI时,如果研究区较大,一个月的影像覆盖不了整个研究区,就会有缺失的地方,还有就是去云之后,有云量的地区变成空值。 所以今天来用一种插值的方法来填补缺失的影像&#xf…...

linux部署ollama+deepseek+dify

Ollama 下载源码 curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz sudo tar -C /usr -xzf ollama-linux-amd64.tgz启动 export OLLAMA_HOST0.0.0.0:11434 ollama serve访问ip:11434看到即成功 Ollama is running 手动安装deepseek…...

在微服务中,如何使用feign在各个微服务中进行远程调用

在微服务中&#xff0c;如何使用feign在不同微服务中进行远程调用 在微服务中&#xff0c;如何使用feign在不同微服务中进行远程调用 步骤&#xff1a; 第一步&#xff1a; 引入feign依赖 <dependency><groupId>org.springframework.cloud</groupId><…...

Kafka中的KRaft算法

我们之前的Kafka值依赖于Zookeeper注册中心来启动的&#xff0c;往里面注册我们节点信息 Kafka是什么时候不依赖Zookeeper节点了 在Kafka2.8.0开始就可以不依赖Zookeeper了 可以用KRaft模式代替Zookeeper管理Kafka集群 KRaft Controller和KRaft Leader的关系 两者关系 Lea…...

vue3 -- 集成 amap(高德地图)

🍍效果 本文介绍了如何在 Vue 3 项目中集成高德地图(AMap),并使用 PoiPicker 实现地点搜索功能。 文章首先通过 AMapLoader 异步加载高德地图 API,并初始化 Map 实例。同时,借助 AMapUI 组件库引入 PoiPicker,绑定搜索输入框,实现地点选择功能。PoiPicker 监听用户的 …...

基于用户的协同过滤算法推荐

import numpy as np 计算用户之间的相似度&#xff08;这里使用余弦相似度&#xff09; def cosine_similarity(user1, user2): numerator np.dot(user1, user2) denominator np.linalg.norm(user1) * np.linalg.norm(user2) return numerator / denominator if denominato…...

4.python+flask+SQLAlchemy+达梦数据库

前提 1.liunx Centos7上通过docker部署了达梦数据库。从达梦官网下载的docker镜像。(可以参考前面的博文) 2.windows上通过下载x86,win64位的达梦数据库,只安装客户端,不安装服务端。从达梦官网下载达梦数据库windows版。(可以参考前面的博文) 这样就可以用windows的达…...

神经网络常见激活函数 4-LeakyReLU函数

文章目录 LeakyReLU函数导函数函数和导函数图像优缺点pytorch中的LeakyReLU函数tensorflow 中的LeakyReLU函数 LeakyReLU LeakyReLU&#xff1a; Leaky Rectified Linear Unit 函数导函数 LeakyReLU函数 L e a k y R e L U { x x > 0 p x x < 0 p ∈ ( 0 , 1 ) \rm …...

PHP盲盒商城系统源码 晒图+免签+短信验证+在线回收 thinkphp框架

源码介绍 PHP盲盒商城系统源码 晒图免签短信验证在线回收 thinkphp框架 源码前端uniapp开发&#xff0c;可以打包成APP&#xff08;非H5封壳&#xff09;H5&#xff0c;接其他平台支付通道&#xff0c;前后端全开源 H5盲盒首页可以直接开盒新UI 修复优化BUG&#xff0c;修复无…...

单例模式详解(Java)

单例模式详解(Java) 一、引言 1.1 概述单例模式的基本概念和重要性 单例模式是一种常用的软件设计模式,它确保一个类在整个应用程序中只有一个实例,并提供一个全局访问点来访问这个唯一实例。这种模式在资源管理、配置设置和日志记录等方面非常有用,因为它们通常只需要…...

2025年度Python最新整理的免费股票数据API接口

在2025年这个充满变革与机遇的年份&#xff0c;随着金融市场的蓬勃发展&#xff0c;量化交易逐渐成为了投资者们追求高效、精准交易的重要手段。而在这个领域中&#xff0c;一个实时、准确、稳定的股票API无疑是每位交易者梦寐以求的工具。 现将200多个实测可用且免费的专业股票…...

2.10学习总结

今天接着看了数据结构&#xff0c;但是跟指针有关的看不懂&#xff08;万恶的指针&#xff09;&#xff0c;写了考试的补题。 #include <stdio.h> #include <stdlib.h> int a[1000005]; int main() {int n,i,x0;scanf("%d",&n);for(i1;i<n;i){x;i…...

原生鸿蒙版小艺APP接入DeepSeek-R1,为HarmonyOS应用开发注入新活力

原生鸿蒙版小艺APP接入DeepSeek-R1&#xff0c;为HarmonyOS应用开发注入新活力 在科技飞速发展的当下&#xff0c;人工智能与操作系统的融合正深刻改变着我们的数字生活。近日&#xff0c;原生鸿蒙版小艺APP成功接入DeepSeek-R1&#xff0c;这一突破性进展不仅为用户带来了更智…...

从Word里面用VBA调用NVIDIA的免费DeepSeekR1

看上去能用而已。 选中的文字作为输入&#xff0c;运行对应的宏即可&#xff1b;会先MSGBOX提示一下&#xff0c;然后相关内容追加到word文档中。 需要自己注册生成好用的apikey Option ExplicitSub DeepSeek()Dim selectedText As StringDim apiKey As StringDim response A…...

【SpringBoot篇】基于Redis分布式锁的 误删问题 和 原子性问题

文章目录 ??Redis的分布式锁??误删问题 ??解决方法??代码实现 ??原子性问题 ??Lua脚本 ?利用Java代码调用Lua脚本改造分布式锁??代码实现 ??Redis的分布式锁 Redis的分布式锁是通过利用Redis的原子操作和特性来实现的。在分布式环境中&#xff0c;多个应用…...

【JVM详解三】垃圾回收机制

一、对象是否存活 强引用&#xff1a;Object obj new Object(); 只要强引用还在&#xff0c;垃圾收集器永远不会回收掉被引用的对象。在不用对象的时将引用赋值为 null&#xff0c;能够帮助垃圾回收器回收对象。比如 ArrayList 的 clear() 方法实现。软引用&#xff08;SoftRe…...

Day131 | 灵神 | 回溯算法 | 子集型 子集

Day131 | 灵神 | 回溯算法 | 子集型 子集 78.子集 78. 子集 - 力扣&#xff08;LeetCode&#xff09; 思路&#xff1a; 笔者写过很多次这道题了&#xff0c;不想写题解了&#xff0c;大家看灵神讲解吧 回溯算法套路①子集型回溯【基础算法精讲 14】_哔哩哔哩_bilibili 完…...

java调用dll出现unsatisfiedLinkError以及JNA和JNI的区别

UnsatisfiedLinkError 在对接硬件设备中&#xff0c;我们会遇到使用 java 调用 dll文件 的情况&#xff0c;此时大概率出现UnsatisfiedLinkError链接错误&#xff0c;原因可能有如下几种 类名错误包名错误方法名参数错误使用 JNI 协议调用&#xff0c;结果 dll 未实现 JNI 协…...

1688商品列表API与其他数据源的对接思路

将1688商品列表API与其他数据源对接时&#xff0c;需结合业务场景设计数据流转链路&#xff0c;重点关注数据格式兼容性、接口调用频率控制及数据一致性维护。以下是具体对接思路及关键技术点&#xff1a; 一、核心对接场景与目标 商品数据同步 场景&#xff1a;将1688商品信息…...

React19源码系列之 事件插件系统

事件类别 事件类型 定义 文档 Event Event 接口表示在 EventTarget 上出现的事件。 Event - Web API | MDN UIEvent UIEvent 接口表示简单的用户界面事件。 UIEvent - Web API | MDN KeyboardEvent KeyboardEvent 对象描述了用户与键盘的交互。 KeyboardEvent - Web…...

HBuilderX安装(uni-app和小程序开发)

下载HBuilderX 访问官方网站&#xff1a;https://www.dcloud.io/hbuilderx.html 根据您的操作系统选择合适版本&#xff1a; Windows版&#xff08;推荐下载标准版&#xff09; Windows系统安装步骤 运行安装程序&#xff1a; 双击下载的.exe安装文件 如果出现安全提示&…...

MySQL 8.0 OCP 英文题库解析(十三)

Oracle 为庆祝 MySQL 30 周年&#xff0c;截止到 2025.07.31 之前。所有人均可以免费考取原价245美元的MySQL OCP 认证。 从今天开始&#xff0c;将英文题库免费公布出来&#xff0c;并进行解析&#xff0c;帮助大家在一个月之内轻松通过OCP认证。 本期公布试题111~120 试题1…...

自然语言处理——Transformer

自然语言处理——Transformer 自注意力机制多头注意力机制Transformer 虽然循环神经网络可以对具有序列特性的数据非常有效&#xff0c;它能挖掘数据中的时序信息以及语义信息&#xff0c;但是它有一个很大的缺陷——很难并行化。 我们可以考虑用CNN来替代RNN&#xff0c;但是…...

用docker来安装部署freeswitch记录

今天刚才测试一个callcenter的项目&#xff0c;所以尝试安装freeswitch 1、使用轩辕镜像 - 中国开发者首选的专业 Docker 镜像加速服务平台 编辑下面/etc/docker/daemon.json文件为 {"registry-mirrors": ["https://docker.xuanyuan.me"] }同时可以进入轩…...

Rapidio门铃消息FIFO溢出机制

关于RapidIO门铃消息FIFO的溢出机制及其与中断抖动的关系&#xff0c;以下是深入解析&#xff1a; 门铃FIFO溢出的本质 在RapidIO系统中&#xff0c;门铃消息FIFO是硬件控制器内部的缓冲区&#xff0c;用于临时存储接收到的门铃消息&#xff08;Doorbell Message&#xff09;。…...

智能分布式爬虫的数据处理流水线优化:基于深度强化学习的数据质量控制

在数字化浪潮席卷全球的今天&#xff0c;数据已成为企业和研究机构的核心资产。智能分布式爬虫作为高效的数据采集工具&#xff0c;在大规模数据获取中发挥着关键作用。然而&#xff0c;传统的数据处理流水线在面对复杂多变的网络环境和海量异构数据时&#xff0c;常出现数据质…...