华为昇腾920b服务器部署DeepSeek翻车现场
最近到祸一台HUAWEI Kunpeng 920 5250,先看看配置。之前是部署的讯飞大模型,发现资源利用率太低了。把5台减少到3台,就出了他
硬件配置信息
基本硬件信息
按照惯例先来看看配置。一共3块盘,500G的系统盘,+ 2块3T固态,后面把固态硬盘也组合成了逻辑卷
内存是1.5T的,比我电脑硬盘都大
[root@localhost ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 446.6G 0 disk
├─sda1 8:1 0 600M 0 part /boot/efi
├─sda2 8:2 0 1G 0 part /boot
└─sda3 8:3 0 445G 0 part ├─openeuler-root 253:0 0 70G 0 lvm /├─openeuler-swap 253:1 0 4G 0 lvm [SWAP]└─openeuler-home 253:2 0 371G 0 lvm /home
nvme1n1 259:0 0 2.9T 0 disk
└─nvme1n1p1 259:4 0 2.9T 0 part └─vg_data01-lv_data01 253:3 0 5.8T 0 lvm /data
nvme0n1 259:1 0 2.9T 0 disk
└─nvme0n1p1 259:3 0 2.9T 0 part └─vg_data01-lv_data01 253:3 0 5.8T 0 lvm /data[root@localhost ~]# df -Th | awk '$2 !~ /overlay/ && $2 !~ /tmpfs/'
文件系统 类型 容量 已用 可用 已用% 挂载点
/dev/mapper/openeuler-root ext4 69G 45G 21G 69% /
/dev/sda2 ext4 974M 72M 835M 8% /boot
/dev/sda1 vfat 599M 5.8M 594M 1% /boot/efi
/dev/mapper/openeuler-home ext4 365G 4.6G 342G 2% /home
/dev/mapper/vg_data01-lv_data01 ext4 5.8T 4.3T 1.3T 78% /data
[root@localhost ~]# cat /etc/os-release
NAME="openEuler"
VERSION="22.03 LTS"
ID="openEuler"
VERSION_ID="22.03"
PRETTY_NAME="openEuler 22.03 LTS"
ANSI_COLOR="0;31"[root@localhost ~]# uname -a
Linux localhost.localdomain 5.10.0-60.18.0.50.oe2203.aarch64 #1 SMP Wed Mar 30 02:43:08 UTC 2022 aarch64 aarch64 aarch64 GNU/Linux
[root@localhost ~]# lscpu
架构: aarch64CPU 运行模式: 64-bit字节序: Little Endian
CPU: 192在线 CPU 列表: 0-191
厂商 ID: HiSiliconBIOS Vendor ID: HiSilicon型号名称: Kunpeng-920BIOS Model name: HUAWEI Kunpeng 920 5250型号: 0每个核的线程数: 1每个座的核数: 48座: 4步进: 0x1Frequency boost: disabledCPU 最大 MHz: 2600.0000CPU 最小 MHz: 200.0000BogoMIPS: 200.00标记: fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma dcpop asimddp asimdfhm ssbs
Caches (sum of all): L1d: 12 MiB (192 instances)L1i: 12 MiB (192 instances)L2: 96 MiB (192 instances)L3: 192 MiB (8 instances)
NUMA: NUMA 节点: 8NUMA 节点0 CPU: 0-23NUMA 节点1 CPU: 24-47NUMA 节点2 CPU: 48-71NUMA 节点3 CPU: 72-95NUMA 节点4 CPU: 96-119NUMA 节点5 CPU: 120-143NUMA 节点6 CPU: 144-167NUMA 节点7 CPU: 168-191
Vulnerabilities: Itlb multihit: Not affectedL1tf: Not affectedMds: Not affectedMeltdown: Not affectedSpec store bypass: Mitigation; Speculative Store Bypass disabled via prctlSpectre v1: Mitigation; __user pointer sanitizationSpectre v2: Not affectedSrbds: Not affectedTsx async abort: Not affected
[root@localhost ~]# free -htotal used free shared buff/cache available
Mem: 1.5Ti 12Gi 26Gi 20Mi 1.4Ti 1.5Ti
Swap: 4.0Gi 12Mi 4.0Gi
NPU/GPU信息
由于没有部署任何AI、模型,所以空载着
[root@localhost ~]# npu-smi info
+------------------------------------------------------------------------------------------------+
| npu-smi 24.1.rc1 Version: 24.1.rc1 |
+---------------------------+---------------+----------------------------------------------------+
| NPU Name | Health | Power(W) Temp(C) Hugepages-Usage(page)|
| Chip | Bus-Id | AICore(%) Memory-Usage(MB) HBM-Usage(MB) |
+===========================+===============+====================================================+
| 0 910B3 | OK | 89.7 35 0 / 0 |
| 0 | 0000:C1:00.0 | 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 1 910B3 | OK | 88.6 38 0 / 0 |
| 0 | 0000:C2:00.0 | 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 2 910B3 | OK | 91.8 36 0 / 0 |
| 0 | 0000:81:00.0 | 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 3 910B3 | OK | 87.2 36 0 / 0 |
| 0 | 0000:82:00.0 | 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 4 910B3 | OK | 88.8 41 0 / 0 |
| 0 | 0000:01:00.0 | 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 5 910B3 | OK | 95.7 44 0 / 0 |
| 0 | 0000:02:00.0 | 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 6 910B3 | OK | 93.5 39 0 / 0 |
| 0 | 0000:41:00.0 | 0 0 / 0 3160 / 65536 |
+===========================+===============+====================================================+
| 7 910B3 | OK | 89.2 40 0 / 0 |
| 0 | 0000:42:00.0 | 0 0 / 0 3160 / 65536 |
+===========================+===============+====================================================+
+---------------------------+---------------+----------------------------------------------------+
| NPU Chip | Process id | Process name | Process memory(MB) |
+===========================+===============+====================================================+
| No running processes found in NPU 0 |
+===========================+===============+====================================================+
| No running processes found in NPU 1 |
+===========================+===============+====================================================+
| No running processes found in NPU 2 |
+===========================+===============+====================================================+
开始部署DeepSeek
ollama方法
根据网上资料看,只要用ollama部署就行,后面发现这个行不通。因为ollama只适配了英伟达的GPU,像华为的根本就行不通啊,
ollama的安装脚本也是去下载英伟达的驱动,结果就是下载失败,就算下载成功了也不能安装上去
https://zhuanlan.zhihu.com/p/22081569918
0
最后折腾了很久
使用 nohup ollama run
部署一个1.5B的试试,发现可以运行了。但是总觉得不对境。回答问题太慢了,用时3分钟。CPU使用率也是狂飙。NPU是一点没有使上劲啊
ollama run deepseek-r1:1.5b

容器部署方法
最后决定下载权重+容器部署。结果这里就有遇到了坑点
需要用到git lfs 工具 和 华为的镜像。因为这是ARM服务器,所有git lfs命令也很难找,欧拉的yum源还没有提供,最后翻来覆去在github最新的V3.6.1找到了。使用二进制命令接安装脚本既可以实现。这样就能通过git install ,git push 去拉取近1TB的权重了
https://github.com/git-lfs/git-lfs/releases


再说说这个华为的镜像吧,不得不吐槽。华为这是把镜像当宝贝供着吗,下载还需要申请权限,不是一般人还申请不下来。还好我们这里条件都满足
晚上提交的申请,第二天早上就通过了

最后参照了好几个教程,不是启动失败,就吃出现权限拒绝,服了
华为服务器社区:https://www.hiascend.com/software/modelzoo/models/detail/68457b8a51324310aad9a0f55c3e56e3
天翼云社区: https://www.ctyun.cn/document/10027724/10944583


部署R1模型提示不兼容…
天翼云社区: https://www.ctyun.cn/document/10027724/10944583

[外链图片转存中…(img-LlsPC4Gm-1739689559814)]
部署R1模型提示不兼容…
相关文章:
华为昇腾920b服务器部署DeepSeek翻车现场
最近到祸一台HUAWEI Kunpeng 920 5250,先看看配置。之前是部署的讯飞大模型,发现资源利用率太低了。把5台减少到3台,就出了他 硬件配置信息 基本硬件信息 按照惯例先来看看配置。一共3块盘,500G的系统盘, 2块3T固态…...
JavaScript 内置对象-数组对象
在JavaScript中,数组(Array)是一种非常重要的数据结构,它允许我们以列表的形式存储多个值,并提供了丰富的内置方法来操作这些值。无论是处理简单的数值集合还是复杂的对象数组,数组对象都能提供强大的支持。…...
Qt——连接MySQL数据库之ODBC的方法详细总结(各版本大同小异,看这一篇就够了)
【系列专栏】:博主结合工作实践输出的,解决实际问题的专栏,朋友们看过来! 《项目案例分享》 《极客DIY开源分享》 《嵌入式通用开发实战》 《C++语言开发基础总结》 《从0到1学习嵌入式Linux开发》 《QT开发实战》 《Android开发实战》 《实用硬件方案设计》 《结构建模设…...
进程令牌:Windows 安全架构中的关键元素
一、进程令牌概述 进程令牌(Process Token)是 Windows 操作系统中一个重要的安全机制,它包含了与进程安全上下文相关的详细信息。每个进程在执行时都会关联一个进程令牌,令牌用于确定该进程可以访问哪些资源以及能执行哪些操作。…...
基于springboot的超时代停车场管理平台(源码+文档)
大家好我是风歌,曾担任某大厂java架构师,如今专注java毕设领域。今天要和大家聊的是一款基于springboot的超时代停车场管理平台。项目源码以及部署相关请联系风歌,文末附上联系信息 。 项目简介: 基于Spring Boot的超时代停车场…...
缓存穿透、缓存击穿、缓存雪崩的区别与解决方案
1. 缓存穿透(Cache Penetration) 定义:大量请求查询 数据库中不存在的数据,导致请求绕过缓存直接访问数据库,造成数据库压力过大。 场景: 恶意攻击:例如用不存在的用户ID频繁请求。 业务误操作…...
箭头函数的this指向谁
先看1个重要原则: 由Vue管理的函数,一定不要写箭头函数,箭头函数的this就不再是Vue实例了 箭头函数的 this 指向在定义时确定,继承自外层作用域(即定义时的上下文)的 this,且无法通过 call、app…...
【愚公系列】《Python网络爬虫从入门到精通》012-字符串处理
标题详情作者简介愚公搬代码头衔华为云特约编辑,华为云云享专家,华为开发者专家,华为产品云测专家,CSDN博客专家,CSDN商业化专家,阿里云专家博主,阿里云签约作者,腾讯云优秀博主,腾讯云内容共创官,掘金优秀博主,亚马逊技领云博主,51CTO博客专家等。近期荣誉2022年度…...
【Python】01-基础
目录 1、命令行简介1.1 命令行结构1.2 常用dos指令 2、环境变量2.1 查看2.2 添加2.3 修改2.4 删除 3、path环境变量4、进制5、文本文件和字符集6、Sublime使用 1、命令行简介 命令行就是文本交互页面,通过命令行可以使用指令来操作计算机 1.1 命令行结构 版本及版…...
Java-DFS(深度优先搜索)
原理 深度优先搜索的基本思路是从一个节点开始,依次访问它的每一个邻居节点,直到达到一个没有未被访问的邻居的节点为止。这个过程可以使用递归或者栈来实现。其特点是尽可能深入每一个分支,然后再回溯。 DFS算法常用于解决以下类型的问题&…...
AI大模型编程能力对比:DeepseekClaudeGemini
在当今快速发展的技术领域,人工智能(AI)模型在编程和数据处理方面的应用越来越广泛。不同的AI模型因其独特的设计理念和技术优势,适用于不同的编程任务和场景。 本文将对三种主流的AI模型——DeepSeek v3、Gemini Flash 2.0 和 C…...
用C++实现点到三角形最小距离的计算
1、全部代码 #include <iostream> #include <cmath> #include <array> #include <algorithm>// 二维点结构体 struct Point2D {double x, y;Point2D(double x 0, double y 0) : x(x), y(y) {} };// 计算点到线段的最小距离 double pointToSegmen…...
解决前后端日期传输因时区差异导致日期少一天的问题
前端处理 1. 发送日期字符串而非时间戳 在前端使用日期选择器(如 el-date-picker)获取日期后,将日期转换为特定格式的字符串(如 YYYY-MM-DD)发送给后端,避免直接发送带有时区信息的时间戳或日期对象。这样…...
mmsegmentation自己的数据集+不同网络的config配对
比如说我们要用这个网络: 我们发现他内部继承了很多类,要想配对我们的数据集,就要进行父类的修改。 ../_base_/models/deeplabv3_unet_s5-d16.py, ../_base_/datasets/drive.py,../_base_/default_runtime.py, ../_base_/schedules/schedule…...
Golang官方编程指南
文章目录 1. Golang 官方编程指南2. Golang 标准库API文档 1. Golang 官方编程指南 Golang 官方网站:https://go.dev/ 点击下一步,查看官方手册怎么用 https://tour.go-zh.org/welcome/1 手册中的内容比较简单 go语言是以包的形式化管理函数的 搜索包名…...
ram的使用——初始化很重要
背景 ram是非常常用的ip,前人的经验告诉我们,如果不对ram进行初始化直接读写,不定态在实际上板时会出现不可预知的问题。 我们需要对ram进行初始化写0操作,代码如下。需要注意,复位释放时立马写入可能存在复位抖动的…...
doris:最佳实践
异步物化视图使用原则 时效性考虑: 异步物化视图通常用于对数据时效性要求不高的场景,一般是 T1 的数据。如果时效性要求高,应考虑使用同步物化视图。 加速效果与一致性考虑: 在查询加速场景,创建物化视图时&#x…...
[创业之路-299]:图解金融体系结构
一、金融体系结构 1.1 概述 金融体系结构是一个国家以行政的、法律的形式和运用经济规律确定的金融系统结构,以及构成这个系统的各种类型的银行和非银行金融机构的职能作用和相互关系。以下是对金融体系结构的详细分析: 1、金融体系的构成要素 现代金…...
RL--2
强化学习当中最难的两个点是: 1.reward delay; 2.agent的行为会影响到之后看到的东西,所以agent要学会探索世界; 关于强化学习的不同类型,可以分为以下三种: 一种是policy based:可以理解为它是…...
[JVM篇]分代垃圾回收
分代垃圾回收 分代收集法是目前大部分 JVM 所采用的方法,其核心思想是根据对象存活的不同生命周期将内存划分为不同的域,一般情况下将 GC 堆划分为老生代(Tenured/Old Generation)和新生代(Young Generation)。老生代的特点是每次垃圾回收时只有少量对象…...
Zustand 状态管理库:极简而强大的解决方案
Zustand 是一个轻量级、快速和可扩展的状态管理库,特别适合 React 应用。它以简洁的 API 和高效的性能解决了 Redux 等状态管理方案中的繁琐问题。 核心优势对比 基本使用指南 1. 创建 Store // store.js import create from zustandconst useStore create((set)…...
css3笔记 (1) 自用
outline: none 用于移除元素获得焦点时默认的轮廓线 broder:0 用于移除边框 font-size:0 用于设置字体不显示 list-style: none 消除<li> 标签默认样式 margin: xx auto 版心居中 width:100% 通栏 vertical-align 作用于行内元素 / 表格单元格ÿ…...
Docker 本地安装 mysql 数据库
Docker: Accelerated Container Application Development 下载对应操作系统版本的 docker ;并安装。 基础操作不再赘述。 打开 macOS 终端,开始 docker 安装mysql之旅 第一步 docker search mysql 》〉docker search mysql NAME DE…...
LangChain知识库管理后端接口:数据库操作详解—— 构建本地知识库系统的基础《二》
这段 Python 代码是一个完整的 知识库数据库操作模块,用于对本地知识库系统中的知识库进行增删改查(CRUD)操作。它基于 SQLAlchemy ORM 框架 和一个自定义的装饰器 with_session 实现数据库会话管理。 📘 一、整体功能概述 该模块…...
08. C#入门系列【类的基本概念】:开启编程世界的奇妙冒险
C#入门系列【类的基本概念】:开启编程世界的奇妙冒险 嘿,各位编程小白探险家!欢迎来到 C# 的奇幻大陆!今天咱们要深入探索这片大陆上至关重要的 “建筑”—— 类!别害怕,跟着我,保准让你轻松搞…...
4. TypeScript 类型推断与类型组合
一、类型推断 (一) 什么是类型推断 TypeScript 的类型推断会根据变量、函数返回值、对象和数组的赋值和使用方式,自动确定它们的类型。 这一特性减少了显式类型注解的需要,在保持类型安全的同时简化了代码。通过分析上下文和初始值,TypeSc…...
Kafka主题运维全指南:从基础配置到故障处理
#作者:张桐瑞 文章目录 主题日常管理1. 修改主题分区。2. 修改主题级别参数。3. 变更副本数。4. 修改主题限速。5.主题分区迁移。6. 常见主题错误处理常见错误1:主题删除失败。常见错误2:__consumer_offsets占用太多的磁盘。 主题日常管理 …...
前端中slice和splic的区别
1. slice slice 用于从数组中提取一部分元素,返回一个新的数组。 特点: 不修改原数组:slice 不会改变原数组,而是返回一个新的数组。提取数组的部分:slice 会根据指定的开始索引和结束索引提取数组的一部分。不包含…...
WPF八大法则:告别模态窗口卡顿
⚙️ 核心问题:阻塞式模态窗口的缺陷 原始代码中ShowDialog()会阻塞UI线程,导致后续逻辑无法执行: var result modalWindow.ShowDialog(); // 线程阻塞 ProcessResult(result); // 必须等待窗口关闭根本问题:…...
【堆垛策略】设计方法
堆垛策略的设计是积木堆叠系统的核心,直接影响堆叠的稳定性、效率和容错能力。以下是分层次的堆垛策略设计方法,涵盖基础规则、优化算法和容错机制: 1. 基础堆垛规则 (1) 物理稳定性优先 重心原则: 大尺寸/重量积木在下…...
