当前位置: 首页 > news >正文

华为昇腾NPU卡 ChatGLM2模型使用

参考:https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md#chatglm2-6b

1、安装环境:

昇腾NPU卡对应英伟达GPU卡,CANN对应CUDA底层; mindspore对应pytorch;mindformers对应transformers

本次环境:
CANN-6.3.RC2.b20231016
mindspore 2.0.0
mindformers (离线安装:https://gitee.com/mindspore/mindformers)
在这里插入图片描述

在这里插入图片描述
查看npu使用信息:

npu-smi info

在这里插入图片描述

2、ChatGLM2模型使用

参考:https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md

问题参考:
https://gitee.com/mindspore/mindformers/issues/I897LA#note_22105999

代码:

1)pipline方式运行:

import os
import mindspore as msos.environ['DEVICE_ID']='0'
ms.set_context(mode=ms.GRAPH_MODE, device_target="Ascend", device_id=0)  ##需要使用才能npu加速from mindformers import pipeline, TextGenerationPipelinetask_pipeline = pipeline(task='text_generation', model='glm2_6b', max_length=2048)  ##模型自动会下载到checkpoint_download文件夹下task_pipeline('你好') ## 第一次很慢,加载编译阶段
task_pipeline('写一首关于一带一路的诗') ##第二次开始速度才有提升

在这里插入图片描述

由于mindspore不支持一张卡上运行多个任务,所以启动任务都是直接默认申请31G显存占用的,挺耗资源
在这里插入图片描述
2)接口运行

import os
import mindspore as msos.environ['DEVICE_ID']='0'
ms.set_context(mode=ms.GRAPH_MODE, device_target="Ascend",device_id=0)from mindformers import AutoConfig, AutoModel, AutoTokenizertokenizer = AutoTokenizer.from_pretrained("glm2_6b")config = AutoConfig.from_pretrained("glm2_6b")
config.use_past = True
model = AutoModel.from_config(config)##第一轮问问题
inputs = tokenizer("你好")["input_ids"]
# print(inputs)
outputs = model.generate(inputs, max_new_tokens=20, do_sample=True, top_k=3)response = tokenizer.decode(outputs)
print(response)

第一轮加载编译还是很慢,后续速度才提升

##第二轮问问题
inputs = tokenizer("写一首一带一路的诗")["input_ids"]
# print(inputs)
outputs = model.generate(inputs, max_new_tokens=500, do_sample=True, top_k=3)
response = tokenizer.decode(outputs)
print(response)

在这里插入图片描述

相关文章:

华为昇腾NPU卡 ChatGLM2模型使用

参考:https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md#chatglm2-6b 1、安装环境: 昇腾NPU卡对应英伟达GPU卡,CANN对应CUDA底层; mindspore对应pytorch;mindformers对应transformers 本…...

【机器学习】集成模型/集成学习:多个模型相结合实现更好的预测

1. 概述 1.1 什么是集成模型/集成学习 "模型集成"和"集成学习"是相同的概念。它们都指的是将多个机器学习模型组合在一起,以提高预测的准确性和稳定性的技术。通过结合多个模型的预测结果,集成学习可以减少单个模型的偏差和方差&am…...

如何提高广告投放转化率?Share Creators 资产库与Appsflyer营销数据的全面结合

如何提高广告投放转化率?Share Creators 资产库与Appsflyer营销数据的全面结合 全球经济进入了低迷期。 营销成本越来越高, 营销需要更务实,注重投入产出比。众所周知,除了渠道、客群画像以外, 优秀的广告设计图&#…...

《软件方法》2023版第1章(11)1.4.3 具体工作步骤

DDD领域驱动设计批评文集 做强化自测题获得“软件方法建模师”称号 《软件方法》各章合集 1.4 应用UML的建模工作流 1.4.3 使用UML建模的工作流步骤 图1-17中“工件形式”一列所列出的图就是本书推荐的在建模工作流ABCD中的UML用法,我用活动图进一步表示建模的步…...

git将当前分支A强制推送远程分支pro上

前言 开发中基于线上分支pro创建了A分支,开发完成之后。又基于线上分支pro创建了B分支,都以此合并到测试分支,两个分支更改中都动用部分共同的文件,这就导致后续开发合并代码越来越乱,这时你想把本地开发的分支强推到…...

【计算机基础】存储器

目录 一.概念二.分类1.按存储介质分类2.按存储方式分类3.按存储器的读写功能分类4.按信息的可保存性分类5.按在计算机系统中的作用分类 三.主存区分SRAM、DRAM、Flash、DDR1.SRAM(静态随机存储器&#xff0…...

【LCR 159. 库存管理 III】

目录 一、题目描述二、算法原理三、代码实现 一、题目描述 二、算法原理 三、代码实现 class Solution { public:int getrandom(int left,int right,vector<int>& stock){return stock[rand()%(right-left1)left];}void qsort(int l,int r,vector<int>& s…...

Android ADB 常见问题和注意事项

Android ADB 常见问题和注意事项 在使用 ADB 过程中&#xff0c;可能会遇到一些常见问题和需要注意的事项&#xff1a; 1. USB 调试 要使用 ADB&#xff0c;你需要在设备上启用 USB 调试模式。这通常在设备的开发者选项中设置。如果你不能看到开发者选项&#xff0c;可以在设…...

TCP/IP五元组

什么是五元组规则&#xff1f; 五元组是通信术语&#xff0c;英文名称为five-tuple,或5-tuple&#xff0c;五元组包括源IP地址(source IP)、源端口(source port)、目的IP地址(destination IP)、目的端口(destination port) 和 传输层协议(the layer 4 protocol)的五个量集合。…...

aiohttp ssl.SSLError: [SSL: SSLV3_ALERT_HANDSHAKE_FAILURE] 错误处理

这个问题原因吧其实就是3.10 开始官网更新了TLS 堆栈默认安全设置 感兴趣的可以看下链接 python官网叙述: Python 3.10 增加了 TLS 堆栈的默认安全设置 解决也很简单&#xff0c;将ssl安全等级降下来就行&#xff0c;例如&#xff1a; import ssl import aiohttp ctx ssl.cr…...

分析RPA流程自动化的挑战和解决方案

随着数字化工具和自动化解决方案的日益成熟&#xff0c;各行各业发掘到RPA机器人流程自动化技术的先进性&#xff0c;逐渐规模化部署RPA。 为了更好地推进RPA的实施&#xff0c;金智维在这里分享一些运用这项技术时面临的共同挑战&#xff0c;并给出针对性的解决方案。 组织架构…...

我试图扯掉这条 SQL 的底裤。只能扯一点点,不能扯多了

之前不是写分页嘛,分页肯定就要说到 limit 关键字嘛。 然后我啪的一下扔了一个链接出来: https://dev.mysql.com/doc/refman/8.0/en/limit-optimization.html 这个链接就是 MySQL 官方文档,这一章节叫做“对 Limit 查询的优化”,针对 limit 和 order by 组合的场景进行了较…...

LeNet(pytorch实现

LeNet 本文编写了一个简单易懂的LeNet网络&#xff0c;并在F-MNIST数据集上进行测试&#xff0c;允许使用GPU计算 在这里插入代码片 import torch from torch import nn, optim import d2lzh_pytorch as d2ldevice torch.device(cuda if torch.cuda.is_available() else cp…...

Selenium获取百度百科旅游景点的InfoBox消息盒

前面我讲述过如何通过BeautifulSoup获取维基百科的消息盒&#xff0c;同样可以通过Spider获取网站内容&#xff0c;最近学习了SeleniumPhantomjs后&#xff0c;准备利用它们获取百度百科的旅游景点消息盒&#xff08;InfoBox&#xff09;&#xff0c;这也是毕业设计实体对齐和属…...

springcloud笔记 (8) -网关 Gateway

网关 出国需要过海关 网关&#xff1a;网络的关卡 网关的作用 1&#xff1a;路由转发 2&#xff1a;安全控制 保护每个服务&#xff0c;不需要将每个暴露出去 3&#xff1a;负载均衡 1.没有网关&#xff1a;客户端直接访问我们的微服务&#xff0c;会需要在客户端配置很多…...

【C++编程语言】STL常用算法 算术生成和集合算法

1.算术生成算法概念 算法简介&#xff1a; accumlate 计算容器元素累计总和fill 向容器中添加元素 注意&#xff1a;算术生成算法属于小型算法 使用时包含头文件为#include<numeric> 2.accumulate /*函数原型&#xff1a;int accumulate(iterator beg ,iterator end…...

解放双手:VMLogin自动化工具的高效便捷

在现代工作环境中&#xff0c;时间和效率是我们追求的关键。幸运的是&#xff0c;随着技术的发展&#xff0c;自动化工具为我们提供了解放双手的机会。其中&#xff0c;防关联浏览器的自动化就是一种强大的工具&#xff0c;能够简化我们的工作流程并提升效率。本文将探讨浏览器…...

深度解析网络代理技术及其在网络安全和爬虫应用中的关键作用

在当今数字化时代&#xff0c;网络代理技术在维护网络安全、保护隐私以及实现高效数据获取方面发挥着不可或缺的作用。本文将全面解析Socks5代理、IP代理等关键技术&#xff0c;并探讨其在网络安全和爬虫开发中的重要作用。 1. Socks5代理与SK5代理&#xff1a;多功能代理协议…...

寻找二叉树的最低公共祖先节点

两个节点沿二叉树向上找&#xff0c;找到的第一个公共的节点 例&#xff1a;D和F之间的最低公共节点&#xff1a;B D → B&#xff1b; F → E → B&#xff1b; E和G最低公共节点&#xff1a;A E → B → A&#xff1b; G → C → A&#xff1b; B和F最低公共节点&#xff…...

python网络爬虫(二)基本库的使用urllib/requests

使用urllib 了解一下 urllib 库&#xff0c;它是 Python 内置的 HTTP 请求库&#xff0c;也就是说不需要额外安装即可使用。它包含如下 4 个模块。 request&#xff1a;它是最基本的 HTTP 请求模块&#xff0c;可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样&…...

10步掌握Octo4a:终极旧手机变身3D打印服务器指南

10步掌握Octo4a&#xff1a;终极旧手机变身3D打印服务器指南 【免费下载链接】octo4a Use your old Android device as an OctoPrint server. 项目地址: https://gitcode.com/gh_mirrors/oc/octo4a 想象一下&#xff0c;你抽屉里那台闲置的旧安卓手机&#xff0c;突然变…...

RexUniNLU保姆级教程:日志埋点+Prometheus监控+NLU服务性能大盘搭建

RexUniNLU保姆级教程&#xff1a;日志埋点Prometheus监控NLU服务性能大盘搭建 1. 为什么需要监控NLU服务&#xff1f; 当你把RexUniNLU部署到生产环境后&#xff0c;会发现几个现实问题&#xff1a;用户说服务响应时快时慢&#xff0c;但不知道具体慢在哪里&#xff1b;出现识…...

ENVI遥感图像预处理实战:从辐射定标到图像融合的常见问题解析

1. ENVI遥感图像预处理的核心流程解析 第一次用ENVI处理吉林一号数据时&#xff0c;我被"calibration requires gain and offset for each band"这个报错卡了整整两天。后来才发现&#xff0c;国产卫星数据往往需要特殊插件支持——这个教训让我深刻认识到预处理环节…...

造相Z-Image小白友好教程:无需代码基础,网页界面直接操作生成

造相Z-Image小白友好教程&#xff1a;无需代码基础&#xff0c;网页界面直接操作生成 1. 快速了解造相Z-Image 造相Z-Image是阿里通义万相团队开源的一款强大的文生图扩散模型&#xff0c;拥有20亿级参数规模。这个模型最大的特点就是能够生成768768及以上分辨率的高清图像&a…...

明日方舟玩家解放双手的终极方案:MAA小助手完全指南

明日方舟玩家解放双手的终极方案&#xff1a;MAA小助手完全指南 【免费下载链接】MaaAssistantArknights 《明日方舟》小助手&#xff0c;全日常一键长草&#xff01;| A one-click tool for the daily tasks of Arknights, supporting all clients. 项目地址: https://gitco…...

Ostrakon-VL扫描终端代码实例:实时摄像头调用与结果打印逻辑

Ostrakon-VL扫描终端代码实例&#xff1a;实时摄像头调用与结果打印逻辑 1. 项目概述 Ostrakon-VL扫描终端是一个专为零售与餐饮场景设计的智能视觉识别系统。基于Ostrakon-VL-8B多模态大模型开发&#xff0c;该系统通过创新的像素艺术风格界面&#xff0c;将复杂的图像识别任…...

如何用GetQzonehistory一键备份QQ空间所有说说:告别数据丢失的终极指南

如何用GetQzonehistory一键备份QQ空间所有说说&#xff1a;告别数据丢失的终极指南 【免费下载链接】GetQzonehistory 获取QQ空间发布的历史说说 项目地址: https://gitcode.com/GitHub_Trending/ge/GetQzonehistory 还记得那些年你在QQ空间写下的心情吗&#xff1f;那些…...

零代码部署EVA-01:5分钟体验Qwen2.5-VL机甲风格AI图片问答

零代码部署EVA-01&#xff1a;5分钟体验Qwen2.5-VL机甲风格AI图片问答 1. 初识EVA-01视觉神经同步系统 想象一下&#xff0c;当你上传一张图片后&#xff0c;一个充满机甲风格的AI界面不仅能准确识别图片内容&#xff0c;还能像人类一样理解图片背后的逻辑关系——这就是EVA-…...

WAN2.2文生视频镜像性能优化教程:批处理+缓存机制提升生成吞吐量

WAN2.2文生视频镜像性能优化教程&#xff1a;批处理缓存机制提升生成吞吐量 本文面向已经熟悉WAN2.2文生视频基础操作的开发者&#xff0c;重点分享如何通过批处理和缓存机制显著提升视频生成效率。 1. 理解性能瓶颈 在使用WAN2.2文生视频镜像时&#xff0c;很多用户会遇到这样…...

FLUX.1-dev像素艺术生成器教程:提示词工程与16-bit风格关键词库

FLUX.1-dev像素艺术生成器教程&#xff1a;提示词工程与16-bit风格关键词库 1. 像素幻梦工坊简介 像素幻梦&#xff08;Pixel Dream Workshop&#xff09;是基于FLUX.1-dev扩散模型构建的新一代像素艺术生成工具。它采用明亮的16-bit像素风格界面设计&#xff0c;为创作者提供…...