第六篇-ChatGLM2-6B-CentOS7安装部署-GPU版
环境
系统：CentOS-7
CPU: 14C28T
显卡：Tesla P40 24G
驱动: 515
CUDA: 11.7
cuDNN: 8.9.2.26
模型文件
https://huggingface.co/THUDM/chatglm2-6b
下载模型相关文件到自己目录
我的是/models/chatglm2-6b
[root@ai-server chatglm2-6b]# pwd
/models/chatglm2-6b
[root@ai-server chatglm2-6b]# ll -h
total 12G
-rw-r--r--. 1 root root 678 Jul 29 09:30 cli.py
-rw-r--r--. 1 root root 1.2K Jul 29 09:30 config.json
-rw-r--r--. 1 root root 2.2K Jul 29 09:30 configuration_chatglm.py
-rw-r--r--. 1 root root 50K Jul 29 09:30 modeling_chatglm.py
-rw-r--r--. 1 root root 4.1K Jul 29 09:30 MODEL_LICENSE.txt
-rw-r--r--. 1 root root 1.8G Jul 29 09:33 pytorch_model-00001-of-00007.bin
-rw-r--r--. 1 root root 1.9G Jul 29 09:33 pytorch_model-00002-of-00007.bin
-rw-r--r--. 1 root root 1.8G Jul 29 09:33 pytorch_model-00003-of-00007.bin
-rw-r--r--. 1 root root 1.7G Jul 29 09:33 pytorch_model-00004-of-00007.bin
-rw-r--r--. 1 root root 1.9G Jul 29 09:33 pytorch_model-00005-of-00007.bin
-rw-r--r--. 1 root root 1.8G Jul 29 09:33 pytorch_model-00006-of-00007.bin
-rw-r--r--. 1 root root 1005M Jul 29 09:32 pytorch_model-00007-of-00007.bin
-rw-r--r--. 1 root root 20K Jul 29 09:30 pytorch_model.bin.index.json
-rw-r--r--. 1 root root 15K Jul 29 09:30 quantization.py
-rw-r--r--. 1 root root 348 Jul 29 09:30 README-env.md
-rw-r--r--. 1 root root 7.9K Jul 29 09:30 README.md
-rw-r--r--. 1 root root 9.9K Jul 29 09:30 tokenization_chatglm.py
-rw-r--r--. 1 root root 244 Jul 29 09:30 tokenizer_config.json
-rw-r--r--. 1 root root 995K Jul 29 09:30 tokenizer.model
创建环境安
conda create --name glm2 python=3.10
conda activate glm2
下载代码工程
git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B
安装依赖：
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
python web_demo.py
修改代码
web_demo.py
tokenizer = AutoTokenizer.from_pretrained("/models/chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("/models/chatglm2-6b", trust_remote_code=True).cuda()demo.queue().launch(share=False, inbrowser=True,server_name='0.0.0.0', server_port=7860)
启动
python web_demo.pyRunning on local URL: http://0.0.0.0:7860To create a public link, set `share=True` in `launch()`.
说明启动成功
访问
http://192.168.1.100:7860
你好
你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。
系列文章
第一篇-ChatGLM-webui-Windows安装部署-CPU版
第二篇-二手工作站配置
第三篇-Tesla P40+CentOS-7+CUDA 11.7 部署实践
第四篇-Miniconda3-CentOS7-安装
第五篇-ChatGLM2-6B模型下载
第六篇-ChatGLM2-6B-CentOS安装部署-GPU版
相关文章：
第六篇-ChatGLM2-6B-CentOS7安装部署-GPU版
环境 系统：CentOS-7 CPU: 14C28T 显卡：Tesla P40 24G 驱动: 515 CUDA: 11.7 cuDNN: 8.9.2.26模型文件 https://huggingface.co/THUDM/chatglm2-6b 下载模型相关文件到自己目录 我的是/models/chatglm2-6b [rootai-server chatglm2-6b]# pwd /models/c…...
dotnet 依赖注入-批量注入Controller，service,Dao
此类为扩展注入类，使用autofuc 仅供参考 注入接口和实现。 使用方法： //配置项调用ConfigContainer public void ConfigureContainer(ContainerBuilder builder){TestMicroService.ConfigContainer(builder);} //service调用RegisteApiController …...
【Spring】Spring对IoC的实现
根据 【动力节点】最新Spring框架教程，全网首套Spring6教程，跟老杜从零学spring入门到高级 以及老杜的原版笔记 https://www.yuque.com/docs/share/866abad4-7106-45e7-afcd-245a733b073f?# 《Spring6》 进行整理， 文档密码：mg9b…...
正则表达式中的大括号-花括号{}有什么用？
在正则表达式中，花括号 {} 是用于指定匹配次数的量词元字符。它可以用来表示匹配的次数范围或精确匹配次数。 具体来说，花括号 {m} 表示前面的模式匹配恰好出现 m 次，而 {m, n} 表示前面的模式匹配出现 m 到 n 次。 以下是一些常见的用法示…...
Flutter 状态栏完美攻略
1. 沉浸式状态栏 Scaffold(extendBodyBehindAppBar: true,appBar: AppBar(toolbarHeight: 0,),body: Container(color:Colors.red) ) 2. 状态栏的背景颜色 Scaffold(appBar: AppBar(backgroundColor: Colors.transparent,),body: Container(color:Colors.red) ) 3. 状态栏的…...
Packet Tracer - 连接有线和无线 LAN
Packet Tracer - 连接有线和无线 LAN 地址分配表 设备 接口 IP 地址 连接到 云 Eth6 N/A Fa0/0 Coax7 N/A Port0 电缆调制解调器 Port0 N/A Coax7 Port1 N/A 互联网 Router0 控制台端口 N/A RS232 Fa0/0 192.168.2.1/24 Eth6 Fa0/1 10.0.0.1/24 Fa…...
02 笔记本电脑m.2硬盘更换
1 工具展示 SN570的2T硬盘。够用了。 对于这台华为，使用的螺丝刀批头是4或5毫米的六边形批头。如果出现打滑的情况，请不要用蛮力哦。 2 更换过程 使用螺丝刀拧走后盖的螺丝（为了避免会出问题要再次打开，我到现在还没有把螺丝拧回…...
2.04 商品搜索功能实现
根据关键字获取分类查询对应的分页商品信息，并可以价格和销量进行排序切换 步骤1：mapper.xml编写sql语句 <!-- k: 默认，代表默认排序，根据name--> <!-- c: 根据销量排序--> <!-- p: 根据价格排序--> <sel…...
【SEO基础】百度权重是什么意思及网站关键词应该怎么选？
百度权重是什么意思及网站关键词应该怎么选？ 正文共：3253字 20图 预计阅读时间：9分钟 1.什么是网站权重？ 这段时间和一些朋友聊到网站权重以及关键词，发现蛮多人对于这两个概念的认知还是存在一些错误的…...
Unity实现在3D模型标记
Canvas 模式是UI与3D混合模式（Render modelScreen space-Camera) 实现在3D模型标记，旋转跟随是UI不在3D物体下 代码： using System.Collections; using System.Collections.Generic; using UnityEngine; using UnityEngine.UI; public clas…...
iOS开发-NotificationServiceExtension实现实时音视频呼叫通知响铃与震动
iOS开发-NotificationServiceExtension实现实时音视频呼叫通知响铃与震动 在之前的开发中，遇到了实时音视频呼叫通知，当App未打开或者App在后台时候，需要通知到用户，用户点击通知栏后是否接入实时音视频的视频或者音频通话。 在…...
性能调试【学习笔记】
什么是调优？ 每执行一个Java命令，就分配一个JVM，调优时不要混淆。 根据需求进行JVM规划和预调优优化运行JVM的运行环境（慢、卡顿）解决JVM运行过程中出现的各种问题（内存泄露、内存溢出OOM） 生…...
【taro react】---- 获取元素的位置和宽高等信息
1. 需求分析 添加节点的布局位置的查询请求。相对于显示区域，以像素为单位。其功能类似于 DOM 的 getBoundingClientRect。返回 NodesRef 对应的 SelectorQuery。区分小程序和H5的环境，调用 getBoundingClientRect 获取对应的信息。 2. H5 实现 判断传…...
Java【Spring】项目创建、存储和获取 Bean 的基本方式
文章目录 前言一、创建 Spring 项目1, 创建 Maven 项目2, 添加 Spring 依赖3, 创建启动类 二、存储 Bean 的基本方式1, 创建 Bean2, 存储 Bean 三、获取 Bean 的基本方式1, 获取上下文对象2, 获取 Bean3, 使用 Bean 总结 前言 各位读者好, 我是小陈, 这是我的个人主页, 希望我的…...
docker minio安装
1.介绍 Minio是一款开源的对象存储服务，它可以在任何硬件或云平台上提供高性能、高可用性和高安全性的存储解决方案。Minio最新版是2021年11月发布的RELEASE.2021-11-24T23-19-33Z，它带来了以下几个方面的改进和新特性： - 支持S3 Select AP…...
设计模式-命令模式在Java中的使用示例-桌面程序自定义功能键
场景 欲开发一个桌面版应用程序，该应用程序为用户提供了一系列自定义功能键，用户可以通过这些功能键来实现一些快捷操作。 用户可以将功能键和相应功能绑定在一起，还可以根据需要来修改功能键的设置，而且系统在未来可能还会增加…...
分冶算法 剑指 07 重建二叉树 排序算法：剑指45 把数组排成最小的数 10-I 斐波那契数列
来记录几个注意事项 1.vector容器里利用find（）函数 不同于map（map有find方法），vector本身是没有find这一方法，其find是依靠algorithm来实现的。 所以要包含头文件 #include <iostream> #include <…...
Postgresql取消正在执行的任务或强制终止正在执行的任务
Postgresql取消正在执行的任务或强制终止正在执行的任务 要停止 PostgreSQL 数据库中当前正在执行的所有任务，可以使用以下方法： 使用 pg_cancel_backend 函数：连接到 PostgreSQL 数据库，并执行以下命令以停止所有正在执行的任务…...
【Linux】Centos7 的 Systemctl 与 创建系统服务 (shell脚本)
Systemctl systemctl 命令 # 启动 systemctl start NAME.service # 停止 systemctl stop NAME.service # 重启 systemctl restart NAME.service # 查看状态 systemctl status NAME.service # 查看所有激活系统服务 systemctl list-units -t service # 查看所有系统服务 syste…...
Redis集群Cluster搭建
Redis集群Cluster搭建 集群框架1、下载redis2.创建Cluster文件3.修改redis配置文件4.启动redis5.链接各个redis6.分配槽位7.添加从机节点（备份Redis）8.以集群方式登录9.使用开源Redis可视化客户端链接 集群框架 三个集群节点，每个节点有个副本…...
华为云AI开发平台ModelArts
华为云ModelArts：重塑AI开发流程的“智能引擎”与“创新加速器”！ 在人工智能浪潮席卷全球的2025年，企业拥抱AI的意愿空前高涨，但技术门槛高、流程复杂、资源投入巨大的现实，却让许多创新构想止步于实验室。数据科学家…...
解锁数据库简洁之道：FastAPI与SQLModel实战指南
在构建现代Web应用程序时，与数据库的交互无疑是核心环节。虽然传统的数据库操作方式（如直接编写SQL语句与psycopg2交互）赋予了我们精细的控制权，但在面对日益复杂的业务逻辑和快速迭代的需求时，这种方式的开发效率和可…...
系统设计 --- MongoDB亿级数据查询优化策略
系统设计 --- MongoDB亿级数据查询分表策略 背景Solution --- 分表 背景 使用audit log实现Audi Trail功能 Audit Trail范围: 六个月数据量: 每秒5-7条audi log，共计7千万 – 1亿条数据需要实现全文检索按照时间倒序因为license问题，不能使用ELK只能使用…...
【SQL学习笔记1】增删改查+多表连接全解析（内附SQL免费在线练习工具）
可以使用Sqliteviz这个网站免费编写sql语句，它能够让用户直接在浏览器内练习SQL的语法，不需要安装任何软件。 链接如下： sqliteviz 注意： 在转写SQL语法时，关键字之间有一个特定的顺序，这个顺序会影响到…...
【Go】3、Go语言进阶与依赖管理
前言 本系列文章参考自稀土掘金上的 【字节内部课】公开课，做自我学习总结整理。 Go语言并发编程 Go语言原生支持并发编程，它的核心机制是 Goroutine 协程、Channel 通道，并基于CSP（Communicating Sequential Processes࿰…...
动态 Web 开发技术入门篇
一、HTTP 协议核心 1.1 HTTP 基础 协议全称 ：HyperText Transfer Protocol（超文本传输协议） 默认端口 ：HTTP 使用 80 端口，HTTPS 使用 443 端口。 请求方法 ： GET ：用于获取资源，…...
MySQL 知识小结（一）
一、my.cnf配置详解 我们知道安装MySQL有两种方式来安装咱们的MySQL数据库，分别是二进制安装编译数据库或者使用三方yum来进行安装,第三方yum的安装相对于二进制压缩包的安装更快捷，但是文件存放起来数据比较冗余，用二进制能够更好管理咱们M…...
STM32---外部32.768K晶振（LSE）无法起振问题
晶振是否起振主要就检查两个1、晶振与MCU是否兼容；2、晶振的负载电容是否匹配 目录 一、判断晶振与MCU是否兼容 二、判断负载电容是否匹配 1. 晶振负载电容（CL）与匹配电容（CL1、CL2）的关系 2. 如何选择 CL1 和 CL…...
永磁同步电机无速度算法--基于卡尔曼滤波器的滑模观测器
一、原理介绍 传统滑模观测器采用如下结构： 传统SMO中LPF会带来相位延迟和幅值衰减，并且需要额外的相位补偿。 采用扩展卡尔曼滤波器代替常用低通滤波器(LPF)，可以去除高次谐波，并且不用相位补偿就可以获得一个误差较小的转子位…...
[USACO23FEB] Bakery S
题目描述 Bessie 开了一家面包店! 在她的面包店里，Bessie 有一个烤箱，可以在 t C t_C tC 的时间内生产一块饼干或在 t M t_M tM 单位时间内生产一块松糕。 ( 1 ≤ t C , t M ≤ 10 9 ) (1 \le t_C,t_M \le 10^9) (1≤tC,tM≤109)。由于空间…...