当前位置： 首页 > news >正文

书生·浦语大模型实战营第五节课笔记及作业

news 2026/5/20 16:54:10

LMDeploy 大模型量化部署实践

1 大模型部署背景

1.1 模型部署及大模型特点

在这里插入图片描述

1.2 大模型部署挑战及方案

在这里插入图片描述

2 LMDeploy简介

在这里插入图片描述
在这里插入图片描述

2.1 核心功能-量化

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2 核心功能-推理引擎TurboMind

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.1 核心功能-推理服务api server

在这里插入图片描述

3 动手实践及作业

按照文档LMDeploy 的量化和部署中的步骤在InternStudio中的 A100(1/4) 机器上一步步操作即可！

3.1 基础作业

使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型，生成 300 字的小故事（需截图）

3.1.1 本地对话形式

在这里插入图片描述

3.1.2 API服务形式

在这里插入图片描述

在这里插入图片描述

3.1.3 网页Gradio形式

TurboMind 服务作为后端:
在这里插入图片描述

TurboMind 推理作为后端
在这里插入图片描述

参考文献：

1、文档：LMDeploy 的量化和部署
2、视频：LMDeploy 大模型量化部署实践

相关文章：

书生·浦语大模型实战营第五节课笔记及作业

LMDeploy 大模型量化部署实践 1 大模型部署背景 1.1 模型部署及大模型特点 1.2 大模型部署挑战及方案 2 LMDeploy简介 2.1 核心功能-量化 2.2 核心功能-推理引擎TurboMind 2.1 核心功能-推理服务api server 3 动手实践及作业 按照文档LMDeploy 的量化和部署中的步骤在Intern…...

编程日记 2024/1/19 12:13:36

如何在CentOS 7 中基于OpenSSL 3.0 搭建Python 3.0 环境

1、OpenSSL 1.1 原因 [rootlocalhost ~]# openssl version OpenSSL 1.0.2k-fips 26 Jan 2017 [rootlocalhost ~]#通过执行openssl version可知Linux系统已经安装了OpenSSL，但该版本较低；Python 3 要求 OpenSSL版本不能低于1.1.1，否则安装P…...

编程日记 2024/1/19 12:12:35

爬虫接口获取外汇数据(汇率，外汇储备，贸易顺差，美国CPI，M2，国债利率)

akshare是一个很好用的财经数据api接口，完全免费！！和Tushare不一样。 除了我标题显示的数据外，他还提供各种股票数据，债券数据，外汇，期货，宏观经济，基金，银行…...

编程日记 2024/1/19 12:11:34

Spring Cloud和微服务架构的关系

大话Spring Cloud 在Java悠久的历史长河中(其实也就十来年)，有一个框架自诞生之初就成了Java企业级开发领域的弄潮儿，它以开放的姿态不断引领着技术改革(我们管他叫Java领域的“改革开放”)，它就是久经考验的企业级开发框架，改革…...

编程日记 2024/1/19 12:10:33

C++：通过ofstream写入二进制文件内容

C++：通过ifstream读取二进制文件内容_c++ ifstream 二进制读取-CSDN博客 介绍了读取二进制文件的方法。 本文介绍一下写入二进制数据到文件的方法： 1.通过write #include <fstream> #include <string> using namespace std; int main() {int data = 0x0102030…...

编程日记 2024/1/19 12:09:33

系统配置dns主从服务器

一、准备两台主机&#xff0c;区分主从 二、完全区域传送 1、主DNS服务器配置 #安装相关的包 [rootoula1 ~]# yum install bind -y#关闭防火墙 [rootoula1 ~]# systemctl stop firewalld [rootoula1 ~]# setenforce 0#修改配置主文件 [rootoula1 ~]# vim /etc/named.conf opt…...

编程日记 2024/1/19 12:07:31

【git】解决网络连接问题

ssh: connect to host github.com port 22: Connection timed out $ ssh: connect to host github.com port 22: Connection timed out fatal: Could not read from remote repository. bash: ssh:: command not found bash: fatal:: command not found无效 检查网络&#xf…...

编程日记 2024/1/19 12:04:28

限制API接口访问速率

文章目录 依赖注解aophelperTest 免责声明&#xff1a;本人无意侵权&#xff0c;奈何找不到原文作者&#xff0c;也找不到网址&#xff0c;于是自己记录一下&#xff0c;如果有侵权之嫌&#xff0c;请联系我删除文章 依赖 <!-- https://mvnrepository.com/artifact/com.goo…...

编程日记 2024/1/19 12:02:27

广东省第三届职业技能大赛“网络安全项目”B模块--数字取证解析

广东省第三届职业技能大赛“网络安全项目”B模块任务书 PS: 关注鱼影安全第一部分 网络安全事件响应第二部分 数字取证调查任务 3： 网络数据包分析取证解析：第三部分 应用程序安全：需要环境可以私信博主~PS: 关注鱼影安全 模块 B 竞赛项目试题 本文件为：广东省第三届职业技…...

编程日记 2024/1/19 12:00:25

全链路压力测试：现代软件工程中的重要性

全链路压力测试不仅可以确保系统在高负载下的性能和稳定性&#xff0c;还能帮助企业进行有效的风险管理和性能优化。在快速发展的互联网时代&#xff0c;全链路压力测试已成为确保软件产品质量的关键步骤。 1、测试环境搭建 测试应在与生产环境尽可能相似的环境中进行&#xff…...

编程日记 2024/1/19 11:59:24

【计算机网络】难点、易遗忘点总结

文章目录 1. 单工通信、半双工通信和全双工通信2. TCP的三次握手和四次挥手 1. 单工通信、半双工通信和全双工通信 主要区别在于信息传输的方向和时间安排。单工通信是指信息只能在一个方向上传输的通信方式。半双工通信允许信息在两个方向上传输&#xff0c;但在任何给定的时…...

编程日记 2024/1/19 11:58:23

谷达冠楠科技：抖音开网店新手小白可以卖的产品

随着互联网的发展&#xff0c;越来越多的人选择在网上开设自己的店铺。而抖音作为目前最火的短视频平台&#xff0c;也提供了开店的功能。那么&#xff0c;对于新手小白来说&#xff0c;抖音开网店可以卖哪些产品呢? 我们可以考虑的是服装类商品。抖音上有很多时尚博主&#x…...

编程日记 2024/1/19 11:57:23

爬虫案例—根据四大名著书名抓取并存储为文本文件

爬虫案例—根据四大名著书名抓取并存储为文本文件 诗词名句网&#xff1a;https://www.shicimingju.com 目标&#xff1a;输入四大名著的书名&#xff0c;抓取名著的全部内容&#xff0c;包括书名&#xff0c;作者&#xff0c;年代及各章节内容 诗词名句网主页如下图&#x…...

编程日记 2024/1/19 11:54:20

阿里云容器服务助力万兴科技 AIGC 应用加速

作者&#xff1a;子白&#xff08;顾静&#xff09; 2023 年堪称是 AIGC 元年&#xff0c;文生图领域诞生了 Stable Diffusion 项目&#xff0c;文生文领域诞生了 GPT 家族。一时间风起云涌&#xff0c;国内外许多企业投身 AIGC 创新浪潮&#xff0c;各大云厂商紧随其后纷纷推…...

编程日记 2024/1/19 11:53:18

STM32F103标准外设库——认识STM32（一）

个人名片&#xff1a; &#x1f981;作者简介&#xff1a;一名喜欢分享和记录学习的在校大学生 &#x1f42f;个人主页&#xff1a;妄北y &#x1f427;个人QQ&#xff1a;2061314755 &#x1f43b;个人邮箱&#xff1a;2061314755qq.com &#x1f989;个人WeChat&#xff1a;V…...

编程日记 2024/1/19 11:51:16

设计模式——1_5 享元（Flyweight）

今人不见古时月&#xff0c;今月曾经照古人 ——李白 文章目录 定义图纸一个例子&#xff1a;可以复用的样式表绘制表格降本增效&#xff1f;第一步&#xff0c;先分析 变化和不变的地方第二步&#xff0c;把变化和不变的地方拆开来第三步&#xff1a;有没有办法共享这些内容完…...

编程日记 2024/1/19 11:50:15

kafka系列(二）

本章承接kafka一内容&#xff0c;文章在本人博客主页都有&#xff0c;可以自行点击浏览。 幂等性 请求执行多次&#xff0c;但执行的结果是一致的。 如果&#xff0c;某个系统是不具备幂等性的&#xff0c;如果用户重复提交了某个表格&#xff0c;就可能会造成不良影响。例如…...

编程日记 2024/1/19 11:48:11

Ubuntu20.04安装配置OpenCV-Python库并首次执行读图

一、选择三方提供的预编译包安装&#xff1a; 可以从官网下载 OpenCV 的安装包&#xff0c;编译后使用&#xff1b;也可以直接使用第三方提供的预编译包 安装。显然后者不需要执行编译步骤&#xff0c;更便捷。选择由 PyPI 提供的 OpenCV 安装包&#xff0c;可以在 https://py…...

编程日记 2024/1/19 11:46:09

经典目标检测YOLO系列(二)YOLOV2的复现(2)正样本的匹配、损失函数的实现及模型训练

经典目标检测YOLO系列(二)YOLOV2的复现(2)正样本的匹配、损失函数的实现及模型训练 我们在之前实现YOLOv1的基础上&#xff0c;加入了先验框机制&#xff0c;快速的实现了YOLOv2的网络架构&#xff0c;并且实现了前向推理过程。 经典目标检测YOLO系列(二)YOLOV2的复现(1)总体…...

编程日记 2024/1/19 11:45:08

半波整流电路原理详解+参数与计算公式

什么是半波整流电路&#xff1f; 半波整流电路的基本操作非常简单&#xff0c;输入信号通过二极管&#xff0c;由于只能通过一个方向的电流&#xff0c;二极管的整流作用&#xff0c;单个二极管只允许通过一半的波形。 下图说明了半波整流电路的基本原理。 半波整流电路工作图…...

编程日记 2024/1/19 11:42:05

将JSON文件作为Python的配置文件，读取和使用的写法

import osimport json#获取配置path os.getcwd() os.sep "config.json"conf Nonewith open(path, "r", encoding"utf-8") as f:if conf is None:conf json.loads(f.read())heard {"_token": f"{conf[token]}"}...

编程新知 2026/5/20 15:11:35

户外太阳能监控供电方案：如何用CN3791芯片为3.7V锂电池设计稳定充电电路？

户外太阳能监控供电方案&#xff1a;CN3791芯片在3.7V锂电池充电电路中的实战设计 清晨六点&#xff0c;当第一缕阳光洒在郊区的通信基站上&#xff0c;搭载CN3791芯片的太阳能供电系统已经开始为锂电池注入能量——这正是现代户外监控设备赖以生存的"能量心脏"。在无…...

编程新知 2026/5/20 14:13:02

华硕笔记本终极控制神器：G-Helper轻量化完全指南

华硕笔记本终极控制神器&#xff1a;G-Helper轻量化完全指南 【免费下载链接】g-helper Lightweight Armoury Crate alternative for Asus laptops with nearly the same functionality. Works with ROG Zephyrus, Flow, TUF, Strix, Scar, ProArt, Vivobook, Zenbook, Expertb…...

编程新知 2026/5/20 13:37:38

利用Taotoken的Token Plan套餐，为创业项目实现精准成本控制

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 利用Taotoken的Token Plan套餐&#xff0c;为创业项目实现精准成本控制 对于创业团队和独立开发者而言&#xff0c;在项目初期&…...

编程新知 2026/5/20 12:03:45

终极AMD Ryzen调试指南：简单三步掌握硬件性能调优

终极AMD Ryzen调试指南&#xff1a;简单三步掌握硬件性能调优 【免费下载链接】SMUDebugTool A dedicated tool to help write/read various parameters of Ryzen-based systems, such as manual overclock, SMU, PCI, CPUID, MSR and Power Table. 项目地址: https://gitcod…...

编程新知 2026/5/20 11:37:22

D3KeyHelper：暗黑3终极宏工具完整指南 - 5分钟快速上手

D3KeyHelper&#xff1a;暗黑3终极宏工具完整指南 - 5分钟快速上手 【免费下载链接】D3keyHelper D3KeyHelper是一个有图形界面&#xff0c;可自定义配置的暗黑3鼠标宏工具。 项目地址: https://gitcode.com/gh_mirrors/d3/D3keyHelper D3KeyHelper是一款专为《暗黑破坏…...

编程新知 2026/5/20 10:40:25

用Tableau分析酒店数据：手把手教你做地区均价条形图和价格等级饼图

用Tableau分析酒店数据&#xff1a;手把手教你做地区均价条形图和价格等级饼图 酒店行业的数据分析往往需要快速洞察不同地区的价格分布和消费层级特征。作为全球领先的商业智能工具&#xff0c;Tableau能以直观的可视化方式呈现这些关键指标。本文将带你从零开始&#xff0c;用…...

编程新知 2026/5/20 10:18:15

Logisim保姆级避坑指南：从布尔表达式到卡诺图，一次搞定数字逻辑实验常见错误

Logisim数字逻辑实验避坑实战&#xff1a;从表达式到卡诺图的深度解法 为什么你的Logisim电路总是不工作&#xff1f; 刚接触数字逻辑实验时&#xff0c;我总在Logisim里反复调试同一个电路——明明按照教材步骤操作&#xff0c;仿真结果却和预期不符。直到某次深夜debug才发现…...

编程新知 2026/5/20 10:02:06

别再混着用了！C++里malloc、new和vector到底该怎么选？一个真实项目踩坑复盘

别再混着用了&#xff01;C里malloc、new和vector到底该怎么选&#xff1f;一个真实项目踩坑复盘 在开发一个高性能数据缓存管理器时&#xff0c;团队新成员提交的代码引发了持续三天的内存泄漏排查。同一个功能模块中竟同时出现了malloc、new和vector三种内存管理方式&#xf…...

编程新知 2026/5/20 9:54:19

在野火征途Pro上跑RT-Thread：手把手教你为自研RISC-V SoC移植操作系统

在野火征途Pro上跑RT-Thread&#xff1a;手把手教你为自研RISC-V SoC移植操作系统 当一块裸板首次点亮LED时&#xff0c;那种成就感就像电子工程师的"Hello World"。但要让这块板子真正活起来&#xff0c;操作系统是不可或缺的灵魂。本文将带你从零开始&#xff0c;在…...

编程新知 2026/5/20 9:17:17