当前位置： 首页 > news >正文

书生·浦语大模型实战营-学习笔记5

news 2026/2/10 17:21:33

LMDeploy 大模型量化部署实践

在这里插入图片描述

在这里插入图片描述

大模型部署背景


在这里插入图片描述

LMDeploy简介

轻量化、推理引擎、服务
在这里插入图片描述
在这里插入图片描述

核心功能-量化

显存消耗变少了
在这里插入图片描述
在这里插入图片描述
大语言模型是典型的访存密集型任务，因为它是decoder-by-decoder

先把数据量化为INT4存起来，算的时候会反量化为FP16
在这里插入图片描述
AWQ算法：观察到模型在推理过程中，只有一小部分参数是重要的参数，这部分参数不量化，其他的参数量化，这样保留了显存，性能也不会下降多少

核心功能-推理引擎

在这里插入图片描述
不用等到整个batch结束
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

核心功能-推理服务api server

在这里插入图片描述

动手实践环节

https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md

相关文章：

书生·浦语大模型实战营-学习笔记5

LMDeploy 大模型量化部署实践 大模型部署背景 LMDeploy简介 轻量化、推理引擎、服务 核心功能-量化 显存消耗变少了 大语言模型是典型的访存密集型任务，因为它是decoder-by-decoder 先把数据量化为INT4存起来，算的时候会反量化为FP16 AWQ算法&a…...

编程日记 2024/1/25 4:43:30

10. Profile

1. 区分环境的配置 1.1. properties 配置 假设，一个应用的工作环境有：dev、test、prod 那么，我们可以添加 4 个配置文件： applcation.properties - 公共配置application-dev.properties - 开发环境配置application-test.proper…...

编程日记 2024/1/25 4:40:28

YOLO 自己训练一个模型

一、准备数据集 我的版本是yolov8 8.11 这个目录结构很重要 ultralytics-main | datasets|coco|train|val 二、训练 编写yaml 文件 # Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..] path…...

编程日记 2024/1/25 4:39:27

3.Eureka注册中心

3.Eureka注册中心 假如我们的服务提供者user-service部署了多个实例，如图： 大家思考几个问题： order-service在发起远程调用的时候，该如何得知user-service实例的ip地址和端口？有多个user-service实例地址&#xff0…...

编程日记 2024/1/25 4:36:24

基于springboot+vue的墙绘产品展示交易平台系统(前后端分离)

博主主页：猫头鹰源码 博主简介：Java领域优质创作者、CSDN博客专家、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战 主要内容：毕业设计(Javaweb项目|小程序等)、简历模板、学习资料、面试题库、技术咨询 文末联系获取 研究背景…...

编程日记 2024/1/25 4:35:23

网络原理-初识(1)

目录 网络发展史 独立模式 网络互连 局域网LAN 广域网WAN 网络通信基础 IP地址 概念 格式 端口 概念 格式 认识协议 概念 作用 五元组 网络发展史 独立模式 独立模式:计算机之间相互独立; 网络互连 随着时代的发展,越来越需要计算机之间相互通信,共享软件和数…...

编程日记 2024/1/25 4:34:22

【GitHub项目推荐--人脸识别】【转载】

01 带有移动应用程序的人脸识别库 OpenFace 作为用于人脸识别的通用库，能够实现瞬态和移动人脸识别，目前在 GitHub 上斩获 14291 Star。以下为 LFW 数据集 Sylvestor Stallone 输入单个图像的流程。 项目地址：https://github.com/cmusatya…...

编程日记 2024/1/25 4:33:21

NLP自然语言处理介绍

自然语言处理（NLP，Natural Language Processing）是一门涉及计算机与人类语言之间交互的学科。它的目标是使计算机能够理解和生成人类语言，从而更好地处理和解析大量的文本数据。NLP不仅是人工智能领域中一个重要的分支&#xff0c…...

编程日记 2024/1/25 4:30:18

在线WebOffce在HTML/VUE/Electron纯前端网页编辑Office之打开Word后自动处于修订模式

在线办公协同办公过程中，对于老板给出的文档修改，如果在错别字方面都要自己一个个字去看的话也太浪费时间了，其实word上就有一个修订模式，可以帮助大家高效完成文档的修改，在线WebOffce在HTML/VUE/Electron纯前端网页编…...

编程日记 2024/1/25 4:28:16

thinkphp+vue+mysql旅游推荐攻略分享网站p0667

基于php语言设计并实现了旅游分享网站。该系统基于B/S即所谓浏览器/服务器模式，应用thinkphp框架，选择MySQL作为后台数据库。系统主要包括用户、景点信息、攻略分类、旅游攻略、门票购买、留言反馈、论坛管理、系统管理等功能模块。运行环境:phpstudy/wa…...

编程日记 2024/1/25 4:27:15

华为系统底层是用Java写的吗？和安卓的区别？

HarmonyOS（鸿蒙操作系统）是华为自主开发的分布式操作系统。下面是对HarmonyOS底层的详细介绍： 微内核架构：HarmonyOS采用了微内核架构，将核心服务和功能放在微内核中，而将其他应用服务放在用户空间中。这种…...

编程日记 2024/1/25 4:26:14

sql server 修改表前 先判断是否有这个列

IF NOT EXISTS (SELECT 1 FROM INFORMATION_SCHEMA.COLUMNS WHERE TABLE_NAME Users AND COLUMN_NAME userNum) BEGINALTER TABLE UsersADD userNum INT; END 在这个示例中： TABLE_NAME Users 表示我们正在检查Users这张表。COLUMN_NAME userNum 表示我们在查…...

编程日记 2024/1/25 4:22:11

解决网站高并发问题的策略?

解决网站高并发问题的策略 1.应用和数据服务分离：通过将应用和数据服务分离，可以降低数据库的负载压力，提高系统的可扩展性和稳定性。这种策略有助于提高系统的并发处理能力，满足大量用户的需求。 2.使用缓存技术：通过…...

编程日记 2024/1/25 4:21:09

浙政钉实现埋点(浙政钉-H5小程序应用采集开发手册)

浙政钉-H5&小程序应用采集开发手册 埋点代码分为：稳定性监控代码（Emas）和流量分析代码(A+)。稳定性监控代码（Emas）只需要在首页加入。流量分析代码(A+)每个页面都需要加入，但是可以写通用js，在其他页面引入。 适用范围 本文档适用于浙政钉业务web（H5）或小程序应…...

编程日记 2024/1/25 4:19:07

【笔记】Helm-4 最佳实践-3 模板

模板 最佳实践指南的这部分聚焦于模板。 templates/结构 template/目录结构应该如下： 1、如果生成YAML输出。模板文件应该有扩展名.yaml。扩展名是.tpl可用于生成非格式化内容的模板文件。 2、模板文件名称应该使用横杠符号（my-example-configmap.yam…...

编程日记 2024/1/25 4:12:01

网络爬虫基本原理的介绍

网络爬虫，也称为网络蜘蛛，是互联网浏览中的一种自动化程序，主要用于抓取并下载互联网上的网页信息。对于大部分搜索引擎，网络爬虫是其核心组件，用于构建和更新网页的索引。这篇博客将详细介绍网络爬虫的基本原理。 一…...

编程日记 2024/1/25 4:10:59

Qt配置OpenCV

首先安装好Qt Createor，CMake，OpenCV,我本次使用的是Qt6.3.4和OpenCV4.6.0 Qt Creator清华镜像源:https://mirrors.tuna.tsinghua.edu.cn/qt/official_releases/qtcreator/OpenCV官网下载: https://opencv.org/releases/ 一. 编译OpenCV 首先使用Qt C…...

编程日记 2024/1/25 4:04:55

单片机I/O口驱动MOS管

自记录： 看完本章，串起来看，看mos驱动电路这篇：MOS管驱动电流计算以及分立器件驱动电路-CSDN博客 使用单片机做一个PLC,输出可如下两种情况： 单片机I/O口驱动，为什么一般都选用三极管而不是MOS管&#xf…...

编程日记 2024/1/25 4:03:53

k8s---helm

Helm是什么？ 在没有helm之前。部署一个服务，需要deployment、service、ingress、挂在卷等等相关配置都需要人工来配置。 helm的作用就是通过打包的方式，把需要人工编写的配置集成在一起。是一键式的部署服务。类似于yum功能。 由官方提供的…...

编程日记 2024/1/25 3:53:41

HarmonyOS（十三）——详解自定义组件的生命周期

前言 自定义组件的生命周期回调函数用于通知用户该自定义组件的生命周期，这些回调函数是私有的，在运行时由开发框架在特定的时间进行调用，不能从应用程序中手动调用这些回调函数。 下图展示的是被Entry装饰的组件生命周期： 今…...

编程日记 2024/1/25 3:52:40

Python爬虫实战：研究MechanicalSoup库相关技术

一、MechanicalSoup 库概述 1.1 库简介 MechanicalSoup 是一个 Python 库，专为自动化交互网站而设计。它结合了 requests 的 HTTP 请求能力和 BeautifulSoup 的 HTML 解析能力，提供了直观的 API，让我们可以像人类用户一样浏览网页、填写表单和提交请求。 1.2 主要功能特点…...

编程新知 2025/10/10 18:13:55

React 第五十五节 Router 中 useAsyncError的使用详解

前言 useAsyncError 是 React Router v6.4 引入的一个钩子，用于处理异步操作（如数据加载）中的错误。下面我将详细解释其用途并提供代码示例。 一、useAsyncError 用途 处理异步错误：捕获在 loader 或 action 中发生的异步错误替…...

编程新知 2025/11/25 10:36:53

java_网络服务相关_gateway_nacos_feign区别联系

1. spring-cloud-starter-gateway 作用：作为微服务架构的网关，统一入口，处理所有外部请求。 核心能力： 路由转发（基于路径、服务名等）过滤器（鉴权、限流、日志、Header 处理）支持负…...

编程新知 2025/11/28 2:51:33

【JavaEE】-- HTTP

1. HTTP是什么？ HTTP（全称为"超文本传输协议"）是一种应用非常广泛的应用层协议，HTTP是基于TCP协议的一种应用层协议。 应用层协议：是计算机网络协议栈中最高层的协议，它定义了运行在不同主机上…...

编程新知 2026/2/8 22:56:45

React第五十七节 Router中RouterProvider使用详解及注意事项

前言 在 React Router v6.4 中&#xff0c;RouterProvider 是一个核心组件&#xff0c;用于提供基于数据路由&#xff08;data routers&#xff09;的新型路由方案。 它替代了传统的 <BrowserRouter>&#xff0c;支持更强大的数据加载和操作功能&#xff08;如 loader 和…...

编程新知 2026/2/9 6:48:42

React Native在HarmonyOS 5.0阅读类应用开发中的实践

一、技术选型背景 随着HarmonyOS 5.0对Web兼容层的增强&#xff0c;React Native作为跨平台框架可通过重新编译ArkTS组件实现85%以上的代码复用率。阅读类应用具有UI复杂度低、数据流清晰的特点。 二、核心实现方案 1. 环境配置 &#xff08;1&#xff09;使用React Native…...

编程新知 2025/8/19 2:57:37

电脑插入多块移动硬盘后经常出现卡顿和蓝屏

当电脑在插入多块移动硬盘后频繁出现卡顿和蓝屏问题时&#xff0c;可能涉及硬件资源冲突、驱动兼容性、供电不足或系统设置等多方面原因。以下是逐步排查和解决方案&#xff1a; 1. 检查电源供电问题 问题原因&#xff1a;多块移动硬盘同时运行可能导致USB接口供电不足&#x…...

编程新知 2025/10/28 15:02:57

macOS多出来了：Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用

文章目录 问题现象问题原因解决办法 问题现象 macOS启动台&#xff08;Launchpad&#xff09;多出来了&#xff1a;Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用。 问题原因 很明显&#xff0c;都是Google家的办公全家桶。这些应用并不是通过独立安装的…...

编程新知 2025/12/4 19:00:05

Python如何给视频添加音频和字幕

在Python中&#xff0c;给视频添加音频和字幕可以使用电影文件处理库MoviePy和字幕处理库Subtitles。下面将详细介绍如何使用这些库来实现视频的音频和字幕添加&#xff0c;包括必要的代码示例和详细解释。 环境准备 在开始之前&#xff0c;需要安装以下Python库&#xff1a;…...

编程新知 2025/9/3 4:12:17

OPENCV形态学基础之二腐蚀

一.腐蚀的原理 (图1) 数学表达式&#xff1a;dst(x,y) erode(src(x,y)) min(x,y)src(xx,yy) 腐蚀也是图像形态学的基本功能之一&#xff0c;腐蚀跟膨胀属于反向操作&#xff0c;膨胀是把图像图像变大&#xff0c;而腐蚀就是把图像变小。腐蚀后的图像变小变暗淡。 腐蚀…...

编程新知 2026/2/8 22:00:17