当前位置： 首页 > news >正文

书生·浦语大模型实战营-学习笔记5

news 2026/2/10 17:50:22

LMDeploy 大模型量化部署实践

在这里插入图片描述

在这里插入图片描述

大模型部署背景


在这里插入图片描述

LMDeploy简介

轻量化、推理引擎、服务
在这里插入图片描述
在这里插入图片描述

核心功能-量化

显存消耗变少了
在这里插入图片描述
在这里插入图片描述
大语言模型是典型的访存密集型任务，因为它是decoder-by-decoder

先把数据量化为INT4存起来，算的时候会反量化为FP16
在这里插入图片描述
AWQ算法：观察到模型在推理过程中，只有一小部分参数是重要的参数，这部分参数不量化，其他的参数量化，这样保留了显存，性能也不会下降多少

核心功能-推理引擎

在这里插入图片描述
不用等到整个batch结束
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

核心功能-推理服务api server

在这里插入图片描述

动手实践环节

https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md

相关文章：

书生·浦语大模型实战营-学习笔记5

LMDeploy 大模型量化部署实践 大模型部署背景 LMDeploy简介 轻量化、推理引擎、服务 核心功能-量化 显存消耗变少了 大语言模型是典型的访存密集型任务，因为它是decoder-by-decoder 先把数据量化为INT4存起来，算的时候会反量化为FP16 AWQ算法&a…...

编程日记 2024/1/25 4:43:30

10. Profile

1. 区分环境的配置 1.1. properties 配置 假设，一个应用的工作环境有：dev、test、prod 那么，我们可以添加 4 个配置文件： applcation.properties - 公共配置application-dev.properties - 开发环境配置application-test.proper…...

编程日记 2024/1/25 4:40:28

YOLO 自己训练一个模型

一、准备数据集 我的版本是yolov8 8.11 这个目录结构很重要 ultralytics-main | datasets|coco|train|val 二、训练 编写yaml 文件 # Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..] path…...

编程日记 2024/1/25 4:39:27

3.Eureka注册中心

3.Eureka注册中心 假如我们的服务提供者user-service部署了多个实例，如图： 大家思考几个问题： order-service在发起远程调用的时候，该如何得知user-service实例的ip地址和端口？有多个user-service实例地址&#xff0…...

编程日记 2024/1/25 4:36:24

基于springboot+vue的墙绘产品展示交易平台系统(前后端分离)

博主主页：猫头鹰源码 博主简介：Java领域优质创作者、CSDN博客专家、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战 主要内容：毕业设计(Javaweb项目|小程序等)、简历模板、学习资料、面试题库、技术咨询 文末联系获取 研究背景…...

编程日记 2024/1/25 4:35:23

网络原理-初识(1)

目录 网络发展史 独立模式 网络互连 局域网LAN 广域网WAN 网络通信基础 IP地址 概念 格式 端口 概念 格式 认识协议 概念 作用 五元组 网络发展史 独立模式 独立模式:计算机之间相互独立; 网络互连 随着时代的发展,越来越需要计算机之间相互通信,共享软件和数…...

编程日记 2024/1/25 4:34:22

【GitHub项目推荐--人脸识别】【转载】

01 带有移动应用程序的人脸识别库 OpenFace 作为用于人脸识别的通用库，能够实现瞬态和移动人脸识别，目前在 GitHub 上斩获 14291 Star。以下为 LFW 数据集 Sylvestor Stallone 输入单个图像的流程。 项目地址：https://github.com/cmusatya…...

编程日记 2024/1/25 4:33:21

NLP自然语言处理介绍

自然语言处理（NLP，Natural Language Processing）是一门涉及计算机与人类语言之间交互的学科。它的目标是使计算机能够理解和生成人类语言，从而更好地处理和解析大量的文本数据。NLP不仅是人工智能领域中一个重要的分支&#xff0c…...

编程日记 2024/1/25 4:30:18

在线WebOffce在HTML/VUE/Electron纯前端网页编辑Office之打开Word后自动处于修订模式

在线办公协同办公过程中，对于老板给出的文档修改，如果在错别字方面都要自己一个个字去看的话也太浪费时间了，其实word上就有一个修订模式，可以帮助大家高效完成文档的修改，在线WebOffce在HTML/VUE/Electron纯前端网页编…...

编程日记 2024/1/25 4:28:16

thinkphp+vue+mysql旅游推荐攻略分享网站p0667

基于php语言设计并实现了旅游分享网站。该系统基于B/S即所谓浏览器/服务器模式，应用thinkphp框架，选择MySQL作为后台数据库。系统主要包括用户、景点信息、攻略分类、旅游攻略、门票购买、留言反馈、论坛管理、系统管理等功能模块。运行环境:phpstudy/wa…...

编程日记 2024/1/25 4:27:15

华为系统底层是用Java写的吗？和安卓的区别？

HarmonyOS（鸿蒙操作系统）是华为自主开发的分布式操作系统。下面是对HarmonyOS底层的详细介绍： 微内核架构：HarmonyOS采用了微内核架构，将核心服务和功能放在微内核中，而将其他应用服务放在用户空间中。这种…...

编程日记 2024/1/25 4:26:14

sql server 修改表前 先判断是否有这个列

IF NOT EXISTS (SELECT 1 FROM INFORMATION_SCHEMA.COLUMNS WHERE TABLE_NAME Users AND COLUMN_NAME userNum) BEGINALTER TABLE UsersADD userNum INT; END 在这个示例中： TABLE_NAME Users 表示我们正在检查Users这张表。COLUMN_NAME userNum 表示我们在查…...

编程日记 2024/1/25 4:22:11

解决网站高并发问题的策略?

解决网站高并发问题的策略 1.应用和数据服务分离：通过将应用和数据服务分离，可以降低数据库的负载压力，提高系统的可扩展性和稳定性。这种策略有助于提高系统的并发处理能力，满足大量用户的需求。 2.使用缓存技术：通过…...

编程日记 2024/1/25 4:21:09

浙政钉实现埋点(浙政钉-H5小程序应用采集开发手册)

浙政钉-H5&小程序应用采集开发手册 埋点代码分为：稳定性监控代码（Emas）和流量分析代码(A+)。稳定性监控代码（Emas）只需要在首页加入。流量分析代码(A+)每个页面都需要加入，但是可以写通用js，在其他页面引入。 适用范围 本文档适用于浙政钉业务web（H5）或小程序应…...

编程日记 2024/1/25 4:19:07

【笔记】Helm-4 最佳实践-3 模板

模板 最佳实践指南的这部分聚焦于模板。 templates/结构 template/目录结构应该如下： 1、如果生成YAML输出。模板文件应该有扩展名.yaml。扩展名是.tpl可用于生成非格式化内容的模板文件。 2、模板文件名称应该使用横杠符号（my-example-configmap.yam…...

编程日记 2024/1/25 4:12:01

网络爬虫基本原理的介绍

网络爬虫，也称为网络蜘蛛，是互联网浏览中的一种自动化程序，主要用于抓取并下载互联网上的网页信息。对于大部分搜索引擎，网络爬虫是其核心组件，用于构建和更新网页的索引。这篇博客将详细介绍网络爬虫的基本原理。 一…...

编程日记 2024/1/25 4:10:59

Qt配置OpenCV

首先安装好Qt Createor，CMake，OpenCV,我本次使用的是Qt6.3.4和OpenCV4.6.0 Qt Creator清华镜像源:https://mirrors.tuna.tsinghua.edu.cn/qt/official_releases/qtcreator/OpenCV官网下载: https://opencv.org/releases/ 一. 编译OpenCV 首先使用Qt C…...

编程日记 2024/1/25 4:04:55

单片机I/O口驱动MOS管

自记录： 看完本章，串起来看，看mos驱动电路这篇：MOS管驱动电流计算以及分立器件驱动电路-CSDN博客 使用单片机做一个PLC,输出可如下两种情况： 单片机I/O口驱动，为什么一般都选用三极管而不是MOS管&#xf…...

编程日记 2024/1/25 4:03:53

k8s---helm

Helm是什么？ 在没有helm之前。部署一个服务，需要deployment、service、ingress、挂在卷等等相关配置都需要人工来配置。 helm的作用就是通过打包的方式，把需要人工编写的配置集成在一起。是一键式的部署服务。类似于yum功能。 由官方提供的…...

编程日记 2024/1/25 3:53:41

HarmonyOS（十三）——详解自定义组件的生命周期

前言 自定义组件的生命周期回调函数用于通知用户该自定义组件的生命周期，这些回调函数是私有的，在运行时由开发框架在特定的时间进行调用，不能从应用程序中手动调用这些回调函数。 下图展示的是被Entry装饰的组件生命周期： 今…...

编程日记 2024/1/25 3:52:40

GitHub 趋势日报 (2025年06月08日)

📊 由 TrendForge 系统生成 | 🌐 https://trendforge.devlive.org/ 🌐 本日报中的项目描述已自动翻译为中文 📈 今日获星趋势图 今日获星趋势图 884 cognee 566 dify 414 HumanSystemOptimization 414 omni-tools 321 note-gen …...

编程新知 2025/12/13 1:32:15

C++八股 —— 单例模式

文章目录 1. 基本概念2. 设计要点3. 实现方式4. 详解懒汉模式 1. 基本概念 线程安全（Thread Safety） 线程安全是指在多线程环境下，某个函数、类或代码片段能够被多个线程同时调用时，仍能保证数据的一致性和逻辑的正确性&#xf…...

编程新知 2025/12/2 3:35:50

Rapidio门铃消息FIFO溢出机制

关于RapidIO门铃消息FIFO的溢出机制及其与中断抖动的关系，以下是深入解析： 门铃FIFO溢出的本质 在RapidIO系统中，门铃消息FIFO是硬件控制器内部的缓冲区，用于临时存储接收到的门铃消息（Doorbell Message）。…...

编程新知 2026/1/7 1:29:19

Unity | AmplifyShaderEditor插件基础（第七集：平面波动shader）

目录 一、👋🏻前言 二、😈sinx波动的基本原理 三、😈波动起来 1.sinx节点介绍 2.vertexPosition 3.集成Vector3 a.节点Append b.连起来 4.波动起来 a.波动的原理 b.时间节点 c.sinx的处理 四、🌊波动优化…...

编程新知 2026/2/6 22:55:12

【JVM】Java虚拟机（二）——垃圾回收

目录 一、如何判断对象可以回收 （一）引用计数法 （二）可达性分析算法 二、垃圾回收算法 （一）标记清除 （二）标记整理 （三）复制 （四&#xff…...

编程新知 2026/1/31 9:49:23

区块链技术概述

区块链技术是一种去中心化、分布式账本技术，通过密码学、共识机制和智能合约等核心组件，实现数据不可篡改、透明可追溯的系统。 一、核心技术 1. 去中心化 特点：数据存储在网络中的多个节点（计算机），而非…...

编程新知 2025/10/25 7:41:33

二维FDTD算法仿真

二维FDTD算法仿真，并带完全匹配层，输入波形为高斯波、平面波 FDTD_二维/FDTD.zip , 6075 FDTD_二维/FDTD_31.m , 1029 FDTD_二维/FDTD_32.m , 2806 FDTD_二维/FDTD_33.m , 3782 FDTD_二维/FDTD_34.m , 4182 FDTD_二维/FDTD_35.m , 4793...

编程新知 2025/9/10 21:14:06

针对药品仓库的效期管理问题，如何利用WMS系统“破局”

案例： 某医药分销企业，主要经营各类药品的批发与零售。由于药品的特殊性，效期管理至关重要，但该企业一直面临效期问题的困扰。在未使用WMS系统之前，其药品入库、存储、出库等环节的效期管理主要依赖人工记录与检查。库…...

编程新知 2026/2/5 14:06:00

Python环境安装与虚拟环境配置详解

本文档旨在为Python开发者提供一站式的环境安装与虚拟环境配置指南，适用于Windows、macOS和Linux系统。无论你是初学者还是有经验的开发者，都能在此找到适合自己的环境搭建方法和常见问题的解决方案。 快速开始 一分钟快速安装与虚拟环境配置 # macOS/…...

编程新知 2026/2/5 17:20:43

深入解析光敏传感技术：嵌入式仿真平台如何重塑电子工程教学

一、光敏传感技术的物理本质与系统级实现挑战 光敏电阻作为经典的光电传感器件，其工作原理根植于半导体材料的光电导效应。当入射光子能量超过材料带隙宽度时，价带电子受激发跃迁至导带，形成电子-空穴对，导致材料电导率显著提升。…...

编程新知 2026/2/8 23:40:35