书生·浦语大模型实战营-学习笔记5
LMDeploy 大模型量化部署实践
大模型部署背景
LMDeploy简介
轻量化、推理引擎、服务
核心功能-量化
显存消耗变少了
大语言模型是典型的访存密集型任务，因为它是decoder-by-decoder
先把数据量化为INT4存起来，算的时候会反量化为FP16
AWQ算法：观察到模型在推理过程中，只有一小部分参数是重要的参数，这部分参数不量化，其他的参数量化，这样保留了显存，性能也不会下降多少
核心功能-推理引擎
不用等到整个batch结束
核心功能-推理服务api server
动手实践环节
https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md
相关文章：
书生·浦语大模型实战营-学习笔记5
LMDeploy 大模型量化部署实践 大模型部署背景 LMDeploy简介 轻量化、推理引擎、服务 核心功能-量化 显存消耗变少了 大语言模型是典型的访存密集型任务，因为它是decoder-by-decoder 先把数据量化为INT4存起来，算的时候会反量化为FP16 AWQ算法&a…...
10. Profile
1. 区分环境的配置 1.1. properties 配置 假设，一个应用的工作环境有：dev、test、prod 那么，我们可以添加 4 个配置文件： applcation.properties - 公共配置application-dev.properties - 开发环境配置application-test.proper…...
YOLO 自己训练一个模型
一、准备数据集 我的版本是yolov8 8.11 这个目录结构很重要 ultralytics-main | datasets|coco|train|val 二、训练 编写yaml 文件 # Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..] path…...
3.Eureka注册中心
3.Eureka注册中心 假如我们的服务提供者user-service部署了多个实例，如图： 大家思考几个问题： order-service在发起远程调用的时候，该如何得知user-service实例的ip地址和端口？有多个user-service实例地址࿰…...
基于springboot+vue的墙绘产品展示交易平台系统(前后端分离)
博主主页：猫头鹰源码 博主简介：Java领域优质创作者、CSDN博客专家、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战 主要内容：毕业设计(Javaweb项目|小程序等)、简历模板、学习资料、面试题库、技术咨询 文末联系获取 研究背景…...
网络原理-初识(1)
目录 网络发展史 独立模式 网络互连 局域网LAN 广域网WAN 网络通信基础 IP地址 概念 格式 端口 概念 格式 认识协议 概念 作用 五元组 网络发展史 独立模式 独立模式:计算机之间相互独立; 网络互连 随着时代的发展,越来越需要计算机之间相互通信,共享软件和数…...
【GitHub项目推荐--人脸识别】【转载】
01 带有移动应用程序的人脸识别库 OpenFace 作为用于人脸识别的通用库，能够实现瞬态和移动人脸识别，目前在 GitHub 上斩获 14291 Star。以下为 LFW 数据集 Sylvestor Stallone 输入单个图像的流程。 项目地址：https://github.com/cmusatya…...
NLP自然语言处理介绍
自然语言处理（NLP，Natural Language Processing）是一门涉及计算机与人类语言之间交互的学科。它的目标是使计算机能够理解和生成人类语言，从而更好地处理和解析大量的文本数据。NLP不仅是人工智能领域中一个重要的分支，…...
在线WebOffce在HTML/VUE/Electron纯前端网页编辑Office之打开Word后自动处于修订模式
在线办公协同办公过程中，对于老板给出的文档修改，如果在错别字方面都要自己一个个字去看的话也太浪费时间了，其实word上就有一个修订模式，可以帮助大家高效完成文档的修改，在线WebOffce在HTML/VUE/Electron纯前端网页编…...
thinkphp+vue+mysql旅游推荐攻略分享网站p0667
基于php语言设计并实现了旅游分享网站。该系统基于B/S即所谓浏览器/服务器模式，应用thinkphp框架，选择MySQL作为后台数据库。系统主要包括用户、景点信息、攻略分类、旅游攻略、门票购买、留言反馈、论坛管理、系统管理等功能模块。运行环境:phpstudy/wa…...
华为系统底层是用Java写的吗？和安卓的区别？
HarmonyOS（鸿蒙操作系统）是华为自主开发的分布式操作系统。下面是对HarmonyOS底层的详细介绍： 微内核架构：HarmonyOS采用了微内核架构，将核心服务和功能放在微内核中，而将其他应用服务放在用户空间中。这种…...
sql server 修改表前 先判断是否有这个列
IF NOT EXISTS (SELECT 1 FROM INFORMATION_SCHEMA.COLUMNS WHERE TABLE_NAME Users AND COLUMN_NAME userNum) BEGINALTER TABLE UsersADD userNum INT; END 在这个示例中： TABLE_NAME Users 表示我们正在检查Users这张表。COLUMN_NAME userNum 表示我们在查…...
解决网站高并发问题的策略?
解决网站高并发问题的策略 1.应用和数据服务分离：通过将应用和数据服务分离，可以降低数据库的负载压力，提高系统的可扩展性和稳定性。这种策略有助于提高系统的并发处理能力，满足大量用户的需求。 2.使用缓存技术：通过…...
)
浙政钉实现埋点(浙政钉-H5小程序应用采集开发手册)
浙政钉-H5&小程序应用采集开发手册 埋点代码分为：稳定性监控代码（Emas）和流量分析代码(A+)。稳定性监控代码（Emas）只需要在首页加入。流量分析代码(A+)每个页面都需要加入，但是可以写通用js，在其他页面引入。 适用范围 本文档适用于浙政钉业务web（H5）或小程序应…...
【笔记】Helm-4 最佳实践-3 模板
模板 最佳实践指南的这部分聚焦于模板。 templates/结构 template/目录结构应该如下： 1、如果生成YAML输出。模板文件应该有扩展名.yaml。扩展名是.tpl可用于生成非格式化内容的模板文件。 2、模板文件名称应该使用横杠符号（my-example-configmap.yam…...
网络爬虫基本原理的介绍
网络爬虫，也称为网络蜘蛛，是互联网浏览中的一种自动化程序，主要用于抓取并下载互联网上的网页信息。对于大部分搜索引擎，网络爬虫是其核心组件，用于构建和更新网页的索引。这篇博客将详细介绍网络爬虫的基本原理。 一…...
Qt配置OpenCV
首先安装好Qt Createor，CMake，OpenCV,我本次使用的是Qt6.3.4和OpenCV4.6.0 Qt Creator清华镜像源:https://mirrors.tuna.tsinghua.edu.cn/qt/official_releases/qtcreator/OpenCV官网下载: https://opencv.org/releases/ 一. 编译OpenCV 首先使用Qt C…...
单片机I/O口驱动MOS管
自记录： 看完本章，串起来看，看mos驱动电路这篇：MOS管驱动电流计算以及分立器件驱动电路-CSDN博客 使用单片机做一个PLC,输出可如下两种情况： 单片机I/O口驱动，为什么一般都选用三极管而不是MOS管…...
k8s---helm
Helm是什么？ 在没有helm之前。部署一个服务，需要deployment、service、ingress、挂在卷等等相关配置都需要人工来配置。 helm的作用就是通过打包的方式，把需要人工编写的配置集成在一起。是一键式的部署服务。类似于yum功能。 由官方提供的…...
HarmonyOS（十三）——详解自定义组件的生命周期
前言 自定义组件的生命周期回调函数用于通知用户该自定义组件的生命周期，这些回调函数是私有的，在运行时由开发框架在特定的时间进行调用，不能从应用程序中手动调用这些回调函数。 下图展示的是被Entry装饰的组件生命周期： 今…...
变量 varablie 声明- Rust 变量 let mut 声明与 C/C++ 变量声明对比分析
一、变量声明设计：let 与 mut 的哲学解析 Rust 采用 let 声明变量并通过 mut 显式标记可变性，这种设计体现了语言的核心哲学。以下是深度解析： 1.1 设计理念剖析 安全优先原则：默认不可变强制开发者明确声明意图 let x 5; …...
聊聊 Pulsar：Producer 源码解析
一、前言 Apache Pulsar 是一个企业级的开源分布式消息传递平台，以其高性能、可扩展性和存储计算分离架构在消息队列和流处理领域独树一帜。在 Pulsar 的核心架构中，Producer（生产者） 是连接客户端应用与消息队列的第一步。生产者…...
[ICLR 2022]How Much Can CLIP Benefit Vision-and-Language Tasks?
论文网址：pdf 英文是纯手打的！论文原文的summarizing and paraphrasing。可能会出现难以避免的拼写错误和语法错误，若有发现欢迎评论指正！文章偏向于笔记，谨慎食用 目录 1. 心得 2. 论文逐段精读 2.1. Abstract 2…...
（转）什么是DockerCompose?它有什么作用？
一、什么是DockerCompose? DockerCompose可以基于Compose文件帮我们快速的部署分布式应用，而无需手动一个个创建和运行容器。 Compose文件是一个文本文件，通过指令定义集群中的每个容器如何运行。 DockerCompose就是把DockerFile转换成指令去运行。 …...
MySQL用户和授权
开放MySQL白名单 可以通过iptables-save命令确认对应客户端ip是否可以访问MySQL服务： test: # iptables-save | grep 3306 -A mp_srv_whitelist -s 172.16.14.102/32 -p tcp -m tcp --dport 3306 -j ACCEPT -A mp_srv_whitelist -s 172.16.4.16/32 -p tcp -m tcp -…...
Android 之 kotlin 语言学习笔记三（Kotlin-Java 互操作）
参考官方文档：https://developer.android.google.cn/kotlin/interop?hlzh-cn 一、Java（供 Kotlin 使用） 1、不得使用硬关键字 不要使用 Kotlin 的任何硬关键字作为方法的名称 或字段。允许使用 Kotlin 的软关键字、修饰符关键字和特殊标识…...
在web-view 加载的本地及远程HTML中调用uniapp的API及网页和vue页面是如何通讯的？
uni-app 中 Web-view 与 Vue 页面的通讯机制详解 一、Web-view 简介 Web-view 是 uni-app 提供的一个重要组件，用于在原生应用中加载 HTML 页面： 支持加载本地 HTML 文件支持加载远程 HTML 页面实现 Web 与原生的双向通讯可用于嵌入第三方网页或 H5 应…...
html css js网页制作成品——HTML+CSS榴莲商城网页设计（4页）附源码
目录 一、👨🎓网站题目 二、✍️网站描述 三、📚网站介绍 四、🌐网站效果 五、🪓 代码实现 🧱HTML 六、🥇 如何让学习不再盲目 七、🎁更多干货 一、👨…...
Chrome 浏览器前端与客户端双向通信实战
Chrome 前端（即页面 JS / Web UI）与客户端（C 后端）的交互机制，是 Chromium 架构中非常核心的一环。下面我将按常见场景，从通道、流程、技术栈几个角度做一套完整的分析，特别适合你这种在分析和改…...
ubuntu22.04有线网络无法连接，图标也没了
今天突然无法有线网络无法连接任何设备，并且图标都没了 错误案例 往上一顿搜索，试了很多博客都不行，比如 Ubuntu22.04右上角网络图标消失 最后解决的办法 下载网卡驱动，重新安装 操作步骤 查看自己网卡的型号 lspci | gre…...