当前位置： 首页 > news >正文

大模型LLM 在线量化；GPTQ\AWQ量化

news 2026/5/11 10:53:43

1、大模型LLM 在线量化

参考：https://www.cnblogs.com/bruceleely/p/17348782.html

##8bit
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).quantize(8).half(

相关文章：

大模型LLM 在线量化；GPTQ\AWQ量化

1、大模型LLM 在线量化 参考：https://www.cnblogs.com/bruceleely/p/17348782.html ##8bit model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).quantize(8).half(...

编程日记 2023/11/21 6:57:24

记一次线上bug排查-----SpringCloud Gateway组件 请求头accept-encoding导致响应结果乱码

基于公司的业务需求，在SpringCloud Gateway组件的基础上，写了一个转发服务，测试开发阶段运行正常，并实现初步使用。但三个月后，PostMan请求接口，返回异常，经排查，从日志中获取到转发…...

编程日记 2023/11/21 6:56:23

复杂数据统计与R语言程序设计实验一

1.下载并安装R语言软件，熟悉基本操作的命令及操作界面，掌握软件的使用方法（提供学号加姓名的截图）。 2.下载并安装Rstudio， （提供运行代码及运行结果的截图）。 3.下载并安装R包DT，…...

编程日记 2023/11/21 6:55:22

UEFI实战——键盘操作

一、键盘操作 UEFI下如何获取键盘键值，用户输入按键方式分两种：一种是单个按键，另外一种是组合按键。两种方式对应两个Protocol服务，接下来分步讲解。 二、单个按键 单个按键使用Protocol服务是EFI_SIMPLE_TEXT_INPUT_PROTOCOL，它定义在MdePkg/Include/Protocol/Simple…...

编程日记 2023/11/21 6:53:19

苹果CMS首涂第30套可装修DIY主题模板免授权版

这是一款可以装修的主题，类似淘宝店装修一样，可以针对首页、栏目页、详情页、播放页进行自定义装修，内置10个模块自由选择、添加、修改、删除、排序操作，后续升级还会增加更多实用和个性模块供选择，主题内包含的导航、…...

编程日记 2023/11/21 6:52:17

C#每天复习一个重要小知识day2：有参与无参构造函数

using System;public class MyClass {private int value;// 有参构造函数public MyClass(int v){this.value v;}// 无参构造函数public MyClass(){this.value 0;}public static void Main(string[] args){// 使用有参构造函数实例化对象MyClass obj1 new MyClass(10);Consol…...

编程日记 2023/11/21 6:51:16

大语言模型的三阶段训练

为了训练专有领域模型，选择LLaMA2-7B作为基座模型，由于LLaMA模型中文词表有限，因此首先进行中文词表的扩展，然后进行三阶段训练（增量预训练，有监督微调，强化学习）。 代码将全部上传…...

编程日记 2023/11/21 6:49:14

面试题c/c++ --STL 算法与数据结构

1.6 STL 模板 模板底层实现：编译器会对函数模板进行两次编译， 在声明的地方对模板代码本身进行编译， 在调用的地方对参数替换后的代码进行编译。 模板传参分析 模板重载 vector 是动态空间， 随着元素的加入， 它的内…...

编程日记 2023/11/21 6:48:14

云原生微服务-理论篇

文章目录 分布式应用的需求分布式架构治理模式演进ESB 是什么？微服务架构 MSA微服务实践细节微服务治理框架sidercar 什么是service mesh？康威定律微服务的扩展性什么是MSA 架构？中台战略和微服务微服务总体架构组件微服务网关服务发现与路由…...

编程日记 2023/11/21 6:46:12

Unity模拟薄膜干涉效果

Unity制作薄膜干涉效果，色彩斑斓的黑色石头 大家好，我是阿赵。   这次来做一个模拟薄膜干涉的彩色效果，Shader是使用ASE来连接，也算是ASE做复杂一点的效果的一个例子吧。 一、什么是薄膜干涉 以下解释来源于百度百科&#xff1…...

编程日记 2023/11/21 6:44:10

AIGC ChatGPT4对Gbase数据库进行总结

ChatGPT4 用一个Prompt完成Gbase数据库的总结。 AIGC ChatGPT 职场案例 AI 绘画 与 短视频制作 PowerBI 商业智能 68集 数据库Mysql 8.0 54集 数据库Oracle 21C 142集 Office 2021实战应用 Python 数据分析实战， ETL Informatica 数据仓库案例实战 Excel 2021实操 …...

编程日记 2023/11/21 6:43:08

OSI网络模型与TCP/IP协议

OSI， Open system Interconnection Reference Model 开放式系统互联通信参考模型。是国际标准化组织在1984年定义的一个概念框架，用于协调制定进程间通信标准。OSI作为一个协议规范集，定义了七个层次，包括层次之间的相互关系及各层…...

编程日记 2023/11/21 6:42:08

C语言的5个内存段你了解吗？( 代码段/数据段/栈/堆)

前言：这些内存段在程序运行时起着不同的作用，有不同的分配方式和存储内容。对于 C 语言程序员来说，了解这些内存段的特性和用途有助于更好地理解内存管理、变量的存储位置以及程序执行过程中的内存分配情况 1. 代码段 (Code Segment) 内容&a…...

编程日记 2023/11/21 6:39:05

智能合约检测：新一代区块链技术的安全守护

目录 1、智能合约检测：新一代区块链技术的安全守护 2、智能合约性能检测步骤...

编程日记 2023/11/21 6:38:04

Flutter笔记：缩放手势

Flutter笔记 缩放手势 作者：李俊才 （jcLee95）：https://blog.csdn.net/qq_28550263 邮箱 ：291148484163.com 本文地址：https://blog.csdn.net/qq_28550263/article/details/134485138 目 录 1. 概述2. 缩放手…...

编程日记 2023/11/21 6:37:03

JAXB：用XmlElement注解复杂类型的Java属性，来产生多层嵌套的xml元素

例如&#xff0c;下面这段请求的xml代码&#xff0c;在元素body下面又多了一层&#xff0c;嵌套了4个元素&#xff1a; <?xml version"1.0" encoding"UTF-8"?><request><reqtype>04</reqtype><secret>test</secret>…...

编程日记 2023/11/21 6:36:02

万字长文 - Python 日志记录器logging 百科全书 - 高级配置之 日志分层

万字长文 - Python 日志记录器logging 百科全书 - 高级配置之 日志分层 前言 在 Python 的logging模块中&#xff0c;它不仅提供了基础的日志功能&#xff0c;还拥有一系列高级配置选项来满足复杂应用的日志管理需求。 说到logging 模块的高级配置&#xff0c;必须提及日志分…...

编程日记 2023/11/21 6:33:59

工作记录---为什么双11当天不能申请退款？（有趣~）

为什么&#xff1f; 服务降级了 服务降级&#xff1a; 当服务器压力剧增的情况下&#xff0c;根据实际业务情况及流量&#xff0c;对一些服务和页面有策略的不处理或换种简单的方式处理&#xff0c;从而释放服务器资源以保证核心交易正常运作或高效运作。 分布式系统的降级…...

编程日记 2023/11/21 6:32:58

ElasticSearch在Windows上的下载与安装

Elasticsearch是一个开源的分布式搜索和分析引擎&#xff0c;它可以帮助我们快速地搜索、分析和处理大量数据。Elasticsearch能够快速地处理结构化和非结构化数据&#xff0c;支持全文检索、地理位置搜索、自动补全、聚合分析等功能&#xff0c;能够承载各种类型的应用&#xf…...

编程日记 2023/11/21 6:31:57

软件测试/测试开发/人工智能丨基于Spark的分布式造数工具：加速大规模测试数据构建

随着软件开发规模的扩大&#xff0c;测试数据的构建变得越来越复杂&#xff0c;传统的造数方法难以应对大规模数据需求。本文将介绍如何使用Apache Spark构建分布式造数工具&#xff0c;以提升测试数据构建的效率和规模。 为什么选择Spark&#xff1f; 分布式计算&#xff1a;…...

编程日记 2023/11/21 6:30:57

QMCDecode终极指南：如何快速解锁QQ音乐加密文件实现跨设备播放

QMCDecode终极指南&#xff1a;如何快速解锁QQ音乐加密文件实现跨设备播放 【免费下载链接】QMCDecode QQ音乐QMC格式转换为普通格式(qmcflac转flac&#xff0c;qmc0,qmc3转mp3, mflac,mflac0等转flac)&#xff0c;仅支持macOS&#xff0c;可自动识别到QQ音乐下载目录&#xff…...

编程新知 2026/5/11 10:10:50

专业指南：如何用Legacy-iOS-Kit一站式管理老旧苹果设备

专业指南&#xff1a;如何用Legacy-iOS-Kit一站式管理老旧苹果设备 【免费下载链接】Legacy-iOS-Kit An all-in-one tool to restore/downgrade, save SHSH blobs, jailbreak legacy iOS devices, and more 项目地址: https://gitcode.com/gh_mirrors/le/Legacy-iOS-Kit …...

编程新知 2026/5/11 9:23:26

HYMiniMall项目配置详解：从开发环境到生产环境的完整部署

HYMiniMall项目配置详解&#xff1a;从开发环境到生产环境的完整部署 【免费下载链接】HYMiniMall 小程序商场项目 项目地址: https://gitcode.com/gh_mirrors/hy/HYMiniMall HYMiniMall是一个功能完善的小程序商场项目&#xff0c;本文将详细介绍如何从开发环境到生产环…...

编程新知 2026/5/11 7:44:05

BepInEx IL2CPP启动失败终极解决指南：从异常诊断到游戏正常运行

BepInEx IL2CPP启动失败终极解决指南&#xff1a;从异常诊断到游戏正常运行 【免费下载链接】BepInEx Unity / XNA game patcher and plugin framework 项目地址: https://gitcode.com/GitHub_Trending/be/BepInEx BepInEx作为Unity游戏插件框架&#xff0c;为玩家和开发…...

编程新知 2026/5/11 7:39:58

向华为学习——解读华为流程型组织的基石：业务流架构（BPA）全景解析【附全文阅读】

华为流程型组织 BPA 业务流架构｜推介总结 适应人群：企业高管、战略与变革负责人、流程与运营总监、组织与 HR 管理者、数字化与 IT 架构师、咨询顾问。 重要性总结：本文档是华为流程型组织建设的核心方法论，系统解析 BPA 业务流架构全景，明确战略驱动、业务本质、责任落地…...

编程新知 2026/5/11 7:22:17

Navicat Mac版无限重置试用期的终极指南：3种简单方法破解14天限制

Navicat Mac版无限重置试用期的终极指南&#xff1a;3种简单方法破解14天限制 【免费下载链接】navicat_reset_mac navicat mac版无限重置试用期脚本 Navicat Mac Version Unlimited Trial Reset Script 项目地址: https://gitcode.com/gh_mirrors/na/navicat_reset_mac …...

编程新知 2026/5/11 7:07:28

【c++面向对象编程】第2篇：类与对象（一）：定义第一个类——成员变量与成员函数

目录 一、从一个日常需求开始 二、定义你的第一个类 三、访问修饰符&#xff1a;public、private、protected 举个例子&#xff0c;看看区别&#xff1a; 四、成员变量怎么声明&#xff1f; 五、成员函数&#xff1a;两种实现方式 方式一&#xff1a;类内实现&#xff08…...

编程新知 2026/5/11 6:21:23

芯片验证覆盖率：从度量陷阱到有效策略的实战解析

1. 从一篇旧文谈起&#xff1a;当“覆盖率”成为数字游戏最近在整理资料时&#xff0c;翻到一篇2013年EE Times上的老文章&#xff0c;作者Brian Bailey对当时&#xff08;甚至现在依然盛行&#xff09;的验证方法提出了尖锐的批评。文章的核心矛头直指“基于激励的覆盖率”&am…...

编程新知 2026/5/11 6:02:12

openclaw手机版安装直连方法_Topclaw完全免费使用！

OpenClaw手机版安装直连方法_Topclaw完全免费使用&#xff01;还在寻找强大且免费的安卓工具&#xff1f;OpenClaw&#xff08;又称Topclaw&#xff09;以其丰富的功能赢得了不少用户的青睐。好消息是&#xff0c;它的手机版可以免费使用&#xff01;下面就是一份简单直接的安装…...

编程新知 2026/5/11 5:55:55

参考文献列表（近现代当代中国篇）

参考文献列表&#xff08;近现代当代中国篇&#xff09;0. 无。为什么是空的&#xff1f;——因为鄙视。岐金兰鄙视近现代当代中国绝大多数思想者。不是个人恩怨&#xff0c;不是学术门户&#xff0c;而是对“构建学术实体”这一集体执念的鄙视。他们中的大多数&#xff0c;终其…...

编程新知 2026/5/11 5:35:13