当前位置： 首页 > news >正文

ChatGLM P-Tuningv2微调定制AI大模型

news 2025/9/13 19:05:55

前言

什么是模型微调

想象一下，你正在学习如何弹奏一首钢琴曲目。你已经学会了一些基本的钢琴技巧，但你想要更进一步，尝试演奏一首特定的曲目。这时，你会选择一首你感兴趣的曲目，并开始深度练习。

Fine-tuning（微调）在机器学习中也是类似的概念。当我们使用预先训练好的模型（预训练Pre-training）来解决一个特定的任务时，有时我们需要对这个模型进行微调。这意味着我们会在已经训练好的模型的基础上进行进一步的训练，以使其更适应我们的特定任务。

在微调过程中，会使用一小部分与任务相关的数据来训练模型。可以冻结模型的一部分或全部层，只对最后几层进行训练。这样做的目的是保留模型之前学到的通用特征，同时允许模型根据新数据进行适应和调整。

为什么要模型微调

一方面，为了满足领域特定的需求。通过微调，可以根据特定领域的需求来调整模型，特别适合搭建私有知识库。

另一方面，考虑到成本因素，预训练最少也需要上百条A100显卡，而微调单台显卡就能搞定

当前有哪些主流的微调方法

当前主流的LLM模型微调方法有prefix-tuning，p-tuning和lora等方法，其中LORA更注重对特征的解释和理解，而P-Tune更注重对模型参数的微调

官方网址：

相关文章：

ChatGLM P-Tuningv2微调定制AI大模型

前言 什么是模型微调 想象一下，你正在学习如何弹奏一首钢琴曲目。你已经学会了一些基本的钢琴技巧，但你想要更进一步，尝试演奏一首特定的曲目。这时，你会选择一首你感兴趣的曲目，并开始深度练习。 Fine-tuning（微调）在机器学习中也是类似的概念。当我们使用预先训练好…...

编程日记 2023/9/20 14:25:24

关于RISC-V安全性的全面综述

目录 摘要引言RISC-V安全综述通用平台的安全要求信任的根源与硬件安全模块OTP管理模块安全内存对称加密（如AES）引擎不对称加密[131]（例如，公钥RSA）引擎HASH/HAMC引擎随机数/位生成（例如TRNG[136]&#xff0…...

编程日记 2023/9/20 14:22:22

Python基础语法规则和Java不同的地方

Java是现在最流行的语言，也是广大程序员最熟悉的语言。然而，随着人工智能领域的快速发展，Python作为新星崭露头角。通过对比Java语言来学习Python语言，可以事半功倍。 首先，我们来看Python和Java在注释上的区别。在Jav…...

编程日记 2023/9/20 14:21:19

振弦采集仪安全监测路基边坡的解决方案

振弦采集仪安全监测路基边坡的解决方案 随着人们对交通安全的重视和公路工程的发展，路基边坡安全监测成为了重要的课题之一。路基边坡作为公路的基础，其稳定性直接关系到公路的使用寿命和行车安全。而振弦采集仪作为一种新型的安全监测设备，可…...

编程日记 2023/9/20 14:18:16

如何与QVC 建立EDI连接？

QVC，全称为Quality, Value, Convenience（品质、价值、便利），成立于1986年，是一家全球领先的零售电视和在线零售商。作为一家多渠道零售商，QVC致力于为客户提供高品质、独特的商品，通过电视、互联…...

编程日记 2023/9/20 14:16:13

脑网络图谱

前言 研究人脑面临的一个挑战是其多尺度组织和系统复杂性。我们对大脑组织的认识主要来源于离体组织学检查，如细胞结构映射。通过研究全脑微观结构特征的变化，可以划分为不同的脑区。然而，这种研究大脑组织的“局部”方法非常耗时、耗资源&a…...

编程日记 2023/9/20 14:12:09

无涯教程-JavaScript - SQRTPI函数

描述 SQRTPI函数返回(number * pi)的平方根。 语法 SQRTPI (number)争论 Argument描述Required/OptionalNumberThe number by which pi is multiplied.Required Notes If the specified number < 0, SQRTPI returns the #NUM! error value.如果指定的数字为非数字,则S…...

编程日记 2023/9/20 14:10:07

Nacos使用教程（四）——命名空间（Namespace）、配置分组（Group）和配置集ID（Data ID）

文章目录 Nacos命名空间&#xff08;Namespace&#xff09;一、什么是命名空间二、命名空间的作用1. 隔离环境2. 分类管理3. 权限控制 三、命名空间的使用四、总结 Nacos配置分组&#xff08;Group&#xff09;一、什么是配置分组二、配置分组的作用1. 分类管理2. 隔离控制3. 动…...

编程日记 2023/9/20 14:09:05

三、双指针（two-point）

文章目录 一、算法核心思想二、算法模型&#xff08;一&#xff09;对撞指针1.[704.二分查找](https://leetcode.cn/problems/binary-search/)&#xff08;1&#xff09;思路&#xff08;2&#xff09;代码&#xff08;3&#xff09;复杂度分析 2.[15.三数之和](https://leetco…...

编程日记 2023/9/20 14:08:04

Redis 是什么和使用场景概述（技术选型）

一、Redis 是什么 Redis是一款开源的高性能键值存储系统。它支持多种数据结构&#xff0c;如字符串、列表、集合、哈希表、有序集合等&#xff0c;并提供了丰富的操作命令和功能。Redis的主要特点包括&#xff1a; 内存存储&#xff1a;Redis将数据存储在内存中&#xff0c;因此…...

编程日记 2023/9/20 14:07:03

【数据结构】七大排序

文章目录 &#x1f490;1. 插入排序&#x1f33c;1.1 直接插入排序&#x1f33c;1.2 希尔排序 &#x1f490;2. 选择排序&#x1f33c;2.1 直接选择排序&#x1f33c;2.2 堆排序 &#x1f490;3. 交换排序&#x1f33c;3.1 冒泡排序&#x1f33c;3.2 快速排序&#x1f33c;3.2.…...

编程日记 2023/9/20 14:05:00

区块链实验室(24) - FISCO网络重构

若干次实验以后&#xff0c;FISCO网络中100个节点堆积了不少交易记录&#xff0c;消耗不少磁盘空间&#xff0c;见下图所示&#xff0c;100个节点累计消耗了10G空间。 观察每个节点的磁盘消耗&#xff0c;以node88为例&#xff0c;消耗了107MB&#xff0c;见下图所示。在该节点…...

编程日记 2023/9/20 14:03:59

AI智能写作工具有哪些？永久免费的AI智能写作工具你使用过吗？

AI智能写作是指借助人工智能技术&#xff0c;计算机程序可以自动生成各种文本内容&#xff0c;包括新闻报道、广告文案、科技文章、小说等等。这些AI写作工具通过大数据和深度学习模型&#xff0c;能够分析和模仿人类的写作风格&#xff0c;生成高质量的文本&#xff0c;甚至有…...

编程日记 2023/9/20 14:02:58

23.8.15 杭电暑期多校9部分题解

1002 - Shortest path 题目大意 对于一个数 x x x&#xff0c;可以进行以下三种操作&#xff1a; 1.将 x x x 变成 2 ∗ x 2*x 2∗x 2.将 x x x 变成 3 ∗ x 3*x 3∗x 3.将 x x x 变成 x 1 x1 x1 给定一个数 n n n&#xff0c;问最少操作几次才能将 1 1 1 变成…...

编程日记 2023/9/20 14:01:57

四个BY的区别 HIVE中

在Hive中&#xff0c;有四个BY比较&#xff1a;Order By、Sort By、Distribute By和Cluster By。 Order By是全局排序&#xff0c;只有一个Reducer。它可以按照升序&#xff08;ASC&#xff09;或降序&#xff08;DESC&#xff09;对结果进行排序。Order By子句通常用在SELECT语…...

编程日记 2023/9/20 13:59:53

计时函数与float32 float16 int8 数据转换

个人整理常用 部分来自 ncnn 计时函数 // window 平台 #include <windows.h>double get_current_time() {LARGE_INTEGER freq; // 频率LARGE_INTEGER pc; // 计数QueryPerformanceFrequency(&freq);QueryPerformanceCounter(&pc);return pc.QuadPart * 1000…...

编程日记 2023/9/20 13:56:50

自身免疫疾病诊断原料——博迈伦

自身免疫疾病是一类由免疫系统攻击正常组织和器官而引起的疾病。为了准确地诊断和监测自身免疫疾病&#xff0c;需要使用特定的诊断原料来进行实验室检测。这些诊断原料主要包括抗体试剂、抗原试剂和试剂盒等。 抗体试剂是用于检测和定量分析体内免疫系统产生的抗体的化学试剂。…...

编程日记 2023/9/20 13:55:50

cpu温度监测 Turbo Boost Switcher Pro for mac最新

Turbo Boost Switcher Pro是一款Mac电脑上的应用程序&#xff0c;旨在帮助用户控制和管理CPU的Turbo Boost功能。Turbo Boost是Intel处理器中的一项技术&#xff0c;可以在需要更高性能时自动提高处理器的频率。然而&#xff0c;这可能会导致电池消耗更快和温度升高。 以下是T…...

编程日记 2023/9/20 13:53:48

spring 请求 出现实体类大小写不一致 出现的问题

目录 1.问题背景 2.解决方法 但是会存在返回的既有大写也有小写的问题&#xff0c;需要在get方法也添加对应的注解 3.相关资料 1.问题背景 因数据库某字段存储的为json 格式&#xff0c;且数据库字段要求都有客户指定&#xff0c;因为该功能需要和其他项目进行对接。然后出现…...

编程日记 2023/9/20 13:52:47

zaabix实现对nginx监控

本文使用监控模板net.tcp.listen[port]实现监听端口 实验环境&#xff1a; 首先搭建好zabbix-server &#xff0c;zabbix-agenthttps://mp.csdn.net/mp_blog/creation/editor/132622769?spm1001.2014.3001.9457 而后在zabbix-agent主机上下载一个nginx 登录zabbix网站创建主…...

编程日记 2023/9/20 13:51:46

三维GIS开发cesium智慧地铁教程（5）Cesium相机控制

一、环境搭建 <script src"../cesium1.99/Build/Cesium/Cesium.js"></script> <link rel"stylesheet" href"../cesium1.99/Build/Cesium/Widgets/widgets.css"> 关键配置点&#xff1a; 路径验证&#xff1a;确保相对路径.…...

编程新知 2025/8/21 15:41:11

Vue3 + Element Plus + TypeScript中el-transfer穿梭框组件使用详解及示例

使用详解 Element Plus 的 el-transfer 组件是一个强大的穿梭框组件&#xff0c;常用于在两个集合之间进行数据转移&#xff0c;如权限分配、数据选择等场景。下面我将详细介绍其用法并提供一个完整示例。 核心特性与用法 基本属性 v-model&#xff1a;绑定右侧列表的值&…...

编程新知 2025/9/13 17:43:32

（二）TensorRT-LLM | 模型导出（v0.20.0rc3）

0. 概述 上一节 对安装和使用有个基本介绍。根据这个 issue 的描述&#xff0c;后续 TensorRT-LLM 团队可能更专注于更新和维护 pytorch backend。但 tensorrt backend 作为先前一直开发的工作&#xff0c;其中包含了大量可以学习的地方。本文主要看看它导出模型的部分&#x…...

编程新知 2025/9/12 20:53:43

零基础设计模式——行为型模式 - 责任链模式

第四部分&#xff1a;行为型模式 - 责任链模式 (Chain of Responsibility Pattern) 欢迎来到行为型模式的学习&#xff01;行为型模式关注对象之间的职责分配、算法封装和对象间的交互。我们将学习的第一个行为型模式是责任链模式。 核心思想&#xff1a;使多个对象都有机会处…...

编程新知 2025/8/27 2:56:26

mysql已经安装，但是通过rpm -q 没有找mysql相关的已安装包

文章目录 现象&#xff1a;mysql已经安装&#xff0c;但是通过rpm -q 没有找mysql相关的已安装包遇到 rpm 命令找不到已经安装的 MySQL 包时&#xff0c;可能是因为以下几个原因&#xff1a;1.MySQL 不是通过 RPM 包安装的2.RPM 数据库损坏3.使用了不同的包名或路径4.使用其他包…...

编程新知 2025/9/12 23:21:56

深入浅出深度学习基础：从感知机到全连接神经网络的核心原理与应用

文章目录 前言一、感知机 (Perceptron)1.1 基础介绍1.1.1 感知机是什么&#xff1f;1.1.2 感知机的工作原理 1.2 感知机的简单应用&#xff1a;基本逻辑门1.2.1 逻辑与 (Logic AND)1.2.2 逻辑或 (Logic OR)1.2.3 逻辑与非 (Logic NAND) 1.3 感知机的实现1.3.1 简单实现 (基于阈…...

编程新知 2025/9/4 2:37:46

Git 3天2K星标：Datawhale 的 Happy-LLM 项目介绍（附教程）

引言 在人工智能飞速发展的今天&#xff0c;大语言模型&#xff08;Large Language Models, LLMs&#xff09;已成为技术领域的焦点。从智能写作到代码生成&#xff0c;LLM 的应用场景不断扩展&#xff0c;深刻改变了我们的工作和生活方式。然而&#xff0c;理解这些模型的内部…...

编程新知 2025/9/2 3:21:36

微服务通信安全：深入解析mTLS的原理与实践

&#x1f525;「炎码工坊」技术弹药已装填&#xff01; 点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】 一、引言&#xff1a;微服务时代的通信安全挑战 随着云原生和微服务架构的普及&#xff0c;服务间的通信安全成为系统设计的核心议题。传统的单体架构中&…...

编程新知 2025/7/6 17:40:31

leetcode73-矩阵置零

leetcode 73 思路 记录 0 元素的位置&#xff1a;遍历整个矩阵&#xff0c;找出所有值为 0 的元素&#xff0c;并将它们的坐标记录在数组zeroPosition中置零操作&#xff1a;遍历记录的所有 0 元素位置&#xff0c;将每个位置对应的行和列的所有元素置为 0 具体步骤 初始化…...

编程新知 2025/9/13 17:32:53

用 Rust 重写 Linux 内核模块实战：迈向安全内核的新篇章

用 Rust 重写 Linux 内核模块实战&#xff1a;迈向安全内核的新篇章 ​​摘要&#xff1a;​​ 操作系统内核的安全性、稳定性至关重要。传统 Linux 内核模块开发长期依赖于 C 语言&#xff0c;受限于 C 语言本身的内存安全和并发安全问题&#xff0c;开发复杂模块极易引入难以…...

编程新知 2025/8/10 13:54:14