ChatGLM P-Tuningv2微调定制AI大模型
前言
什么是模型微调
想象一下，你正在学习如何弹奏一首钢琴曲目。你已经学会了一些基本的钢琴技巧，但你想要更进一步，尝试演奏一首特定的曲目。这时，你会选择一首你感兴趣的曲目，并开始深度练习。
Fine-tuning（微调）在机器学习中也是类似的概念。当我们使用预先训练好的模型（预训练Pre-training）来解决一个特定的任务时，有时我们需要对这个模型进行微调。这意味着我们会在已经训练好的模型的基础上进行进一步的训练，以使其更适应我们的特定任务。
在微调过程中，会使用一小部分与任务相关的数据来训练模型。可以冻结模型的一部分或全部层，只对最后几层进行训练。这样做的目的是保留模型之前学到的通用特征，同时允许模型根据新数据进行适应和调整。
为什么要模型微调
一方面，为了满足领域特定的需求。通过微调，可以根据特定领域的需求来调整模型，特别适合搭建私有知识库。
另一方面，考虑到成本因素，预训练最少也需要上百条A100显卡，而微调单台显卡就能搞定
当前有哪些主流的微调方法
当前主流的LLM模型微调方法有prefix-tuning，p-tuning和lora等方法，其中LORA更注重对特征的解释和理解，而P-Tune更注重对模型参数的微调
官方网址：
相关文章：
ChatGLM P-Tuningv2微调定制AI大模型
前言 什么是模型微调 想象一下，你正在学习如何弹奏一首钢琴曲目。你已经学会了一些基本的钢琴技巧，但你想要更进一步，尝试演奏一首特定的曲目。这时，你会选择一首你感兴趣的曲目，并开始深度练习。 Fine-tuning（微调）在机器学习中也是类似的概念。当我们使用预先训练好…...
关于RISC-V安全性的全面综述
目录 摘要引言RISC-V安全综述通用平台的安全要求信任的根源与硬件安全模块OTP管理模块安全内存对称加密（如AES）引擎不对称加密[131]（例如，公钥RSA）引擎HASH/HAMC引擎随机数/位生成（例如TRNG[136]࿰…...
Python基础语法规则和Java不同的地方
Java是现在最流行的语言，也是广大程序员最熟悉的语言。然而，随着人工智能领域的快速发展，Python作为新星崭露头角。通过对比Java语言来学习Python语言，可以事半功倍。 首先，我们来看Python和Java在注释上的区别。在Jav…...
振弦采集仪安全监测路基边坡的解决方案
振弦采集仪安全监测路基边坡的解决方案 随着人们对交通安全的重视和公路工程的发展，路基边坡安全监测成为了重要的课题之一。路基边坡作为公路的基础，其稳定性直接关系到公路的使用寿命和行车安全。而振弦采集仪作为一种新型的安全监测设备，可…...
如何与QVC 建立EDI连接？
QVC，全称为Quality, Value, Convenience（品质、价值、便利），成立于1986年，是一家全球领先的零售电视和在线零售商。作为一家多渠道零售商，QVC致力于为客户提供高品质、独特的商品，通过电视、互联…...
脑网络图谱
前言 研究人脑面临的一个挑战是其多尺度组织和系统复杂性。我们对大脑组织的认识主要来源于离体组织学检查，如细胞结构映射。通过研究全脑微观结构特征的变化，可以划分为不同的脑区。然而，这种研究大脑组织的“局部”方法非常耗时、耗资源&a…...
无涯教程-JavaScript - SQRTPI函数
描述 SQRTPI函数返回(number * pi)的平方根。 语法 SQRTPI (number)争论 Argument描述Required/OptionalNumberThe number by which pi is multiplied.Required Notes If the specified number < 0, SQRTPI returns the #NUM! error value.如果指定的数字为非数字,则S…...
Nacos使用教程（四）——命名空间（Namespace）、配置分组（Group）和配置集ID（Data ID）
文章目录 Nacos命名空间（Namespace）一、什么是命名空间二、命名空间的作用1. 隔离环境2. 分类管理3. 权限控制 三、命名空间的使用四、总结 Nacos配置分组（Group）一、什么是配置分组二、配置分组的作用1. 分类管理2. 隔离控制3. 动…...
三、双指针（two-point）
文章目录 一、算法核心思想二、算法模型（一）对撞指针1.[704.二分查找](https://leetcode.cn/problems/binary-search/)（1）思路（2）代码（3）复杂度分析 2.[15.三数之和](https://leetco…...
Redis 是什么和使用场景概述（技术选型）
一、Redis 是什么 Redis是一款开源的高性能键值存储系统。它支持多种数据结构，如字符串、列表、集合、哈希表、有序集合等，并提供了丰富的操作命令和功能。Redis的主要特点包括： 内存存储：Redis将数据存储在内存中，因此…...
【数据结构】七大排序
文章目录 💐1. 插入排序🌼1.1 直接插入排序🌼1.2 希尔排序 💐2. 选择排序🌼2.1 直接选择排序🌼2.2 堆排序 💐3. 交换排序🌼3.1 冒泡排序🌼3.2 快速排序🌼3.2.…...
区块链实验室(24) - FISCO网络重构
若干次实验以后，FISCO网络中100个节点堆积了不少交易记录，消耗不少磁盘空间，见下图所示，100个节点累计消耗了10G空间。 观察每个节点的磁盘消耗，以node88为例，消耗了107MB，见下图所示。在该节点…...
AI智能写作工具有哪些？永久免费的AI智能写作工具你使用过吗？
AI智能写作是指借助人工智能技术，计算机程序可以自动生成各种文本内容，包括新闻报道、广告文案、科技文章、小说等等。这些AI写作工具通过大数据和深度学习模型，能够分析和模仿人类的写作风格，生成高质量的文本，甚至有…...
23.8.15 杭电暑期多校9部分题解
1002 - Shortest path 题目大意 对于一个数 x x x，可以进行以下三种操作： 1.将 x x x 变成 2 ∗ x 2*x 2∗x 2.将 x x x 变成 3 ∗ x 3*x 3∗x 3.将 x x x 变成 x 1 x1 x1 给定一个数 n n n，问最少操作几次才能将 1 1 1 变成…...
四个BY的区别 HIVE中
在Hive中，有四个BY比较：Order By、Sort By、Distribute By和Cluster By。 Order By是全局排序，只有一个Reducer。它可以按照升序（ASC）或降序（DESC）对结果进行排序。Order By子句通常用在SELECT语…...
计时函数与float32 float16 int8 数据转换
个人整理常用 部分来自 ncnn 计时函数 // window 平台 #include <windows.h>double get_current_time() {LARGE_INTEGER freq; // 频率LARGE_INTEGER pc; // 计数QueryPerformanceFrequency(&freq);QueryPerformanceCounter(&pc);return pc.QuadPart * 1000…...
自身免疫疾病诊断原料——博迈伦
自身免疫疾病是一类由免疫系统攻击正常组织和器官而引起的疾病。为了准确地诊断和监测自身免疫疾病，需要使用特定的诊断原料来进行实验室检测。这些诊断原料主要包括抗体试剂、抗原试剂和试剂盒等。 抗体试剂是用于检测和定量分析体内免疫系统产生的抗体的化学试剂。…...
cpu温度监测 Turbo Boost Switcher Pro for mac最新
Turbo Boost Switcher Pro是一款Mac电脑上的应用程序，旨在帮助用户控制和管理CPU的Turbo Boost功能。Turbo Boost是Intel处理器中的一项技术，可以在需要更高性能时自动提高处理器的频率。然而，这可能会导致电池消耗更快和温度升高。 以下是T…...
spring 请求 出现实体类大小写不一致 出现的问题
目录 1.问题背景 2.解决方法 但是会存在返回的既有大写也有小写的问题，需要在get方法也添加对应的注解 3.相关资料 1.问题背景 因数据库某字段存储的为json 格式，且数据库字段要求都有客户指定，因为该功能需要和其他项目进行对接。然后出现…...
zaabix实现对nginx监控
本文使用监控模板net.tcp.listen[port]实现监听端口 实验环境： 首先搭建好zabbix-server ，zabbix-agenthttps://mp.csdn.net/mp_blog/creation/editor/132622769?spm1001.2014.3001.9457 而后在zabbix-agent主机上下载一个nginx 登录zabbix网站创建主…...
Unity3D中Gfx.WaitForPresent优化方案
前言 在Unity中，Gfx.WaitForPresent占用CPU过高通常表示主线程在等待GPU完成渲染（即CPU被阻塞），这表明存在GPU瓶颈或垂直同步/帧率设置问题。以下是系统的优化方案： 对惹，这里有一个游戏开发交流小组&…...
大型活动交通拥堵治理的视觉算法应用
大型活动下智慧交通的视觉分析应用 一、背景与挑战 大型活动（如演唱会、马拉松赛事、高考中考等）期间，城市交通面临瞬时人流车流激增、传统摄像头模糊、交通拥堵识别滞后等问题。以演唱会为例，暖城商圈曾因观众集中离场导致周边…...
定时器任务——若依源码分析
分析util包下面的工具类schedule utils： ScheduleUtils 是若依中用于与 Quartz 框架交互的工具类，封装了定时任务的 创建、更新、暂停、删除等核心逻辑。 createScheduleJob createScheduleJob 用于将任务注册到 Quartz，先构建任务的 JobD…...
Robots.txt 文件
什么是robots.txt？ robots.txt 是一个位于网站根目录下的文本文件（如：https://example.com/robots.txt），它用于指导网络爬虫（如搜索引擎的蜘蛛程序）如何抓取该网站的内容。这个文件遵循 Robots…...
Spring Cloud Gateway 中自定义验证码接口返回 404 的排查与解决
Spring Cloud Gateway 中自定义验证码接口返回 404 的排查与解决 问题背景 在一个基于 Spring Cloud Gateway WebFlux 构建的微服务项目中，新增了一个本地验证码接口 /code，使用函数式路由（RouterFunction）和 Hutool 的 Circle…...
【Elasticsearch】Elasticsearch 在大数据生态圈的地位 实践经验
Elasticsearch 在大数据生态圈的地位 & 实践经验 1.Elasticsearch 的优势1.1 Elasticsearch 解决的核心问题1.1.1 传统方案的短板1.1.2 Elasticsearch 的解决方案 1.2 与大数据组件的对比优势1.3 关键优势技术支撑1.4 Elasticsearch 的竞品1.4.1 全文搜索领域1.4.2 日志分析…...
抽象类和接口（全）
一、抽象类 1.概念：如果⼀个类中没有包含⾜够的信息来描绘⼀个具体的对象，这样的类就是抽象类。 像是没有实际⼯作的⽅法,我们可以把它设计成⼀个抽象⽅法，包含抽象⽅法的类我们称为抽象类。 2.语法 在Java中，⼀个类如果被 abs…...
消息队列系统设计与实践全解析
文章目录 🚀 消息队列系统设计与实践全解析🔍 一、消息队列选型1.1 业务场景匹配矩阵1.2 吞吐量/延迟/可靠性权衡💡 权衡决策框架 1.3 运维复杂度评估🔧 运维成本降低策略 🏗️ 二、典型架构设计2.1 分布式事务最终一致…...
实战设计模式之模板方法模式
概述 模板方法模式定义了一个操作中的算法骨架，并将某些步骤延迟到子类中实现。模板方法使得子类可以在不改变算法结构的前提下，重新定义算法中的某些步骤。简单来说，就是在一个方法中定义了要执行的步骤顺序或算法框架，但允许子类…...
前端开发者常用网站
Can I use网站：一个查询网页技术兼容性的网站 一个查询网页技术兼容性的网站Can I use：Can I use... Support tables for HTML5, CSS3, etc (查询浏览器对HTML5的支持情况) 权威网站：MDN JavaScript权威网站：JavaScript | MDN...