当前位置： 首页 > news >正文

大模型微调（finetune）方法

news 2026/5/13 18:52:44

lora
adapter
prefix-tuning
p-tuning
prompt-tuning

大模型微调后灾难行遗忘

1、主流解决大模型微调后灾难行遗忘的方法是在微调过程中加入通用的指令数据。
2、自我蒸馏方法主要是通过模型本身对任务数据进行生成引导，构建自我蒸馏数据集，改变任务数据的信息分布，减少与原始模型信息分布的差距。

  • 大模型LLM-微调经验分享&总结

  • 工业知识图谱关系抽取-高端装备制造知识图谱自动化构建

  • 自我蒸馏方法-减轻大模型微调过程中的灾难性遗忘

  • 【大模型开发 】 一文搞懂Fine-tuning（大模型微调）

  • 大模型微调（finetune）方法总结-LoRA,Adapter,Prefix-tuning，P-tuning，Prompt-tuning

相关文章：

大模型微调（finetune）方法

lora adapter prefix-tuning p-tuning prompt-tuning 大模型微调后灾难行遗忘 1、主流解决大模型微调后灾难行遗忘的方法是在微调过程中加入通用的指令数据。 2、自我蒸馏方法主要是通过模型本身对任务数据进行生成引导，构建自我蒸馏数据集，改变任务数…...

编程日记 2024/6/28 8:33:18

Bootstrap 5 卡片

Bootstrap 5 卡片 Bootstrap 5 是一个流行的前端框架，它提供了一套丰富的组件和工具，用于快速开发响应式和移动设备优先的网页。在 Bootstrap 5 中，卡片（Card）是一个非常重要的组件，用于展示内容，如文本、图片、列表等。卡片组件具有高度的灵活性和可定制性，可以轻松地…...

编程日记 2024/6/28 8:32:17

【ONLYOFFICE 8.1】的安装与使用——功能全面的 PDF 编辑器、幻灯片版式、优化电子表格的协作

🔥 个人主页：空白诗 文章目录 一、引言二、ONLYOFFICE 简介三、安装1. Windows/Mac 安装2. 文档开发者版安装安装前准备使用 Docker 安装使用 Linux 发行版安装配置 ONLYOFFICE 文档开发者版集成和开发 四、使用1. 功能全面的 PDF 编辑器PDF 查看和导航P…...

编程日记 2024/6/28 8:28:13

「51媒体」浙江地区媒体邀约

传媒如春雨，润物细无声，大家好，我是51媒体网胡老师。 媒体宣传加速季，100万补贴享不停，一手媒体资源，全国100城线下落地执行。详情请联系胡老师。 浙江地区的媒体邀约资源丰富多样，涵盖了电视台…...

编程日记 2024/6/28 8:26:11

2-18 基于matlab的关于联合对角化盲源分离算法的二阶盲识别（SOBI）算法

基于matlab的关于联合对角化盲源分离算法的二阶盲识别（SOBI）算法。通过联合对角化逼近解混矩阵。构建的四组信号，并通过认为设置添加噪声比例，掩盖信号信息。通过SOBI算法实现了解混。程序已调通，可直接运行。 2-18联合…...

编程日记 2024/6/28 8:23:07

C++中常用的标志库

标准库 C标准库是一个强大的工具集&#xff0c;它包含了一组丰富的类和函数&#xff0c;可以帮助开发者进行各种操作&#xff0c;如输入输出、字符串操作、数据结构管理、算法实现等。以下是一些常用的C标准库及其使用方法。 1. 输入输出库 <iostream> 用于标准输入输…...

编程日记 2024/6/28 8:20:04

近期计算机领域的热点技术

随着科技的飞速发展&#xff0c;计算机领域的新技术、新趋势层出不穷。本文将探讨近期计算机领域的几个热点技术趋势&#xff0c;并对它们进行简要的分析和展望。 一、人工智能与机器学习 人工智能&#xff08;AI&#xff09;和机器学习&#xff08;ML&#xff09;是近年来计算…...

编程日记 2024/6/28 8:17:01

HarmonyOS Next 系列之可移动悬浮按钮实现（六）

系列文章目录 HarmonyOS Next 系列之省市区弹窗选择器实现&#xff08;一&#xff09; HarmonyOS Next 系列之验证码输入组件实现&#xff08;二&#xff09; HarmonyOS Next 系列之底部标签栏TabBar实现&#xff08;三&#xff09; HarmonyOS Next 系列之HTTP请求封装和Token…...

编程日记 2024/6/28 8:14:59

如何获得更高质量的回答-chatgpt

在与技术助手如ChatGPT进行交互时&#xff0c;提问的方式直接影响到你获得的答案质量。以下是几个关键的提问技巧&#xff0c;可以帮助你在与ChatGPT的互动中获得更有效的回答&#xff1a; 1. 清晰明了的问题 技巧&#xff1a;确保问题清晰明了&#xff0c;避免含糊不清或模糊的…...

编程日记 2024/6/28 8:13:56

ASP.NET Core 6.0 使用 Log4Net 和 Nlog日志中间件

前言 两年前，浅浅的学过 .NET 6，为啥要记录下来，大概是为了以后搭架子留下引线，还有抛砖引玉。 1. 环境准备 下载 建议使用 Visual Studio 2022 开发版 官网的下载地址：Visual Studio 2022 IDE - 适用于软件开发人员的编程工具借助 Visual Studio 设计，具有自动完成…...

编程日记 2024/6/28 8:12:55

使用Spring Boot实现与ActiveMQ的消息队列集成

使用Spring Boot实现与ActiveMQ的消息队列集成 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01; 消息队列在现代分布式系统中扮演着至关重要的角色&#xff0c;…...

编程日记 2024/6/28 8:11:54

深度学习 - Transformer 组成详解

整体结构 1. 嵌入层&#xff08;Embedding Layer&#xff09; 生活中的例子&#xff1a;字典查找 想象你在读一本书&#xff0c;你不认识某个单词&#xff0c;于是你查阅字典。字典为每个单词提供了一个解释&#xff0c;帮助你理解这个单词的意思。嵌入层就像这个字典&#xf…...

编程日记 2024/6/28 8:09:52

ONLYOFFICE 8.1编辑器桌面应用程序来袭——在线全面测评

目录 ✈下载✈ &#x1f440;界面&#x1f440; &#x1f44a;功能&#x1f44a; &#x1f9e0;幻灯片版式的重大改进&#x1f9e0; ✂无缝切换文档编辑、审阅和查看模式✂ &#x1f3b5;在演示文稿中播放视频和音频文件&#x1f3b5; &#x1f917;版本 8.1&#xff1a…...

编程日记 2024/6/28 8:08:50

《Windows API每日一练》6.4 程序测试

前面我们讨论了鼠标的一些基础知识&#xff0c;本节我们将通过一些实例来讲解鼠标消息的不同处理方式。 本节必须掌握的知识点&#xff1a; 第36练&#xff1a;鼠标击中测试1 第37练&#xff1a;鼠标击中测试2—增加键盘接口 第38练&#xff1a;鼠标击中测试3—子窗口 第39练&…...

编程日记 2024/6/28 8:07:49

[C#]基于opencvsharp实现15关键点人体姿态估计

数据集 正确选择数据集以对结果产生适当影响也是非常必要的。在此姿势检测中&#xff0c;模型在两个不同的数据集即COCO关键点数据集和MPII人类姿势数据集上进行了预训练。 1. COCO&#xff1a;COCO关键点数据集是一个多人2D姿势估计数据集&#xff0c;其中包含从Flickr收集的…...

编程日记 2024/6/28 8:05:47

lambda-map.merge

map.merge 结论: 1.当前传入的 key ,value biFunction 2.如果之前map不存在则直接put(当前key,当前value) 3.如果之前map已经有了,老value与 当前value 进入function处理后再 put(当前key,处理后的value)...

编程日记 2024/6/28 8:04:45

pppd 返回错误码 含义

错误码 00&#xff1a; pppd已经断开&#xff0c;或者已经成功建立连接后请求方又中 断了。 01&#xff1a; 发成了一个严重错误&#xff0c;例如系统调用失败或者访问非法内存。 02&#xff1a; 处理给定操作是检测到错误&#xff0c;例如使用两个互斥的操作。 03&#xff1a;…...

编程日记 2024/6/28 8:03:44

XML 技术

XML 技术 XML（可扩展标记语言）是一种用于存储和传输数据的标记语言。它由万维网联盟（W3C）开发，并在1998年成为正式标准。XML的设计目标是既易于人类阅读，也易于机器解析。它是一种自描述的语言，允许用户定义自己的标签和文档结构。XML被广泛应用于各种领域，包括网络服…...

编程日记 2024/6/28 8:02:43

基于RabbitMQ的异步消息传递：发送与消费

引言 RabbitMQ是一个流行的开源消息代理&#xff0c;用于在分布式系统中实现异步消息传递。它基于Erlang语言编写&#xff0c;具有高可用性和可伸缩性。在本文中&#xff0c;我们将探讨如何在Python中使用RabbitMQ进行消息发送和消费。 安装RabbitMQ 在 Ubuntu 上安装 Rabbi…...

编程日记 2024/6/28 8:01:42

Golang | Leetcode Golang题解之第201题数字范围按位与

题目&#xff1a; 题解&#xff1a; func rangeBitwiseAnd(m int, n int) int {for m < n {n & (n - 1)}return n }...

编程日记 2024/6/28 8:00:40

带拉杆雨篷的拉杆和耳板的设置原则

带拉杆雨篷的拉杆和耳板的设置原则 同纯悬挑雨篷一样，带拉杆雨篷也常常被设计为静定体系，传力路径中某一环节发生问题，即可导致整体结构体系的破坏，结构容错能力较差。无法形成超静定结构体系所有的多道设防机制，对于设计或者施工缺陷过于敏感，这是带拉杆雨篷事故发生的…...

编程新知 2026/5/13 18:23:19

观察Taotoken在多模型并发调用时的延迟表现与稳定性

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 观察Taotoken在多模型并发调用时的延迟表现与稳定性 在构建复杂的AI应用时&#xff0c;开发者常常需要同时或交替调用多个不同的大…...

编程新知 2026/5/13 17:59:38

基于Apify与NLP的大麻监管情报系统架构与MCP集成实践

1. 项目概述&#xff1a;当AI遇见大麻监管情报如果你在合规、法律科技或者生命科学领域工作&#xff0c;最近可能听过“监管情报”这个词。简单说&#xff0c;它就是利用技术手段&#xff0c;从海量的、不断变化的法规文件中&#xff0c;自动提取、分析和监控关键信息&#xff…...

编程新知 2026/5/13 16:38:39

调幅无线传数据：避开这些坑，你的7kHz方波才能传得更远更稳

调幅无线传数据&#xff1a;避开这些坑&#xff0c;你的7kHz方波才能传得更远更稳 在业余无线电和嵌入式通信领域&#xff0c;调幅&#xff08;AM&#xff09;无线传输一直是低成本解决方案的热门选择。但许多工程师在尝试用7kHz方波调制高频载波时&#xff0c;总会遇到信号失真…...

编程新知 2026/5/13 15:50:31

3种高效方案：让Windows直接运行Android应用的全新体验手册

3种高效方案&#xff1a;让Windows直接运行Android应用的全新体验手册 【免费下载链接】APK-Installer An Android Application Installer for Windows 项目地址: https://gitcode.com/GitHub_Trending/ap/APK-Installer 想象一下这样的场景&#xff1a;您需要在电脑上快…...

编程新知 2026/5/13 15:20:30

别再让数码管显示拖垮你的51单片机！频率计项目中CPU时间分配的优化实战

51单片机频率计项目中的CPU时间优化艺术&#xff1a;从阻塞式刷新到状态机重构 当你在深夜调试51单片机频率计项目时&#xff0c;是否经历过这样的绝望时刻——测量数据明明准确&#xff0c;但数码管显示却闪烁不定&#xff1b;或者当输入信号频率升高时&#xff0c;整个系统突…...

编程新知 2026/5/13 14:51:15

FPGA硬件在环验证：GateRocket方案加速系统级调试

1. 项目概述&#xff1a;为什么FPGA验证需要“硬件在环”&#xff1f;在FPGA设计领域&#xff0c;尤其是当项目规模膨胀到数百万甚至上千万门级时&#xff0c;纯软件仿真&#xff08;Simulation&#xff09;会变成一个令人头疼的瓶颈。想象一下&#xff0c;你写了一段新的RTL代…...

编程新知 2026/5/13 13:07:19

CodeMaker终极指南：如何5分钟掌握IntelliJ IDEA智能代码生成插件

CodeMaker终极指南&#xff1a;如何5分钟掌握IntelliJ IDEA智能代码生成插件 【免费下载链接】CodeMaker A idea-plugin for Java/Scala, support custom code template. 项目地址: https://gitcode.com/gh_mirrors/co/CodeMaker 还在为重复的Java和Scala编码工作而烦恼…...

编程新知 2026/5/13 11:32:06

深度解析RSA加密机制：3种Beyond Compare 5授权验证方案实战指南

深度解析RSA加密机制&#xff1a;3种Beyond Compare 5授权验证方案实战指南 【免费下载链接】BCompare_Keygen Keygen for BCompare 5 项目地址: https://gitcode.com/gh_mirrors/bc/BCompare_Keygen Beyond Compare 5作为专业文件对比工具的佼佼者&#xff0c;其授权验…...

编程新知 2026/5/13 10:32:19

中小团队如何利用Taotoken统一管理多个项目的AI调用成本

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 中小团队如何利用Taotoken统一管理多个项目的AI调用成本 对于同时推进多个AI应用开发项目的中小型技术团队而言&#xff0c;管理分…...

编程新知 2026/5/13 9:02:18