当前位置： 首页 > article >正文

Transformer实战（27）——参数高效微调（Parameter Efficient Fine-Tuning，PEFT）

article 2026/4/24 8:45:33
Transformer实战（27）——参数高效微调（Parameter Efficient Fine-Tuning，PEFT）0. 前言1. 参数高效微调2. 参数高效微调方法分类2.1 加性方法2.2 选择性方法2.3 低秩微调3. 实现参数高效微调小结系列链接0. 前言微调已经成为人工智能领域中一种流行的建模范式，尤其是在迁移学习中。在之前的学习中，所有模型都是基于更新所有参数的方式进行的。因此，可以称为全微调 (Full Fine-Tuning) (也称为全模型微调或全参数微调)。在本节中，我们将介绍部分微调策略。随着大语言模型 (Large Language Model,LLM) 参数的不断增加，微调和推理的成本变得极其高昂。全参数微调需要更新所有参数，并为每个任务单独保存大模型，但这一过程在内存和运行时间方面都非常昂贵。例如BERT有3亿个参数，T5有高达110亿个参数，GPT有1750亿个参数，而Pathways Language Model(PaLM) 则有5400亿个参数，因此，需要考虑参数高效微调。1. 参数高效微调在ChatGPT的时代，我们知道大语言模型 (Large Language Model,LLM) 能够在不需要任何额外更新或微调操作的情况下解决许多问题；那么，我们是否还需要微调操作？答案是肯定的。我们可以使用ChatGPT、DeepSeek等模型来高效地解决情感分

相关文章：

Transformer实战（27）——参数高效微调（Parameter Efficient Fine-Tuning，PEFT）

Transformer实战（27）——参数高效微调（Parameter Efficient Fine-Tuning，PEFT） 0. 前言 1. 参数高效微调 2. 参数高效微调方法分类 2.1 加性方法 2.2 选择性方法 2.3 低秩微调 3. 实现参数高效微调 小结 系列链接 0. 前言 微调已经成为人工智能领域中一种流行的建模范式，…...

编程日记 2026/4/24 8:45:33

2026工程基建与零基础跑通篇：YOLO26自定义数据加载器（DataLoader）重写：突破IO瓶颈的生产级方案

写在前面：当GPU不再是最慢的一环 做深度学习的人都知道一句老话：“GPU太慢了，等新卡。”但当你在2026年真正投身生产级YOLO项目时，你会发现一个令人崩溃的事实——GPU根本不是瓶颈，硬盘和Python才是。 记不记得那个场景：你花了大价钱组了一台8卡A100服务器，打开nvidia…...

编程日记 2026/4/24 8:43:33

2026工程基建与零基础跑通篇：2026最新趋势：YOLO26结合SAM大模型进行半自动数据标注实战

写在前面：为什么你该关注这个组合？ 2026年的计算机视觉领域正在经历一场静默革命。如果你还在一张一张手动标注图片，或者还在用YOLOv8＋LabelImg的老套路，那你正在被时代甩开。 这一年，两个重磅消息几乎同时落地：Ultralytics在2026年1月14日正式发布YOLO26，而Meta Sup…...

编程日记 2026/4/24 8:43:32

哔哩下载姬：B站视频批量下载与媒体处理的高效解决方案

哔哩下载姬：B站视频批量下载与媒体处理的高效解决方案 【免费下载链接】downkyi 哔哩下载姬downkyi，哔哩哔哩网站视频下载工具，支持批量下载，支持8K、HDR、杜比视界，提供工具箱（音视频提取、去水印等&#…...

编程日记 2026/4/24 8:43:31

LS_COLORS测试与调试完全教程：确保颜色配置正确无误

LS_COLORS测试与调试完全教程：确保颜色配置正确无误 【免费下载链接】LS_COLORS A collection of LS_COLORS definitions; needs your contribution! 项目地址: https://gitcode.com/gh_mirrors/ls/LS_COLORS LS_COLORS是一个强大的文件颜色配置工具&#xf…...

编程日记 2026/4/24 8:43:23

OBS多路RTMP推流插件终极指南：一键实现多平台直播全覆盖

OBS多路RTMP推流插件终极指南：一键实现多平台直播全覆盖 【免费下载链接】obs-multi-rtmp OBS複数サイト同時配信プラグイン 项目地址: https://gitcode.com/gh_mirrors/ob/obs-multi-rtmp 想要将你的直播内容同时推送到YouTube、Twitch、Bilibili等多个平台…...

编程日记 2026/4/24 8:43:14

cc-sdd安全与性能优化：企业级应用的关键考量因素

cc-sdd安全与性能优化：企业级应用的关键考量因素 【免费下载链接】cc-sdd Turn approved specs into long-running autonomous implementation. A minimal, adaptable SDD harness with Agent Skills for Claude Code, Codex, Cursor, Copilot, Windsurf, OpenCode,…...

编程日记 2026/4/24 8:41:14

Shoulda Matchers深度解析：10个实用匹配器让你的测试代码更清晰

Shoulda Matchers深度解析：10个实用匹配器让你的测试代码更清晰 【免费下载链接】shoulda Makes tests easy on the fingers and the eyes 项目地址: https://gitcode.com/gh_mirrors/sh/shoulda Shoulda Matchers是一个强大的测试工具库，能帮助开…...

编程日记 2026/4/24 8:41:14

SqueezeNet社区生态全景：从Caffe到TensorFlow、PyTorch的完整移植指南

SqueezeNet社区生态全景：从Caffe到TensorFlow、PyTorch的完整移植指南 【免费下载链接】SqueezeNet SqueezeNet: AlexNet-level accuracy with 50x fewer parameters 项目地址: https://gitcode.com/gh_mirrors/sq/SqueezeNet SqueezeNet是一个革命性的深度学…...

编程日记 2026/4/24 8:41:14

SqueezeNet在边缘设备上的部署实战：小于0.5MB的AI模型应用

SqueezeNet在边缘设备上的部署实战：小于0.5MB的AI模型应用 【免费下载链接】SqueezeNet SqueezeNet: AlexNet-level accuracy with 50x fewer parameters 项目地址: https://gitcode.com/gh_mirrors/sq/SqueezeNet SqueezeNet是一款革命性的深度学习模型&…...

编程日记 2026/4/24 8:41:13

vedo性能优化指南：处理大规模3D数据的终极技巧

vedo性能优化指南：处理大规模3D数据的终极技巧 【免费下载链接】vedo A python module for scientific analysis of 3D data based on VTK and Numpy 项目地址: https://gitcode.com/gh_mirrors/ve/vedo vedo是一个基于VTK和Numpy的Python模块，专…...

编程日记 2026/4/24 8:41:12

5分钟掌握哔哩下载姬：免费下载B站视频的终极指南

5分钟掌握哔哩下载姬：免费下载B站视频的终极指南 【免费下载链接】downkyi 哔哩下载姬downkyi，哔哩哔哩网站视频下载工具，支持批量下载，支持8K、HDR、杜比视界，提供工具箱（音视频提取、去水印等&#xff09…...

编程日记 2026/4/24 8:39:12

达梦数据库FLASHBACK闪回功能全解析

目录 达梦数据库FLASHBACK闪回功能全解析 一、闪回功能基础：开启与配置 1. 开启闪回功能 2. 配置UNDO_RETENTION 二、闪回查询：查看历史数据 核心语法 注意事项 三、闪回备份：将历史数据保存到临时表 四、表级闪回恢复：回到指定状态 1. 按时间戳恢复 2. 按SCN恢复 五、回收…...

编程日记 2026/4/24 8:39:12

大模型编程实战：从工具类开发到氛围编程，小白也能轻松掌握（收藏版）

本文分享了个人使用AI编程的真实体验，涵盖编写工具类、写单元测试等实用场景。结合“氛围编程”在仿真平台上的实践，提炼出核心流程。同时，针对AI编码中存在的幻觉问题、边界条件处理不足等挑战进行分析，并提出AI时代开发者应如何…...

编程日记 2026/4/24 8:39:12

【Web安全】小白也能懂的并发漏洞：原理、场景与防御

文章目录前言一、漏洞本质二、攻击原理正常的并发处理流程漏洞触发流程三、漏洞场景1.提交问卷：一次操作变多次福利2.刷票：一个行为被反复计数四、并发突破：绕过业务限制1.绕过“数量限制”：免费享受付费权益2.短信轰炸&#xff1…...

编程日记 2026/4/24 8:39:12

Office自定义界面编辑器终极指南：打造个性化办公环境的免费工具

Office自定义界面编辑器终极指南：打造个性化办公环境的免费工具 【免费下载链接】office-custom-ui-editor Standalone tool to edit custom UI part of Office open document file format 项目地址: https://gitcode.com/gh_mirrors/of/office-custom-ui-editor …...

编程日记 2026/4/24 8:39:08

Rockchip RK1808K嵌入式AI模块开发与应用解析

1. Toybrick TB-RK1808M0模块深度解析这款搭载Rockchip RK1808K SoC的mini PCIe模块，终于填补了AI加速器在主流工业接口形态上的空白。作为嵌入式AI领域的从业者，我特别关注这种将完整计算系统与NPU加速集成在标准接口模块上的设计思路。不同于市面上单纯…...

编程日记 2026/4/24 8:37:06

第3集：SSH 远程批量巡检 + 面试必问的 Paramiko 原理

第3集：SSH 远程批量巡检 + 面试必问的 Paramiko 原理 本集解锁内容：手写 Paramiko 连接池、批量并发巡检、面试必问的 SSH 底层原理和安全加固。学完本集，你能在面试中讲清楚：为什么不用 shell 脚本而用 Paramiko？连接池怎么设计？100 台服务器并发巡检怎么做？ 😫 用户…...

编程日记 2026/4/24 8:37:06

第2集：智能巡检算法揭秘！动态基线、3-Sigma、Isolation Forest 实战 + 面试标准答案

第2集：智能巡检算法揭秘！动态基线、3-Sigma、Isolation Forest 实战 + 面试标准答案 本集解锁内容：手写三种异常检测算法，集成到巡检 Agent 中，并附 10 道高频面试题标准答案。学完本集，你能在白板上写出完整的异常检测函数，并讲清楚每种算法的优缺点。 😫 用户痛点引…...

编程日记 2026/4/24 8:37:05

10个脑洞大开的趣味前端面试题：测试你的编程思维边界

10个脑洞大开的趣味前端面试题：测试你的编程思维边界 【免费下载链接】Front-end-Developer-Interview-Questions A list of helpful front-end related questions you can use to interview potential candidates, test yourself or completely ignore. 项目地址…...

编程日记 2026/4/24 8:37:05

Zotero-Style插件标签显示问题终极解决方案：快速恢复文献管理效率

Zotero-Style插件标签显示问题终极解决方案：快速恢复文献管理效率 【免费下载链接】zotero-style Ethereal Style for Zotero 项目地址: https://gitcode.com/GitHub_Trending/zo/zotero-style 作为一名学术研究者，您是否在使用Zotero-Style插件时…...

编程日记 2026/4/24 8:37:02

Windows终极PDF处理方案：Poppler零依赖快速入门指南

Windows终极PDF处理方案：Poppler零依赖快速入门指南 【免费下载链接】poppler-windows Download Poppler binaries packaged for Windows with dependencies 项目地址: https://gitcode.com/gh_mirrors/po/poppler-windows 还在为Windows上的PDF处理工具选择…...

编程日记 2026/4/24 8:35:02

终极指南：如何在3分钟内掌握Zotero插件市场，一键安装所有学术工具

终极指南：如何在3分钟内掌握Zotero插件市场，一键安装所有学术工具 【免费下载链接】zotero-addons Zotero Add-on Market | Zotero插件市场 | Browsing, installing, and reviewing plugins within Zotero 项目地址: https://gitcode.com/gh_mirrors/z…...

编程日记 2026/4/24 8:35:02

3个步骤彻底解决Zotero-Style插件标签显示问题：从异常到完美显示

3个步骤彻底解决Zotero-Style插件标签显示问题：从异常到完美显示 【免费下载链接】zotero-style Ethereal Style for Zotero 项目地址: https://gitcode.com/GitHub_Trending/zo/zotero-style 当您升级到Zotero 7版本后，是否发现文献标题前的彩色…...

编程日记 2026/4/24 8:35:02

微信网页版访问技术范式：wechat-need-web的逆向工程实现机制

微信网页版访问技术范式：wechat-need-web的逆向工程实现机制 【免费下载链接】wechat-need-web 让微信网页版可用 / Allow the use of WeChat via webpage access 项目地址: https://gitcode.com/gh_mirrors/we/wechat-need-web 在浏览器生态中实现微信网页版…...

编程日记 2026/4/24 8:35:01

3步掌握RePKG：Wallpaper Engine资源处理完整指南

3步掌握RePKG：Wallpaper Engine资源处理完整指南 【免费下载链接】repkg Wallpaper engine PKG extractor/TEX to image converter 项目地址: https://gitcode.com/gh_mirrors/re/repkg 你是否曾经想要修改Wallpaper Engine壁纸中的某个元素，却因…...

编程日记 2026/4/24 8:34:54

LM文生图WebUI源码浅析：Gradio封装逻辑与参数映射关系

LM文生图WebUI源码浅析：Gradio封装逻辑与参数映射关系 1. 平台架构概述 LM文生图镜像基于Tongyi-MAI/Z-Image底座构建，采用Gradio框架封装Web界面，实现了从文本描述到高质量图像生成的完整流程。该系统特别适合角色设计、时尚人像等场景&am…...

编程日记 2026/4/24 8:32:54

Steam ROM Manager 模糊匹配算法解析：智能识别游戏名称和资源

Steam ROM Manager 模糊匹配算法解析：智能识别游戏名称和资源 【免费下载链接】steam-rom-manager The bulk game importer and artwork manager for Steam! 项目地址: https://gitcode.com/gh_mirrors/st/steam-rom-manager Steam ROM Manager 作为一款强大…...

编程日记 2026/4/24 8:32:54

BD AbSeq——蛋白质与mRNA表达同步检测

蛋白质作为细胞功能的核心执行者，广泛参与细胞代谢、结构维持、信号转导等关键生命活动，其表达水平与修饰状态的精准检测，是深入解析细胞生理状态、阐明细胞功能机制的核心前提，对单细胞生物学研究具有重要的科学意义。在单细胞分…...

编程日记 2026/4/24 8:32:54

嵌入式设备中的高效枚举映射

在嵌入式系统开发中，性能优化是一个持续的话题。对于那些需要高效访问特定数据的场景，使用传统的std::map或std::unordered_map可能不是最佳选择，因为它们在性能受限的环境中可能会引入不必要的开销。本文将介绍如何利用C++的std::array和枚举类型创建一个高效的静态映射，并…...

编程日记 2026/4/24 8:32:54