联邦学习的 AI 大模型微调中，加性、选择性、重参数化和混合微调
联邦学习的 AI 大模型微调中，加性、选择性、重参数化和混合微调
在联邦学习的 AI 大模型微调中，加性、选择性、重参数化和混合微调是不同的操作方式，具体如下：
- 加性微调
- 定义与原理：加性微调是在原始模型的基础上添加额外的可训练参数来进行模型调整。这种方式不会改变原始模型的主体结构，而是通过引入新的参数来捕捉特定任务或数据的特征，从而提高模型在特定场景下的性能。
- 举例：在 Transformer 块的自注意力层和前馈神经网络层后插入可训练适配器（Adapter）就是一种加性微调方法。例如在自然语言处理任务中，对于一个预训练的语言模型，当需要针对特定领域（如医学文献处理）进行微调时，在模型的关键层添加 Adapter。这些 Adapter 可以学习到医学领域特有的语义和语法模式，而不会影响原始模型在其他通用领域的知识和能力。通过在大量医学文本数据上对这些 Adapter 进行训练，模型能够更好地适应医学领域的语言处理任务，如医学文献的分类、信息提取等。
- 选择性微调
- 定义与原理：选择性微调利用特定的算法或准则，从原始模
相关文章：
联邦学习的 AI 大模型微调中，加性、选择性、重参数化和混合微调
联邦学习的 AI 大模型微调中，加性、选择性、重参数化和混合微调 在联邦学习的 AI 大模型微调中，加性、选择性、重参数化和混合微调是不同的操作方式，具体如下： 加性微调 定义与原理：加性微调是在原始模型的基础上添加额外的可训练参数来进行模型调整。这种方式不会改变原…...
android 外挂modem模块实现Telephony相关功能(上网，发短信，打电话)
一.背景 当前模块不支持Telephony相关的功能，例如上网、发短信等功能，就需要外挂另一个模块实现此功能，这就是外挂modem模块实现Telephony功能，此篇主要就是说实现外挂modem模块功能中的Framework层实现逻辑，如下流程是在Android 13中实现的外挂pcie模块的流程 二.ril库相…...
【计算机视觉技术 - 人脸生成】2.GAN网络的构建和训练
GAN 是一种常用的优秀的图像生成模型。我们使用了支持条件生成的 cGAN。下面介绍简单 cGAN 模型的构建以及训练过程。 2.1 在 model 文件夹中新建 nets.py 文件 import torch import torch.nn as nn# 生成器类 class Generator(nn.Module):def __init__(self, nz100, nc3, n…...
数据中台与数据治理服务方案[50页PPT]
本文概述了数据中台与数据治理服务方案的核心要点。数据中台作为政务服务数据化的核心，通过整合各部门业务系统数据，进行建模与加工，以新数据驱动政府管理效率提升与政务服务能力增强。数据治理则聚焦于解决整体架构问题，确保数据…...
【Qt】将控件均匀分布到圆环上
1. 关键代码 for(int i0; i<10; i){/*m_panLabelIcon - 大圆环控件m_slotsIcon[i] - 小圆控件*/QString idxStr QString::number(i1);m_slotsIcon[i] new QLabel(m_panLabelIcon);m_slotsIcon[i]->setFont(ftSlot);m_slotsIcon[i]->setText(idxStr);m_slotsIcon[i]-…...
第四、五章补充：线代本质合集（B站：小崔说数）
视频1：线性空间 原视频：【线性代数的本质】向量空间、基向量的几何解释_哔哩哔哩_bilibili 很多同学在学习线性代数的时候，会遇到一个困扰，就是不知道什么是线性空间。...
2025年贵州省职业院校技能大赛信息安全管理与评估赛项规程
贵州省职业院校技能大赛赛项规程 赛项名称： 信息安全管理与评估 英文名称： Information Security Management and Evaluation 赛项组别： 高职组 赛项编号： GZ032 1 2 一、赛项信息 赛项类别 囚每年赛 □隔年赛（□单数年…...
松鼠状态机流转-@Transit
疑问 状态from to合法性校验，都是在代码中手动进行的吗，不是状态机自动进行的？ 注解中from状态，代表当前状态 和谁校验：上下文中初始状态 怎么根据注解找到执行方法的 分析代码，创建运单，怎…...
微信小程序调用 WebAssembly 烹饪指南
我们都是在夜里崩溃过的俗人，所幸终会天亮。明天就是新的开始，我们会变得与昨天不同。 一、Rust 导出 wasm 参考 wasm-bindgen 官方指南 https://wasm.rust-lang.net.cn/wasm-bindgen/introduction.html wasm-bindgen，这是一个 Rust 库和 CLI…...
)
# LeetCode Problem 2038: 如果相邻两个颜色均相同则删除当前颜色 (Winner of the Game)
LeetCode Problem 2038: 如果相邻两个颜色均相同则删除当前颜色 (Winner of the Game) 在本篇博客中，我们将深入探讨 LeetCode 第2038题——如果相邻两个颜色均相同则删除当前颜色。该问题涉及字符串处理与游戏策略，旨在考察如何在给定规则下判断游戏的…...
Redis面试相关
Redis开篇 使用场景 缓存 缓存穿透 解决方法一： 方法二： 通过多次hash来获取对应的值。 小结 缓存击穿 缓存雪崩 打油诗 双写一致性 两种不同的要求 强一致 读锁代码 写锁代码 强一致，性能低。 延迟一致 方案一：消息队列 方…...
4.CSS文本属性
4.1文本颜色 div { color:red; } 属性值预定义的颜色值red、green、blue、pink十六进制#FF0000,#FF6600,#29D794RGB代码rgb(255,0,0)或rgb(100%,0%,0%) 4.2对齐文本 text-align 属性用于设置元素内文本内容的水平对齐方式。 div{ text-align:center; } 属性值解释left左对齐ri…...
Mongo高可用架构解决方案
Mongo主从复制哪些事（仅适用特定场景） 对数据强一致性要求不高的场景，一般微服务架构中不推荐 master节点可读可写操作，当数据有修改时，会将Oplog（操作日志）同步到所有的slave节点上。那么对于从节点来说仅只读，所有slave节点从master节点同步数据，然而从节点之间互相…...
Rabbitmq 业务异常与未手动确认场景及解决方案
消费端消费异常，业务异常 与 未手动确认是不是一个场景，因为执行完业务逻辑，再确认。解决方案就一个，就是重试一定次数，然后加入死信队列。还有就是消费重新放入队列，然后重新投递给其他消费者，…...
linux,centos7.6安装禅道
1.cd /opt 2.wget https://www.zentao.net/dl/zentao/18.5/ZenTaoPMS.18.5.zbox_64.tar.gz 3.tar xvzf ZenTaoPMS.18.5.zbox_64.tar.gz 4./opt/zbox/zbox --aport 4005 --mport 3307 start 安全组开启一下两个端口 –aport 4005：设置Apache启动端口为4005 –mport 3…...
java基础之代理
代理模式（Proxy Pattern） 简介 是一种结构型设计模式，主要用于为某对象提供一个代理对象，以控制对该对象的访问。通过引入一个代理对象来控制对原对象的访问。代理对象在客户端和目标对象之间充当中介，负责将客户端的…...
计算机网络——期末复习（6）期末考试样例2（含答案）
一、单项选择题(每题1分，共10小题，共计10分) 1.因特网多播采用的管理协议是( )协议。 A.UDP B.BGP C.IGMP D.TCP 2.采用CIDR时，某计算机的IP地址是202.35.79.88/19，该计算机所处子网的地址是( )。 A.202.35.0.…...
JavaScript 获取DOM对象
html的标签被js获取到之后就变成了js对象，对象里面包含了标签的属性和方法 。同一时间获取多个对象则会翻译一个数组，数组元素是对象 获取方法 1. const a document.getElementById("id")，根据标签的id来获取。因为id是唯一的、…...
一文讲明白朴素贝叶斯算法及其计算公式（入门普及）
1、贝叶斯算法 贝叶斯定理由英国数学家托马斯贝叶斯 ( Thomas Bayes) 提出的，用来描述两个条件概率之间的关系。通常，事件A在事件B 发生的条件下与事件 B 在事件 A 发生的条件下，它们两者的概率并不相同，但是它们两者之间存在一定…...
实际开发中,常见pdf|word|excel等文件的预览和下载
实际开发中,常见pdf|word|excel等文件的预览和下载 背景相关类型数据之间的转换1、File转Blob2、File转ArrayBuffer3、Blob转ArrayBuffer4、Blob转File5、ArrayBuffer转Blob6、ArrayBuffer转File 根据Blob/File类型生成可预览的Base64地址基于Blob类型的各种文件的下载各种类型…...
突破不可导策略的训练难题：零阶优化与强化学习的深度嵌合
强化学习（Reinforcement Learning, RL）是工业领域智能控制的重要方法。它的基本原理是将最优控制问题建模为马尔可夫决策过程，然后使用强化学习的Actor-Critic机制（中文译作“知行互动”机制），逐步迭代求解…...
从零开始打造 OpenSTLinux 6.6 Yocto 系统（基于STM32CubeMX）（九）
设备树移植 和uboot设备树修改的内容同步到kernel将设备树stm32mp157d-stm32mp157daa1-mx.dts复制到内核源码目录下 源码修改及编译 修改arch/arm/boot/dts/st/Makefile，新增设备树编译 stm32mp157f-ev1-m4-examples.dtb \stm32mp157d-stm32mp157daa1-mx.dtb修改…...
IoT/HCIP实验-3/LiteOS操作系统内核实验(任务、内存、信号量、CMSIS..)
文章目录 概述HelloWorld 工程C/C配置编译器主配置Makefile脚本烧录器主配置运行结果程序调用栈 任务管理实验实验结果osal 系统适配层osal_task_create 其他实验实验源码内存管理实验互斥锁实验信号量实验 CMISIS接口实验还是得JlINKCMSIS 简介LiteOS->CMSIS任务间消息交互…...
网络编程（UDP编程）
思维导图 UDP基础编程（单播） 1.流程图 服务器：短信的接收方 创建套接字 (socket)-----------------------------------------》有手机指定网络信息-----------------------------------------------》有号码绑定套接字 (bind)--------------…...
佰力博科技与您探讨热释电测量的几种方法
热释电的测量主要涉及热释电系数的测定，这是表征热释电材料性能的重要参数。热释电系数的测量方法主要包括静态法、动态法和积分电荷法。其中，积分电荷法最为常用，其原理是通过测量在电容器上积累的热释电电荷，从而确定热释电系数…...
基于Java Swing的电子通讯录设计与实现：附系统托盘功能代码详解
JAVASQL电子通讯录带系统托盘 一、系统概述 本电子通讯录系统采用Java Swing开发桌面应用，结合SQLite数据库实现联系人管理功能，并集成系统托盘功能提升用户体验。系统支持联系人的增删改查、分组管理、搜索过滤等功能，同时可以最小化到系统…...
Go 并发编程基础：通道（Channel）的使用
在 Go 中，Channel 是 Goroutine 之间通信的核心机制。它提供了一个线程安全的通信方式，用于在多个 Goroutine 之间传递数据，从而实现高效的并发编程。 本章将介绍 Channel 的基本概念、用法、缓冲、关闭机制以及 select 的使用。 一、Channel…...
基于IDIG-GAN的小样本电机轴承故障诊断
目录 🔍 核心问题 一、IDIG-GAN模型原理 1. 整体架构 2. 核心创新点 (1) 梯度归一化（Gradient Normalization） (2) 判别器梯度间隙正则化（Discriminator Gradient Gap Regularization） (3) 自注意力机制（Self-Attention） 3. 完整损失函数 二…...
C# 表达式和运算符(求值顺序)
求值顺序 表达式可以由许多嵌套的子表达式构成。子表达式的求值顺序可以使表达式的最终值发生 变化。 例如，已知表达式3*52，依照子表达式的求值顺序，有两种可能的结果，如图9-3所示。 如果乘法先执行，结果是17。如果5…...
pikachu靶场通关笔记19 SQL注入02-字符型注入(GET)
目录 一、SQL注入 二、字符型SQL注入 三、字符型注入与数字型注入 四、源码分析 五、渗透实战 1、渗透准备 2、SQL注入探测 （1）输入单引号 （2）万能注入语句 3、获取回显列orderby 4、获取数据库名database 5、获取表名…...