当前位置： 首页 > news >正文

联邦学习的 AI 大模型微调中，加性、选择性、重参数化和混合微调

news 2026/4/18 10:03:01

联邦学习的 AI 大模型微调中，加性、选择性、重参数化和混合微调

在联邦学习的 AI 大模型微调中，加性、选择性、重参数化和混合微调是不同的操作方式，具体如下：

  • 加性微调
    • 定义与原理：加性微调是在原始模型的基础上添加额外的可训练参数来进行模型调整。这种方式不会改变原始模型的主体结构，而是通过引入新的参数来捕捉特定任务或数据的特征，从而提高模型在特定场景下的性能。
    • 举例：在 Transformer 块的自注意力层和前馈神经网络层后插入可训练适配器（Adapter）就是一种加性微调方法。例如在自然语言处理任务中，对于一个预训练的语言模型，当需要针对特定领域（如医学文献处理）进行微调时，在模型的关键层添加 Adapter。这些 Adapter 可以学习到医学领域特有的语义和语法模式，而不会影响原始模型在其他通用领域的知识和能力。通过在大量医学文本数据上对这些 Adapter 进行训练，模型能够更好地适应医学领域的语言处理任务，如医学文献的分类、信息提取等。
  • 选择性微调
    • 定义与原理：选择性微调利用特定的算法或准则，从原始模

相关文章：

联邦学习的 AI 大模型微调中，加性、选择性、重参数化和混合微调

联邦学习的 AI 大模型微调中，加性、选择性、重参数化和混合微调 在联邦学习的 AI 大模型微调中，加性、选择性、重参数化和混合微调是不同的操作方式，具体如下： 加性微调 定义与原理：加性微调是在原始模型的基础上添加额外的可训练参数来进行模型调整。这种方式不会改变原…...

编程日记 2025/1/6 16:51:20

android 外挂modem模块实现Telephony相关功能(上网，发短信，打电话)

一.背景 当前模块不支持Telephony相关的功能，例如上网、发短信等功能，就需要外挂另一个模块实现此功能，这就是外挂modem模块实现Telephony功能，此篇主要就是说实现外挂modem模块功能中的Framework层实现逻辑，如下流程是在Android 13中实现的外挂pcie模块的流程 二.ril库相…...

编程日记 2025/1/6 16:50:18

【计算机视觉技术 - 人脸生成】2.GAN网络的构建和训练

GAN 是一种常用的优秀的图像生成模型。我们使用了支持条件生成的 cGAN。下面介绍简单 cGAN 模型的构建以及训练过程。 2.1 在 model 文件夹中新建 nets.py 文件 import torch import torch.nn as nn# 生成器类 class Generator(nn.Module):def __init__(self, nz100, nc3, n…...

编程日记 2025/1/6 16:42:08

数据中台与数据治理服务方案[50页PPT]

本文概述了数据中台与数据治理服务方案的核心要点。数据中台作为政务服务数据化的核心，通过整合各部门业务系统数据，进行建模与加工，以新数据驱动政府管理效率提升与政务服务能力增强。数据治理则聚焦于解决整体架构问题，确保数据…...

编程日记 2025/1/6 16:41:07

【Qt】将控件均匀分布到圆环上

1. 关键代码 for(int i0; i<10; i){/*m_panLabelIcon - 大圆环控件m_slotsIcon[i] - 小圆控件*/QString idxStr QString::number(i1);m_slotsIcon[i] new QLabel(m_panLabelIcon);m_slotsIcon[i]->setFont(ftSlot);m_slotsIcon[i]->setText(idxStr);m_slotsIcon[i]-…...

编程日记 2025/1/6 16:38:04

第四、五章补充：线代本质合集（B站：小崔说数）

视频1&#xff1a;线性空间 原视频&#xff1a;【线性代数的本质】向量空间、基向量的几何解释_哔哩哔哩_bilibili 很多同学在学习线性代数的时候&#xff0c;会遇到一个困扰&#xff0c;就是不知道什么是线性空间。...

编程日记 2025/1/6 16:33:58

2025年贵州省职业院校技能大赛信息安全管理与评估赛项规程

贵州省职业院校技能大赛赛项规程 赛项名称&#xff1a; 信息安全管理与评估 英文名称&#xff1a; Information Security Management and Evaluation 赛项组别&#xff1a; 高职组 赛项编号&#xff1a; GZ032 1 2 一、赛项信息 赛项类别 囚每年赛 □隔年赛&#xff08;□单数年…...

编程日记 2025/1/6 16:32:57

松鼠状态机流转-@Transit

疑问 状态from to合法性校验&#xff0c;都是在代码中手动进行的吗&#xff0c;不是状态机自动进行的&#xff1f; 注解中from状态&#xff0c;代表当前状态 和谁校验&#xff1a;上下文中初始状态 怎么根据注解找到执行方法的 分析代码&#xff0c;创建运单&#xff0c;怎…...

编程日记 2025/1/6 16:29:50

微信小程序调用 WebAssembly 烹饪指南

我们都是在夜里崩溃过的俗人&#xff0c;所幸终会天亮。明天就是新的开始&#xff0c;我们会变得与昨天不同。 一、Rust 导出 wasm 参考 wasm-bindgen 官方指南 https://wasm.rust-lang.net.cn/wasm-bindgen/introduction.html wasm-bindgen&#xff0c;这是一个 Rust 库和 CLI…...

编程日记 2025/1/6 16:26:45

# LeetCode Problem 2038: 如果相邻两个颜色均相同则删除当前颜色 (Winner of the Game)

LeetCode Problem 2038: 如果相邻两个颜色均相同则删除当前颜色 (Winner of the Game) 在本篇博客中&#xff0c;我们将深入探讨 LeetCode 第2038题——如果相邻两个颜色均相同则删除当前颜色。该问题涉及字符串处理与游戏策略&#xff0c;旨在考察如何在给定规则下判断游戏的…...

编程日记 2025/1/6 16:24:41

Redis面试相关

Redis开篇 使用场景 缓存 缓存穿透 解决方法一&#xff1a; 方法二&#xff1a; 通过多次hash来获取对应的值。 小结 缓存击穿 缓存雪崩 打油诗 双写一致性 两种不同的要求 强一致 读锁代码 写锁代码 强一致&#xff0c;性能低。 延迟一致 方案一&#xff1a;消息队列 方…...

编程日记 2025/1/6 16:23:37

4.CSS文本属性

4.1文本颜色 div { color:red; } 属性值预定义的颜色值red、green、blue、pink十六进制#FF0000,#FF6600,#29D794RGB代码rgb(255,0,0)或rgb(100%,0%,0%) 4.2对齐文本 text-align 属性用于设置元素内文本内容的水平对齐方式。 div{ text-align:center; } 属性值解释left左对齐ri…...

编程日记 2025/1/6 16:18:32

Mongo高可用架构解决方案

Mongo主从复制哪些事（仅适用特定场景） 对数据强一致性要求不高的场景，一般微服务架构中不推荐 master节点可读可写操作，当数据有修改时，会将Oplog（操作日志）同步到所有的slave节点上。那么对于从节点来说仅只读，所有slave节点从master节点同步数据，然而从节点之间互相…...

编程日记 2025/1/6 16:17:29

Rabbitmq 业务异常与未手动确认场景及解决方案

消费端消费异常&#xff0c;业务异常 与 未手动确认是不是一个场景&#xff0c;因为执行完业务逻辑&#xff0c;再确认。解决方案就一个&#xff0c;就是重试一定次数&#xff0c;然后加入死信队列。还有就是消费重新放入队列&#xff0c;然后重新投递给其他消费者&#xff0c;…...

编程日记 2025/1/6 16:16:27

linux,centos7.6安装禅道

1.cd /opt 2.wget https://www.zentao.net/dl/zentao/18.5/ZenTaoPMS.18.5.zbox_64.tar.gz 3.tar xvzf ZenTaoPMS.18.5.zbox_64.tar.gz 4./opt/zbox/zbox --aport 4005 --mport 3307 start 安全组开启一下两个端口 –aport 4005&#xff1a;设置Apache启动端口为4005 –mport 3…...

编程日记 2025/1/6 16:12:21

java基础之代理

代理模式&#xff08;Proxy Pattern&#xff09; 简介 是一种结构型设计模式&#xff0c;主要用于为某对象提供一个代理对象&#xff0c;以控制对该对象的访问。通过引入一个代理对象来控制对原对象的访问。代理对象在客户端和目标对象之间充当中介&#xff0c;负责将客户端的…...

编程日记 2025/1/6 16:11:19

计算机网络——期末复习（6）期末考试样例2（含答案）

一、单项选择题(每题1分&#xff0c;共10小题&#xff0c;共计10分) 1.因特网多播采用的管理协议是( )协议。 A.UDP B.BGP C.IGMP D.TCP 2.采用CIDR时&#xff0c;某计算机的IP地址是202.35.79.88/19&#xff0c;该计算机所处子网的地址是( )。 A.202.35.0.…...

编程日记 2025/1/6 16:09:17

JavaScript 获取DOM对象

html的标签被js获取到之后就变成了js对象&#xff0c;对象里面包含了标签的属性和方法 。同一时间获取多个对象则会翻译一个数组&#xff0c;数组元素是对象 获取方法 1. const a document.getElementById("id")&#xff0c;根据标签的id来获取。因为id是唯一的、…...

编程日记 2025/1/6 16:07:11

一文讲明白朴素贝叶斯算法及其计算公式（入门普及）

1、贝叶斯算法 贝叶斯定理由英国数学家托马斯贝叶斯 ( Thomas Bayes) 提出的&#xff0c;用来描述两个条件概率之间的关系。通常&#xff0c;事件A在事件B 发生的条件下与事件 B 在事件 A 发生的条件下&#xff0c;它们两者的概率并不相同&#xff0c;但是它们两者之间存在一定…...

编程日记 2025/1/6 16:06:09

实际开发中,常见pdf|word|excel等文件的预览和下载

实际开发中,常见pdf|word|excel等文件的预览和下载 背景相关类型数据之间的转换1、File转Blob2、File转ArrayBuffer3、Blob转ArrayBuffer4、Blob转File5、ArrayBuffer转Blob6、ArrayBuffer转File 根据Blob/File类型生成可预览的Base64地址基于Blob类型的各种文件的下载各种类型…...

编程日记 2025/1/6 16:05:07

物联网LoRa系列-18：Sx1262射频信号放大器与电源管理的协同设计

1. Sx1262射频信号放大器的核心作用 第一次拿到Sx1262芯片规格书时&#xff0c;我被它内部集成的射频信号放大器惊艳到了。这个火柴盒大小的芯片里&#xff0c;竟然藏着能推动500米无线通信的"能量引擎"。功率放大器&#xff08;PA&#xff09;和低噪声放大器&#…...

编程新知 2026/4/18 10:02:11

从杂乱到洞察：手把手教你用Gephi的‘统计’与‘过滤’功能深挖网络数据

从杂乱到洞察&#xff1a;手把手教你用Gephi的‘统计’与‘过滤’功能深挖网络数据 当你第一次打开Gephi&#xff0c;面对密密麻麻的节点和连线&#xff0c;是否感到无从下手&#xff1f;网络数据可视化不仅仅是绘制漂亮的图形&#xff0c;更重要的是从中提取有价值的业务洞察。…...

编程新知 2026/4/18 9:56:03

NVIDIA Profile Inspector完全指南：免费解锁显卡200+隐藏参数

NVIDIA Profile Inspector完全指南&#xff1a;免费解锁显卡200隐藏参数 【免费下载链接】nvidiaProfileInspector 项目地址: https://gitcode.com/gh_mirrors/nv/nvidiaProfileInspector NVIDIA Profile Inspector是一款强大的开源显卡优化工具&#xff0c;能够让你访…...

编程新知 2026/4/18 9:15:21

别再只会用audioread了！手把手教你用MATLAB直接解析WAV文件头（附完整代码）

深入解析WAV文件结构&#xff1a;MATLAB底层二进制读取实战指南 在音频处理领域&#xff0c;WAV文件因其无损音质和广泛兼容性成为专业场景的首选格式。虽然MATLAB提供了audioread等便捷函数&#xff0c;但真正掌握底层文件结构解析能力&#xff0c;才能应对非标准格式处理、元…...

编程新知 2026/4/18 8:12:11

039、FreeRTOS与嵌入式GUI（如LVGL、emWin）的整合：当实时内核遇上图形界面

039、FreeRTOS与嵌入式GUI（如LVGL、emWin）的整合：当实时内核遇上图形界面 最近在调试一个智能家居中控屏项目，遇到了一个典型问题：触摸滑动列表时，界面偶尔会卡顿半秒，同时后台的传感器数据上报也出现了丢包。这种问题在整合RTOS和GUI时太常见了——图形渲染吃掉了大量…...

编程新知 2026/4/18 7:07:58

Elasticsearch性能调优：深入解析Segment合并策略与实战配置

1. 为什么Segment合并是Elasticsearch性能的关键 第一次接触Elasticsearch时&#xff0c;我被它惊人的搜索速度震撼了。直到有一天&#xff0c;我们的日志系统突然变慢&#xff0c;查询响应从毫秒级跌到秒级&#xff0c;我才真正开始关注背后的Segment机制。想象一下&#xff0…...

编程新知 2026/4/18 5:57:30

别再乱用self了！深入理解Python中@staticmethod和@classmethod的正确使用场景

别再乱用self了&#xff01;深入理解Python中staticmethod和classmethod的正确使用场景 在Python开发中&#xff0c;我们经常会遇到各种关于方法调用的困惑。特别是当看到"missing 1 required positional argument"这样的错误时&#xff0c;很多开发者会感到一头雾水…...

编程新知 2026/4/18 3:40:27

图解Android蓝牙启动：从App调用enable()到HAL层回调的完整消息传递链路

Android蓝牙启动流程深度解析&#xff1a;从应用层到HAL层的完整链路 在车载系统、智能家居等场景中&#xff0c;蓝牙作为核心无线通信协议&#xff0c;其启动过程的稳定性直接影响用户体验。本文将深入剖析Android蓝牙子系统从应用层调用enable()到HAL层回调的完整消息传递链路…...

编程新知 2026/4/18 3:36:24

Unity中Dropdown与TMP_Dropdown的OnValueChange事件优化：解决单选项点击无响应问题

1. 问题背景&#xff1a;Dropdown单选项点击无响应的尴尬 最近在做一个Unity项目时&#xff0c;遇到了一个让人抓狂的问题&#xff1a;当Dropdown下拉框只有一个选项时&#xff0c;无论怎么点击都不会触发OnValueChange事件。这简直就像按电梯按钮没反应一样让人烦躁。想象一下…...

编程新知 2026/4/18 3:26:21

5分钟掌握PlantUML Editor：专业级代码驱动UML绘图工具实战指南

5分钟掌握PlantUML Editor&#xff1a;专业级代码驱动UML绘图工具实战指南 【免费下载链接】plantuml-editor PlantUML online demo client 项目地址: https://gitcode.com/gh_mirrors/pl/plantuml-editor 还在为绘制复杂的UML图表而烦恼吗&#xff1f;传统的拖拽式绘图…...

编程新知 2026/4/18 3:17:59