当前位置： 首页 > news >正文

迁移学习 - 微调

news 2026/3/30 10:53:32

什么是与训练和微调？

  • 你需要搭建一个网络模型来完成一个特定的图像分类的任务。首先，你需要随机初始化参数，然后开始训练网络，不断调整参数，直到网络的损失越来越小。在训练的过程中，一开始初始化的参数会不断变化。当你觉得结果很满意的时候，你就可以将训练模型的参数保存下来，以便训练好的模型可以在下次执行类似任务时获得较好的结果。这个过程就是 pre-training。
  • 之后，你又接收到一个类似的图像分类的任务。这时候，你可以直接使用之前保存下来的模型的参数来作为这一任务的初始化参数，然后在训练的过程中，依据结果不断进行一些修改。这时候，你使用的就是一个 pre-trained 模型，而过程就是 fine-tuning。

所以，预训练 就是指预先训练的一个模型或者指预先训练模型的过程；微调就是指将预训练过的模型作用于自己的数据集，并使参数适应自己数据集的过程。

网络架构

一个神经网络一般可以分为两块

  • 特征抽取将原始像素变成容易线性分割的特征
  • 线性分类器来做分类

在这里插入图片描述

微调

在这里插入图片描述

微调中的权重初始化

在这里插入图片描述

训练

是一个目标数据集上的正常训练任务，但使用更强的正则化

  • 使用更小的学习率
  • 使用更少的数据迭代

源数据集远复杂与目标数据，通常微调效果更好。

重用分类器权重

  • 源数据集可能也有目标数据中的部分标号
  • 可以使用预训练好模型分类器中对应标号对应的向量来做初始化

固定一些层

神经网络通常学习有层次的特征表示

  • 低层次的特征更加通用
  • 高层次的特征则更跟数据集相关

可以固定底部一些层参数，不参与更新

  • 更强的正则

总结：

  • 微调通过使用在大数据上得到的预训练好的模型来初始化模型权重来完成提升精度
  • 预训练模型质量很重要
  • 微调通常速度更快、精度更高

相关文章：

迁移学习 - 微调

什么是与训练和微调？ 你需要搭建一个网络模型来完成一个特定的图像分类的任务。首先，你需要随机初始化参数，然后开始训练网络，不断调整参数，直到网络的损失越来越小。在训练的过程中，一开始初始化的参数会…...

编程日记 2023/10/30 5:45:11

09 用户态跟踪：如何使用eBPF排查应用程序？

09 用户态跟踪：如何使用eBPF排查应用程序？ sudo bpftrace -e usdt:/usr/bin/python3:function__entry { printf("%s:%d %s\n", str(arg0), arg2, str(arg1))} # -*- coding: UTF-8 -*- import socket from socket import SOL_SOCKET, SO_R…...

编程日记 2023/10/30 5:44:08

深入浅出排序算法之堆排序

目录 1. 算法介绍 2. 执行流程⭐⭐⭐⭐⭐✔ 3. 代码实现 4. 性能分析 1. 算法介绍 堆是一种数据结构，可以把堆看成一棵完全二叉树，这棵完全二叉树满足：任何一个非叶结点的值都不大于(或不小于)其左右孩子结点的值。若父亲大孩子小&#x…...

编程日记 2023/10/30 5:42:06

Linux 命令（11）—— tcpdump

文章目录 一、命令简介二、使用方法三、命令选项四、基本语法和使用方法1. 显示 ASCII 字符串2. 抓取特定协议的数据3. 抓取特定主机的数据4. 将抓取的数据写入文件5. 行缓冲模式 五、理解tcpdump的输出六、过滤表达式1. Host 过滤2. Network 过滤3. Proto 过滤4. Port 过滤5. …...

编程日记 2023/10/30 5:41:05

8.自定义组件布局和详解Context上下文

pages/index.vue layout布局运行在服务端 1、在项目的目录下新建layout文件夹，并新建一个blog.vue布局文件 2、在页面中的layout函数里，返回刚才新建布局文件的名字blog就可以使用了 export default {...layout (context) {console.log(context)retu…...

编程日记 2023/10/30 5:40:03

几个Web自动化测试框架的比较：Cypress、Selenium和Playwright

介绍：Web自动化测试框架对于确保Web应用程序的质量和可靠性至关重要。它们帮助开发人员和测试人员自动执行重复性任务，跨多个浏览器和平台执行测试，并在开发早期发现问题。 以下仅代表作者观点： 本文探讨来3种流行的Web自动化测…...

编程日记 2023/10/30 5:38:59

Android Studio中配置aliyun maven库

当下载第三方库失败的时候，通过Android Studio中配置aliyun maven库，达到正常下载库效果 在项目的根build.gradle里面（不是module）buildscriptde对应位置添加配置： maven { url https://maven.aliyun.com/repository/…...

编程日记 2023/10/30 5:37:58

记录使用阿里 ARoute 遇到的坑

1.按照官方一个配置好之后 尝试使用 跳转出现 Aroute Theres no route matched path"" 我这边遇到的坑是配置问题 kotiln 使用了 Java的配置 plugins {id("com.android.application")id("org.jetbrains.kotlin.android")id("kotlin-kapt&…...

编程日记 2023/10/30 5:35:55

lesson2（补充）关于const成员函数

个人主页：Lei宝啊 愿所有美好如期而遇 前言： 将const 修饰的 “ 成员函数 ” 称之为 const 成员函数 ， const 修饰类成员函数，实际修饰该成员函数 隐含的 this 指针 ，表明在该成员函数中不能对类的任何成员进行修改…...

编程日记 2023/10/30 5:34:54

前端 ：用HTML ，JS写一个 双色球彩票中将机制，因为时间不够，加上本人懒没有用CSS美化界面，多包涵

1.HTML <body><div id"content"><div id "top"><div id "username">用户号码&#xff1a;</div><div id "qiu"><span id "red">红球&#xff1a;</span><input id…...

编程日记 2023/10/30 5:33:52

前端页面如何自适应--4种方法

前端页面有很多方法可以实现。这里我将介绍五种常用的方法&#xff0c;并提供相应的代码示例。 1. 使用CSS媒体查询 通过CSS媒体查询&#xff0c;可以根据不同的屏幕尺寸应用不同的样式。在Vue组件中&#xff0c;可以在样式部分使用媒体查询&#xff0c;使排版根据屏幕大小进…...

编程日记 2023/10/30 5:32:47

2024王道考研计算机组成原理——总线

6.1 总线概述 每一个外设都通过IO接口和DB、CB、AB相连 三系统总线结构&#xff1a; 桥有总线仲裁的功能&#xff0c;就是把某一总线的使用权分给哪个设备&#xff1f; 6.1.2 总线的性能指标 总线复用&#xff1a;分时传输地址&数据 6.2 总线仲裁 通过控制总线来发送使…...

编程日记 2023/10/30 5:31:45

【Linux】进程概念(下)

进程概念 一、环境变量1. 命令行参数2. 常见的环境变量&#xff08;1&#xff09;PATH&#xff08;2&#xff09;PWD&#xff08;3&#xff09;HOME&#xff08;4&#xff09;env 查看所有的环境变量 3. 获取环境变量&#xff08;1&#xff09;通过代码获取环境变量&#xff08…...

编程日记 2023/10/30 5:30:44

基于Spring Boot的本科生就业质量设计与实现

摘 要 信息化爆炸的时代&#xff0c;互联网技术的指数型的增长&#xff0c;信息化程度的不断普及&#xff0c;社会节奏在加快&#xff0c;每天都有大量的信息扑面而来&#xff0c;人们正处于数字信息化世界。数字化的互联网具有便捷性&#xff0c;传递快&#xff0c;效率高&am…...

编程日记 2023/10/30 5:29:43

238. 除自身以外数组的乘积 --力扣 --JAVA

题目 给你一个整数数组 nums&#xff0c;返回 数组 answer &#xff0c;其中 answer[i] 等于 nums 中除 nums[i] 之外其余各元素的乘积 。 题目数据 保证 数组 nums之中任意元素的全部前缀元素和后缀的乘积都在 32 位 整数范围内。 请不要使用除法&#xff0c;且在 O(n) 时间复…...

编程日记 2023/10/30 5:28:42

如何判断一个类是线程安全的

线程安全 一个类或者程序提供的接口&#xff0c;多个线程之间的切换不会导致该接口的执行结果存在二义性&#xff0c;也就是不必考虑同步问题。 或者说一段代码可能会被多个线程同时执行&#xff0c;如果每次运行的结果和单线程执行的结果是一样的&#xff0c;并且其他变量的…...

编程日记 2023/10/30 5:27:41

MyBatis的各种查询功能

文章目录 情景查询一个实体类对象查询一个List集合查询单个数据查询一条数据为map集合查询多条数据为map集合方法一方法二 情景 如果查询出的数据只有一条&#xff0c;可以通过 实体类对象接收List集合接收Map集合接收&#xff0c;结果{password123456, sex男, id1, age23, us…...

编程日记 2023/10/30 5:26:40

【Tomcat】如何在idea上部署一个maven项目?

目录 1.创建项目 2.引入依赖 3.创建目录 4.编写代码 5.打包程序 6.部署项目 7.验证程序 什么是Tomcat和Servlet? 以idea2019为例&#xff1a; 1.创建项目 1.1 首先创建maven项目 1.2 项目名称 2.引入依赖 2.1 网址输入mvnrepository.com进入maven中央仓库->地址…...

编程日记 2023/10/30 5:25:39

Three.js 材质的 blending

Three.js 材质的 blending // blending modes export type Blending | typeof NoBlending| typeof NormalBlending| typeof AdditiveBlending| typeof SubtractiveBlending| typeof MultiplyBlending| typeof CustomBlending;// custom blending destination factors export t…...

编程日记 2023/10/30 5:24:38

关于pcl 给new出的数据赋值报错问题

pcl::PointCloud<pcl::PointXYZ>::Ptr cloud (new pcl::PointCloud<pcl::PointXYZ>); for (size_t i 0; i < cloud->points.size (); i) //填充数据 { cloud->points[i].x 1024 * rand () / (RAND_MAX 1.0f); cloud->points[i].y 1024…...

编程日记 2023/10/30 5:23:36

SDMatte与前端框架React集成：打造交互式在线图片编辑工具

SDMatte与前端框架React集成&#xff1a;打造交互式在线图片编辑工具 1. 引言&#xff1a;为什么需要在线图片编辑工具 电商商家每天需要处理大量商品图片&#xff0c;传统PS操作门槛高且效率低下。而专业设计师又需要更灵活的工具进行创意表达。基于React框架和SDMatte构建的…...

编程新知 2026/3/30 10:20:11

当人脸识别‘脸盲’时：ReID如何靠‘衣着体态’在安防、零售中找人？

当人脸识别失效时&#xff1a;ReID技术如何通过衣着体态实现精准追踪 在智慧城市建设和零售数字化转型的浪潮中&#xff0c;视频分析技术正面临一个尴尬的现实困境——当人脸识别因遮挡、远距离或背对摄像头等原因失效时&#xff0c;如何继续追踪目标人物&#xff1f;这个问题…...

编程新知 2026/3/30 10:01:59

避坑指南：rviz多点导航插件编译失败？可能是你的ROS版本或消息类型不匹配

避坑指南&#xff1a;rviz多点导航插件编译失败&#xff1f;可能是你的ROS版本或消息类型不匹配 当你满怀期待地从GitHub克隆了一个功能强大的rviz多点导航插件&#xff0c;准备为自己的机器人系统增添顺序导航能力时&#xff0c;却遭遇了令人沮丧的编译错误——这种经历对于RO…...

编程新知 2026/3/30 9:49:57

生物信息学入门：手把手教你用Java实现Needleman-Wunsch序列比对算法

生物信息学实战&#xff1a;用Java构建Needleman-Wunsch全局序列比对工具 第一次接触DNA序列比对时&#xff0c;看着两条看似杂乱无章的碱基序列在算法处理后突然呈现出惊人的相似性&#xff0c;那种发现隐藏规律的震撼感至今难忘。作为生物信息学领域最经典的算法之一&#xf…...

编程新知 2026/3/30 9:39:53

为什么SwinIR在图像修复中吊打CNN？深入解析Swin-Transformer的三大优势

SwinIR如何重新定义图像修复&#xff1f;Transformer架构的三大技术革命 当你在手机相册里翻出一张十年前的老照片&#xff0c;却发现它模糊得连人脸都难以辨认时&#xff0c;传统CNN模型或许能帮你恢复部分细节&#xff0c;但边缘依然会显得生硬失真。这正是SwinIR要解决的核心…...

编程新知 2026/3/30 9:13:45

RexUniNLU开源镜像免配置教程：自动下载权重+端口映射一步到位

RexUniNLU开源镜像免配置教程&#xff1a;自动下载权重端口映射一步到位 1. 这不是另一个NLP工具&#xff0c;而是一站式中文语义理解中枢 你有没有遇到过这样的情况&#xff1a;想快速验证一段中文文本里藏着多少信息——谁说了什么、发生了什么事、情绪是好是坏、背后有哪些…...

编程新知 2026/3/30 7:23:01

mPLUG视觉问答效果展示：交通标志识别、菜单文字理解、图表数据问答

mPLUG视觉问答效果展示&#xff1a;交通标志识别、菜单文字理解、图表数据问答 获取更多AI镜像 想探索更多AI镜像和应用场景&#xff1f;访问 CSDN星图镜像广场&#xff0c;提供丰富的预置镜像&#xff0c;覆盖大模型推理、图像生成、视频生成、模型微调等多个领域&#xff0c;…...

编程新知 2026/3/30 7:16:59

Qwen3-ASR-0.6B应用分享：打造智能语音助手的第一步

Qwen3-ASR-0.6B应用分享&#xff1a;打造智能语音助手的第一步 1. 语音识别技术的新选择 在智能语音助手、会议记录、客服系统等场景中&#xff0c;语音识别(ASR)技术正变得越来越重要。传统方案要么识别准确率不够高&#xff0c;要么需要消耗大量计算资源。Qwen3-ASR-0.6B的…...

编程新知 2026/3/30 7:10:57

SiameseAOE中文-base多场景落地：金融投诉文本中‘服务态度’‘处理时效’双抽取

SiameseAOE中文-base多场景落地&#xff1a;金融投诉文本中‘服务态度’‘处理时效’双抽取 1. 模型简介 SiameseAOE通用属性观点抽取-中文-base是一个专门用于中文文本信息抽取的AI模型。它基于先进的提示&#xff08;Prompt&#xff09;文本&#xff08;Text&#xff09;构…...

编程新知 2026/3/30 6:38:52

基于OFA的智能写作助手：图文内容自动生成与问答

基于OFA的智能写作助手&#xff1a;图文内容自动生成与问答 1. 引言 你有没有遇到过这样的情况&#xff1a;手头有一堆产品图片&#xff0c;却不知道怎么写吸引人的商品描述&#xff1b;或者看到一张复杂的图表&#xff0c;想要快速提取关键信息却无从下手&#xff1b;又或者…...

编程新知 2026/3/30 6:08:38