当前位置：首页 > news >正文

对“预训练”的理解

news 2026/5/22 19:11:05

预训练有什么用

传统的机器学习是偏数学的，对数据的量不做过多要求，而深度学习的项目通常是有大量的数据可供使用。

在平常的任务或者项目中，我们可能并没有大量数据，只有少量数据，在这时我们就可以通过“借用”有大数据支持的模型的参数，作为基准，这样就能提高效率和准确率。因为他们神经网络的浅层是相似的，也就是说，在任务相似的情况下，可以用已有的模型即“预训练”好的模型参数实现小数据量的模型训练。

预训练可以节省训练时间，和成本。

预训练是什么

通过一个已训练好的模型A，去完成一个小数据量的任务B，前提，任务A和任务B极其相似。

分两步

冻结：浅层参数不变
微调：浅层参数会跟着训练而改变

预训练怎么用

fairseq、transformers库

对“预训练”的理解

预训练有什么用传统的机器学习是偏数学的，对数据的量不做过多要求，而深度学习的项目通常是有大量的数据可供使用。在平常的任务或者项目中，我们可能并没有大量数据，只有少量数据，在这时我们就可以通过“借用”有大…...

编程日记 2025/3/3 17:40:46

论文阅读：CAN GENERATIVE LARGE LANGUAGE MODELS PERFORM ASR ERROR CORRECTION?

CAN GENERATIVE LARGE LANGUAGE MODELS PERFORM ASR ERROR CORRECTION? 生成式大语言模型能否进行自动语音识别（ASR）纠错？ https://arxiv.org/pdf/2307.04172 文章目录速览常规总结通俗版摘要（Abstract）2. 引言&a…...

编程日记 2025/3/3 17:38:43

Stable Diffusion（SD）系列模型及关联算法深度解析

一、‌基础模型架构演进‌ SD v1.5‌ ‌核心架构‌：基于Latent Diffusion Model（LDM），通过VAE将图像压缩至潜空间进行扩散训练，支持512x512分辨率生成，兼容二次元与写实风格混合创作‌12。 ‌训练数据‌&…...

编程日记 2025/3/3 17:36:39

FPGA开发，使用Deepseek V3还是R1（3）：系统级与RTL级

以下都是Deepseek生成的答案 FPGA开发，使用Deepseek V3还是R1（1）：应用场景 FPGA开发，使用Deepseek V3还是R1（2）：V3和R1的区别 FPGA开发，使用Deepseek V3还是R1&#x…...

编程日记 2025/3/3 17:33:35

logback日志输出配置范例

logback日志输出配置范例在wutool中，提供了logback日志输出配置范例，实现日志文件大小限制、滚动覆盖策略、定时清理等功能。关于wutool wutool是一个java代码片段收集库，针对特定场景提供轻量解决方案，只要按需选择代码片段…...

编程日记 2025/3/3 17:26:26

【开源免费】基于SpringBoot+Vue.JS酒店管理系统（JAVA毕业设计）

本文项目编号 T 224 ，文末自助获取源码 \color{red}{T224，文末自助获取源码} T224，文末自助获取源码目录一、系统介绍二、数据库设计三、配套教程3.1 启动教程3.2 讲解视频3.3 二次开发教程四、功能截图五、文案资料5.1 选题背景5.2 国内…...

编程日记 2025/3/3 17:25:24

关键代码：LightmapSettings.lightmaps lightmapDatas; LightmapData中操作三张图：lightmapColor,lightmapDir,以及一张ShadowMap 这里只操作前两张： using UnityEngine; using UnityEngine.EventSystems; using UnityEngine.UI;public cl…...

编程日记 2025/3/3 17:24:21

linux(2)用户管理

文章目录 1. 切换用户2. 添加删除用户3.写改密码 1. 切换用户 # 切换用户名，不切换工作目录 su 用户名 # 一起切换工作目录 su - 用户名 # 退出用户 exit2. 添加删除用户 # 添加用户 sudo adduser username # 推荐sudo useradd -m -s /bin/bash 用户名-m 如果创建…...

编程日记 2025/3/3 17:21:17

在鸿蒙HarmonyOS手机上安装hap应用

一、下载工具安装hap包需要用到小工具。二、解压到目录后，进入该文件夹，打开命令行，如下图三、将下载好的hap包放入刚才解压的文件夹内（假设hap包文件名为app.hap） 四、连接好手机和电脑，手机需要打…...

编程日记 2025/3/3 17:16:08

MacBook Pro使用FFmpeg捕获摄像头与麦克风推流音视频

FFmpeg查看macos系统音视频设备列表 ffmpeg -f avfoundation -list_devices true -i "" 使用摄像头及麦克风同时推送音频及视频流: ffmpeg -f avfoundation -pixel_format yuyv422 -framerate 30 -i "0:1" -c:v libx264 -preset ultrafast -b:v 1000k -…...

编程日记 2025/3/3 17:14:06

工程化与框架系列（8）--持续集成实践

持续集成实践 🔄 持续集成（Continuous Integration，简称CI）是现代前端开发流程中的重要环节，它通过自动化构建、测试和部署，帮助团队更快速、更可靠地交付高质量代码。本文将详细介绍前端持续集成的实践方…...

编程日记 2025/3/3 17:13:05

Python核心技术，Django学习基础入门教程（附环境安装包）

文章目录前言1. 环境准备1.1Python安装1.2选择Python开发环境1.3 创建虚拟环境1.4 安装 Django 2. 创建 Django 项目3. Django项目结构介绍4. 启动开发服务器5. 创建 Django 应用6. 应用结构介绍7. 编写视图函数8. 配置 URL 映射9. 运行项目并访问视图10. 数据库配置与模型创建…...

编程日记 2025/3/3 17:11:01

【Qt-信号与槽】connect函数的用法

🏠个人主页：Yui_ 🍑操作环境：Qt Creator 🚀所属专栏：Qt 文章目录 1.信号和槽的概念1.1 信号的本质1.2 槽的本质1.3 补充说明2. 信号和槽的使用2.1 connect函数介绍2.2 connect函数的简单使用2.2.1 图形化方…...

编程日记 2025/3/3 17:08:58

计算机毕业设计SpringBoot+Vue.js景区民宿预约系统(源码+文档+PPT+讲解)

温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 作者简介：Java领…...

编程日记 2025/3/3 17:06:56

服务流程设计和服务或端口重定向及其websocket等应用示例

服务流程设计和服务或端口重定向及其websocket等应用示例目录服务或端口重定向的服务设计和websocket等应用示例一、通用请求控制流程 1.1、入口 1.2、所有GET请求首先预检控制单元 1.3、http请求会分别自动307重定向 1.4、所有请求首先执行跨源控制单元 1.5、然后…...

编程日记 2025/3/3 17:04:53

16. LangChain实战项目2——易速鲜花内部问答系统

需求简介易束鲜花企业内部知识库如下： 本实战项目设计一个内部问答系统，基于这些内部知识，回答内部员工的提问。在前面课程的基础上，需要安装的依赖包如下： pip install docx2txt pip install qdrant-client pip i…...

编程日记 2025/3/3 17:01:49

一文了解Conda使用

一、Conda库频道 conda的软件频道是存储软件包的远程位置，当在Conda中安装软件包时，它会从指定的频道中下载和提取软件包。频道包含了各种软件包，不同的频道可能提供不同版本的软件包，用户可以根据需要选择适合的版本。常见 Co…...

编程日记 2025/3/3 17:00:47

AI辅助学习vue第十四章

第十四章：技术引领与未来展望在第十五章，你已经在Vue技术领域深耕许久，积累了丰富的经验与卓越的影响力。此时，你将站在行业前沿，引领技术走向，为Vue技术的未来发展开辟新道路。 1. 引领Vue技术发展方向…...

编程日记 2025/3/3 16:59:46

chromadb向量数据库使用（1）

目录完整代码代码解释完整代码 import chromadb chroma_client chromadb.Client()collection chroma_client.create_collection(name"my_collection")collection.add(documents["This is a document about pineapple","This is a document about…...

编程日记 2025/3/3 16:58:43

CSS—text文本、font字体、列表list、表格table、表单input、下拉菜单select

目录 1.文本 2.字体 3.列表list a.无序列表 b.有序列表 c.定义列表 4.表格table a.内容 b.合并单元格 3.表单input a.input标签 b.单选框 c.上传文件 4.下拉菜单 1.文本属性描述color设置文本颜色。direction指定文本的方向 / 书写方向。letter-spacing设置字符…...

编程日记 2025/3/3 16:57:41

别再一页页改了！用OrCAD Capture CIS高效管理原理图文档与BOM

用OrCAD CIS实现原理图文档与BOM的智能化协同管理在硬件工程团队协作中，原理图文档与物料清单（BOM）的一致性管理常成为效率瓶颈。传统手工维护方式不仅耗时费力，更可能因人为疏忽导致版本混乱。OrCAD Capture CIS的元件信息系统为…...

编程新知 2026/5/22 18:52:50

从日志Bug到状态机设计：我的C++ TinyWebServer调试日记与性能优化思考

从日志Bug到状态机设计：我的C TinyWebServer调试日记与性能优化思考深夜的显示器前，咖啡杯早已见底。当我第三次在TinyWebServer的日志中看到"用户注册成功"的消息延迟出现在下一个请求时，那种如鲠在喉的感觉让我意识到&#xff1…...

编程新知 2026/5/22 18:44:00

AlwaysOnTop终极指南：如何让Windows窗口永远置顶的完整教程

AlwaysOnTop终极指南：如何让Windows窗口永远置顶的完整教程【免费下载链接】AlwaysOnTop Make a Windows application always run on top 项目地址: https://gitcode.com/gh_mirrors/al/AlwaysOnTop 你是否曾经在同时处理多个任务时，因为重要窗口…...

编程新知 2026/5/22 17:40:52