当前位置：首页 > news >正文

对“预训练”的理解

news 2025/8/3 9:40:11

预训练有什么用

传统的机器学习是偏数学的，对数据的量不做过多要求，而深度学习的项目通常是有大量的数据可供使用。

在平常的任务或者项目中，我们可能并没有大量数据，只有少量数据，在这时我们就可以通过“借用”有大数据支持的模型的参数，作为基准，这样就能提高效率和准确率。因为他们神经网络的浅层是相似的，也就是说，在任务相似的情况下，可以用已有的模型即“预训练”好的模型参数实现小数据量的模型训练。

预训练可以节省训练时间，和成本。

预训练是什么

通过一个已训练好的模型A，去完成一个小数据量的任务B，前提，任务A和任务B极其相似。

分两步

冻结：浅层参数不变
微调：浅层参数会跟着训练而改变

预训练怎么用

fairseq、transformers库

对“预训练”的理解

预训练有什么用传统的机器学习是偏数学的，对数据的量不做过多要求，而深度学习的项目通常是有大量的数据可供使用。在平常的任务或者项目中，我们可能并没有大量数据，只有少量数据，在这时我们就可以通过“借用”有大…...

编程日记 2025/3/3 17:40:46

论文阅读：CAN GENERATIVE LARGE LANGUAGE MODELS PERFORM ASR ERROR CORRECTION?

CAN GENERATIVE LARGE LANGUAGE MODELS PERFORM ASR ERROR CORRECTION? 生成式大语言模型能否进行自动语音识别（ASR）纠错？ https://arxiv.org/pdf/2307.04172 文章目录速览常规总结通俗版摘要（Abstract）2. 引言&a…...

编程日记 2025/3/3 17:38:43

Stable Diffusion（SD）系列模型及关联算法深度解析

一、‌基础模型架构演进‌ SD v1.5‌ ‌核心架构‌：基于Latent Diffusion Model（LDM），通过VAE将图像压缩至潜空间进行扩散训练，支持512x512分辨率生成，兼容二次元与写实风格混合创作‌12。 ‌训练数据‌&…...

编程日记 2025/3/3 17:36:39

FPGA开发，使用Deepseek V3还是R1（3）：系统级与RTL级

以下都是Deepseek生成的答案 FPGA开发，使用Deepseek V3还是R1（1）：应用场景 FPGA开发，使用Deepseek V3还是R1（2）：V3和R1的区别 FPGA开发，使用Deepseek V3还是R1&#x…...

编程日记 2025/3/3 17:33:35

logback日志输出配置范例

logback日志输出配置范例在wutool中，提供了logback日志输出配置范例，实现日志文件大小限制、滚动覆盖策略、定时清理等功能。关于wutool wutool是一个java代码片段收集库，针对特定场景提供轻量解决方案，只要按需选择代码片段…...

编程日记 2025/3/3 17:26:26

【开源免费】基于SpringBoot+Vue.JS酒店管理系统（JAVA毕业设计）

本文项目编号 T 224 ，文末自助获取源码 \color{red}{T224，文末自助获取源码} T224，文末自助获取源码目录一、系统介绍二、数据库设计三、配套教程3.1 启动教程3.2 讲解视频3.3 二次开发教程四、功能截图五、文案资料5.1 选题背景5.2 国内…...

编程日记 2025/3/3 17:25:24

关键代码：LightmapSettings.lightmaps lightmapDatas; LightmapData中操作三张图：lightmapColor,lightmapDir,以及一张ShadowMap 这里只操作前两张： using UnityEngine; using UnityEngine.EventSystems; using UnityEngine.UI;public cl…...

编程日记 2025/3/3 17:24:21

linux(2)用户管理

文章目录 1. 切换用户2. 添加删除用户3.写改密码 1. 切换用户 # 切换用户名，不切换工作目录 su 用户名 # 一起切换工作目录 su - 用户名 # 退出用户 exit2. 添加删除用户 # 添加用户 sudo adduser username # 推荐sudo useradd -m -s /bin/bash 用户名-m 如果创建…...

编程日记 2025/3/3 17:21:17

在鸿蒙HarmonyOS手机上安装hap应用

一、下载工具安装hap包需要用到小工具。二、解压到目录后，进入该文件夹，打开命令行，如下图三、将下载好的hap包放入刚才解压的文件夹内（假设hap包文件名为app.hap） 四、连接好手机和电脑，手机需要打…...

编程日记 2025/3/3 17:16:08

MacBook Pro使用FFmpeg捕获摄像头与麦克风推流音视频

FFmpeg查看macos系统音视频设备列表 ffmpeg -f avfoundation -list_devices true -i "" 使用摄像头及麦克风同时推送音频及视频流: ffmpeg -f avfoundation -pixel_format yuyv422 -framerate 30 -i "0:1" -c:v libx264 -preset ultrafast -b:v 1000k -…...

编程日记 2025/3/3 17:14:06

工程化与框架系列（8）--持续集成实践

持续集成实践 🔄 持续集成（Continuous Integration，简称CI）是现代前端开发流程中的重要环节，它通过自动化构建、测试和部署，帮助团队更快速、更可靠地交付高质量代码。本文将详细介绍前端持续集成的实践方…...

编程日记 2025/3/3 17:13:05

Python核心技术，Django学习基础入门教程（附环境安装包）

文章目录前言1. 环境准备1.1Python安装1.2选择Python开发环境1.3 创建虚拟环境1.4 安装 Django 2. 创建 Django 项目3. Django项目结构介绍4. 启动开发服务器5. 创建 Django 应用6. 应用结构介绍7. 编写视图函数8. 配置 URL 映射9. 运行项目并访问视图10. 数据库配置与模型创建…...

编程日记 2025/3/3 17:11:01

【Qt-信号与槽】connect函数的用法

🏠个人主页：Yui_ 🍑操作环境：Qt Creator 🚀所属专栏：Qt 文章目录 1.信号和槽的概念1.1 信号的本质1.2 槽的本质1.3 补充说明2. 信号和槽的使用2.1 connect函数介绍2.2 connect函数的简单使用2.2.1 图形化方…...

编程日记 2025/3/3 17:08:58

计算机毕业设计SpringBoot+Vue.js景区民宿预约系统(源码+文档+PPT+讲解)

温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 作者简介：Java领…...

编程日记 2025/3/3 17:06:56

服务流程设计和服务或端口重定向及其websocket等应用示例

服务流程设计和服务或端口重定向及其websocket等应用示例目录服务或端口重定向的服务设计和websocket等应用示例一、通用请求控制流程 1.1、入口 1.2、所有GET请求首先预检控制单元 1.3、http请求会分别自动307重定向 1.4、所有请求首先执行跨源控制单元 1.5、然后…...

编程日记 2025/3/3 17:04:53

16. LangChain实战项目2——易速鲜花内部问答系统

需求简介易束鲜花企业内部知识库如下： 本实战项目设计一个内部问答系统，基于这些内部知识，回答内部员工的提问。在前面课程的基础上，需要安装的依赖包如下： pip install docx2txt pip install qdrant-client pip i…...

编程日记 2025/3/3 17:01:49

一文了解Conda使用

一、Conda库频道 conda的软件频道是存储软件包的远程位置，当在Conda中安装软件包时，它会从指定的频道中下载和提取软件包。频道包含了各种软件包，不同的频道可能提供不同版本的软件包，用户可以根据需要选择适合的版本。常见 Co…...

编程日记 2025/3/3 17:00:47

AI辅助学习vue第十四章

第十四章：技术引领与未来展望在第十五章，你已经在Vue技术领域深耕许久，积累了丰富的经验与卓越的影响力。此时，你将站在行业前沿，引领技术走向，为Vue技术的未来发展开辟新道路。 1. 引领Vue技术发展方向…...

编程日记 2025/3/3 16:59:46

chromadb向量数据库使用（1）

目录完整代码代码解释完整代码 import chromadb chroma_client chromadb.Client()collection chroma_client.create_collection(name"my_collection")collection.add(documents["This is a document about pineapple","This is a document about…...

编程日记 2025/3/3 16:58:43

CSS—text文本、font字体、列表list、表格table、表单input、下拉菜单select

目录 1.文本 2.字体 3.列表list a.无序列表 b.有序列表 c.定义列表 4.表格table a.内容 b.合并单元格 3.表单input a.input标签 b.单选框 c.上传文件 4.下拉菜单 1.文本属性描述color设置文本颜色。direction指定文本的方向 / 书写方向。letter-spacing设置字符…...

编程日记 2025/3/3 16:57:41

＜6＞-MySQL表的增删查改

目录一，create（创建表） 二，retrieve（查询表） 1，select列 2，where条件三，update（更新表） 四，delete（删除表&#xf…...

编程新知 2025/7/9 22:44:11

无法与IP建立连接，未能下载VSCode服务器

如题，在远程连接服务器的时候突然遇到了这个提示。查阅了一圈，发现是VSCode版本自动更新惹的祸！！！ 在VSCode的帮助->关于这里发现前几天VSCode自动更新了，我的版本号变成了1.100.3 才导致了远程连接出…...

编程新知 2025/8/3 1:30:32

vscode（仍待补充）

写于2025 6.9 主包将加入vscode这个更权威的圈子 vscode的基本使用侧边栏 vscode还能连接ssh？ debug时使用的launch文件 1.task.json {"tasks": [{"type": "cppbuild","label": "C/C: gcc.exe 生成活动文件"…...

编程新知 2025/8/3 2:43:55

BCS 2025｜百度副总裁陈洋：智能体在安全领域的应用实践

6月5日，2025全球数字经济大会数字安全主论坛暨北京网络安全大会在国家会议中心隆重开幕。百度副总裁陈洋受邀出席，并作《智能体在安全领域的应用实践》主题演讲，分享了在智能体在安全领域的突破性实践。他指出，百度通过将安全能力…...

编程新知 2025/7/30 19:26:20

ip子接口配置及删除

配置永久生效的子接口，2个IP 都可以登录你这一台服务器。重启不失效。永久的 [应用] vi /etc/sysconfig/network-scripts/ifcfg-eth0修改文件内内容 TYPE"Ethernet" BOOTPROTO"none" NAME"eth0" DEVICE"eth0" ONBOOT&q…...

编程新知 2025/7/26 12:16:34