当前位置： 首页 > news >正文

Bert各种变体——RoBERTA/ALBERT/DistillBert

news 2026/2/9 5:15:23

RoBERTa

在这里插入图片描述

  1. 会重复一个语句10次，然后每次都mask不同的15%token。
  2. 丢弃了NSP任务，论文指出NSP任务有时甚至会损害性能。
  3. 使用了BPE

ALBERT

在这里插入图片描述

1. 跨层参数共享

可以共享多头注意力层的参数，或者前馈网络层的参数，或者全部共享。
实验结果发现，共享注意力层基本没有性能损失。

2. 词向量因式分解：

将词汇表改成两个矩阵乘。

3. 句子顺序预测

加入句子顺序预测任务，代替NSP任务。句子预测分为正序还是倒序。

DistillBERT

在这里插入图片描述
在这里插入图片描述

1. 有监督损失：

[MASK]对应的输出的损失

2. 蒸馏损失

使用teacher模型的概率作为指导信号，也是交叉熵，但是此时是软标签。

3. 词向量余弦函数

计算隐含层，教师模型和学生模型的向量余弦距离。

相关文章：

Bert各种变体——RoBERTA/ALBERT/DistillBert

RoBERTa 会重复一个语句10次，然后每次都mask不同的15%token。丢弃了NSP任务，论文指出NSP任务有时甚至会损害性能。使用了BPE ALBERT 1. 跨层参数共享 可以共享多头注意力层的参数，或者前馈网络层的参数，或者全部共享。 实验结果…...

编程日记 2024/12/27 18:12:10

Go入门篇：（一）golang的安装和编辑工具安装

一、前言 最近我有幸接触到Go语言，深入了解后，发现go语言确实有很多让人惊叹的地方。作为一个有着多年Java编程经验的程序员，我深深地被它所吸引，并且决定记录下我的学习之路，以便与大家分享我的经验和感悟。 与Java不同，Go语言的语法和运行效率都非常高，特别是对于并…...

编程日记 2024/12/27 18:10:08

【技术实战】R语言统计分析与可视化从入门到精通

前言 随着大数据时代的到来，数据分析已经成为各行各业的重要技能。R语言作为一种强大的统计分析和数据可视化工具，广泛应用于科学研究、数据分析和商业决策支持。 本文将带领读者从入门到精通，掌握R语言在统计分析和数据可视化方面的核心技…...

编程日记 2024/12/27 18:09:07

【Lua之·Lua与C/C++交互·Lua CAPI访问栈操作】

系列文章目录 文章目录 前言一、概述1.1 Lua堆栈 二、栈操作2.1 基本的栈操作2.2 入栈操作函数2.3 出栈操作函数2.4 既入栈又出栈的操作函数2.5 栈检查与类型转换函数2.5 获取表数据 三、实例演示总结 前言 Lua是一种轻量级的、高性能的脚本语言，经常被用于游戏开发…...

编程日记 2024/12/27 18:07:05

LabVIEW实现LoRa通信

目录 1、LoRa通信原理 2、硬件环境部署 3、程序架构 4、前面板设计 5、程序框图设计 6、测试验证 本专栏以LabVIEW为开发平台，讲解物联网通信组网原理与开发方法，覆盖RS232、TCP、MQTT、蓝牙、Wi-Fi、NB-IoT等协议。 结合实际案例，展示如何利用LabVIEW和常用模块实现物联网系…...

编程日记 2024/12/27 18:04:03

【数字化】华为数字化转型架构蓝图-2

目录 1、客户联结的架构思路 1.1 ROADS体验设计 1.2 具体应用场景 1.3 统一的数据底座 1.4 案例与成效 2、一线作战平台的架构思路 2.1 核心要素 2.2 关键功能 2.3 实施路径 2.4 案例与成效 3、能力数字化的架构思路 3.1 能力数字化的核心目标 3.2 能力数字化的实…...

编程日记 2024/12/27 18:00:58

【Agent】AutoGen Studio2.0开源框架-UI层环境安装+详细操作教程（从0到1带跑通智能体AutoGen Studio）

💥 欢迎来到我的博客！很高兴能在这里与您相遇！ 首页：GPT-千鑫 – 热爱AI、热爱Python的天选打工人，活到老学到老！！！导航 - 人工智能系列：包含 OpenAI API Key教程, 50个…...

编程日记 2024/12/27 17:58:56

Linux 网络配置基础

文章目录 1. 前言2. Linux 的网络配置2.1 传统的网络配置方法2.2 新的网络配置方法2.3 用 DHCP 客户端管理网络 3. 参考资料 1. 前言 限于作者能力水平，本文可能存在谬误，因此而给读者带来的损失，作者不做任何承诺。 2. Linux 的网络配置 …...

编程日记 2024/12/27 17:52:49

科技创新 数智未来｜清科·沙丘投研院走进竹云

12月20日，清科沙丘投研院带领企投家团队走进竹云交流分享，聚焦技术创新、企业数字化管理、行业前沿应用案例等热点议题，深入探讨数字技术如何点燃企业高质量发展的澎湃动力，共话企业数字化、智能化发展之道。 达晨财智股权管理部…...

编程日记 2024/12/27 17:47:44

Java 常见面试算法题汇总与解析

Java 常见面试算法题汇总与解析 算法题是程序员面试中常见的一部分，也是提升编程能力的核心手段。本文将汇总一些 Java 中常见的算法题，并提供详细的解析和实现代码，帮助开发者更好地理解和掌握算法。 一、字符串相关算法 1.1 字符串反转 …...

编程日记 2024/12/27 17:46:42

【社区投稿】自动特征auto trait的扩散规则

自动特征auto trait的扩散规则 公式化地概括，auto trait marker trait derived trait。其中，等号右侧的marker与derived是在Rustonomicon书中的引入的概念，鲜见于Rust References。所以，若略感生僻，不奇怪。 marker …...

编程日记 2024/12/27 17:42:34

云原生相关的 Go 语言工程师技术路线(含博客网址导航）

要成为一名云原生相关的 Go 语言工程师，需要在 Go 语言、云原生技术栈以及相关的开发和运维工具上建立扎实的基础。下面是一个前字节员工总结的技术路线规划： 1. 掌握 Go 语言基础 深入理解 Go 语言：你需要熟练掌握 Go 的语法、数据结构、并…...

编程日记 2024/12/27 17:41:32

mui框架开发的手机APP——众筹约课类【只有前端，无后端】

点击获取源码...

编程日记 2024/12/27 17:37:26

Python的内存管理

文章目录 1. **内存管理的基本原理**（1）动态内存分配（2）引用计数机制 2. **垃圾回收（Garbage Collection, GC）机制**（1）循环引用问题（2）垃圾回收器的作用 3. …...

编程日记 2024/12/27 17:32:21

VSCode调试

目录 C/C远程本地调试插件配置参考 C/C远程本地调试 测试源码：https://github.com/jrhee17/ssl-study 插件 Remote - SSH C/C 配置 .vscode/launch.json {"version": "0.2.0","configurations": [{"name": "afte…...

编程日记 2024/12/27 17:31:20

Direct Preference Optimization (DPO) 简介与流程解析：中英双语

Direct Preference Optimization (DPO) 简介与流程解析 Direct Preference Optimization (DPO) 是一种基于人类偏好的强化学习优化方法，用于训练语言模型，使其更好地满足用户需求或偏好。本文将详细介绍 DPO 的核心思想、优化流程，并结合代码…...

编程日记 2024/12/27 17:29:18

fisco-bcos手动搭建webase启动注意事项

手动搭建webase-front启动注意事项 Java环境变量：1.8.301时候的错误 一直提示节点连接不上，无法连接chanale端口 这是官方提供的解决办法Help wanted: solution for secp256k1 being disabled Issue #470 FISCO-BCOS/java-sdk Java SDK 2.x连接节点失败…...

编程日记 2024/12/27 17:28:17

ospf 的 状态机详解

OSPF（开放最短路径优先，Open Shortest Path First）协议的状态机是其核心部分之一，用于确保路由器之间的邻接关系（neighbor relationship）建立和路由信息的交换。OSPF的状态机模型由多个状态组成&#xff0c…...

编程日记 2024/12/27 17:26:14

TP5 动态渲染多个Layui表格并批量打印所有表格

记录： TP5 动态渲染多个Layui表格每个表格设置有2行表头，并且第一行表头在页面完成后动态渲染显示内容每个表格下面显示统计信息可点击字段排序一次打印页面上的所有表格打印页面上多个table时,让每个table单独一页 后端代码示例： /*** Nod…...

编程日记 2024/12/27 17:25:13

spring专题笔记（六）：bean的自动装配（自动化注入）-根据名字进行自动装配、根据类型进行自动装配。代码演示，通俗易懂。

目录 一、根据名字进行自动装配--byName 二、根据类型进行自动装配 byType 本文章主要是介绍spring的自动装配机制， 用代码演示spring如何根据名字进行自动装配、如何根据类型进行自动装配。代码演示，通俗易懂。 一、根据名字进行自动装配--byName Us…...

编程日记 2024/12/27 17:21:08

RocketMQ延迟消息机制

两种延迟消息 RocketMQ中提供了两种延迟消息机制 指定固定的延迟级别 通过在Message中设定一个MessageDelayLevel参数，对应18个预设的延迟级别指定时间点的延迟级别 通过在Message中设定一个DeliverTimeMS指定一个Long类型表示的具体时间点。到了时间点后&#xf…...

编程新知 2026/2/8 21:59:25

基于ASP.NET+ SQL Server实现（Web）医院信息管理系统

医院信息管理系统 1. 课程设计内容 在 visual studio 2017 平台上，开发一个“医院信息管理系统”Web 程序。 2. 课程设计目的 综合运用 c#.net 知识，在 vs 2017 平台上，进行 ASP.NET 应用程序和简易网站的开发；初步熟悉开发一…...

编程新知 2026/1/23 12:16:56

Mac软件卸载指南，简单易懂！

刚和Adobe分手，它却总在Library里给你写"回忆录"？卸载的Final Cut Pro像电子幽灵般阴魂不散？总是会有残留文件，别慌！这份Mac软件卸载指南，将用最硬核的方式教你"数字分手术"&#xff0…...

编程新知 2026/2/7 0:48:56

Linux-07 ubuntu 的 chrome 启动不了

文章目录 问题原因解决步骤一、卸载旧版chrome二、重新安装chorme三、启动不了，报错如下四、启动不了，解决如下 总结 问题原因 在应用中可以看到chrome，但是打不开(说明：原来的ubuntu系统出问题了，这个是备用的硬盘&a…...

编程新知 2026/1/29 17:56:19

Android 之 kotlin 语言学习笔记三（Kotlin-Java 互操作）

参考官方文档：https://developer.android.google.cn/kotlin/interop?hlzh-cn 一、Java（供 Kotlin 使用） 1、不得使用硬关键字 不要使用 Kotlin 的任何硬关键字作为方法的名称 或字段。允许使用 Kotlin 的软关键字、修饰符关键字和特殊标识…...

编程新知 2026/2/8 0:33:04

Selenium常用函数介绍

目录 一，元素定位 1.1 cssSeector 1.2 xpath 二，操作测试对象 三，窗口 3.1 案例 3.2 窗口切换 3.3 窗口大小 3.4 屏幕截图 3.5 关闭窗口 四，弹窗 五，等待 六，导航 七，文件上传 …...

编程新知 2026/1/29 3:55:23

腾讯云V3签名

想要接入腾讯云的Api，必然先按其文档计算出所要求的签名。 之前也调用过腾讯云的接口，但总是卡在签名这一步，最后放弃选择SDK，这次终于自己代码实现。 可能腾讯云翻新了接口文档，现在阅读起来，清晰了很多&…...

编程新知 2026/1/24 4:39:04

NPOI Excel用OLE对象的形式插入文件附件以及插入图片

static void Main(string[] args) {XlsWithObjData();Console.WriteLine("输出完成"); }static void XlsWithObjData() {// 创建工作簿和单元格,只有HSSFWorkbook,XSSFWorkbook不可以HSSFWorkbook workbook new HSSFWorkbook();HSSFSheet sheet (HSSFSheet)workboo…...

编程新知 2025/10/6 2:06:51

在鸿蒙HarmonyOS 5中使用DevEco Studio实现企业微信功能

1. 开发环境准备 ​​安装DevEco Studio 3.1​​： 从华为开发者官网下载最新版DevEco Studio安装HarmonyOS 5.0 SDK ​​项目配置​​： // module.json5 {"module": {"requestPermissions": [{"name": "ohos.permis…...

编程新知 2025/12/29 15:43:26

群晖NAS如何在虚拟机创建飞牛NAS

套件中心下载安装Virtual Machine Manager 创建虚拟机 配置虚拟机 飞牛官网下载 https://iso.liveupdate.fnnas.com/x86_64/trim/fnos-0.9.2-863.iso 群晖NAS如何在虚拟机创建飞牛NAS - 个人信息分享...

编程新知 2026/1/30 6:19:54