当前位置： 首页 > news >正文

论文阅读——RoBERTa

news 2026/4/4 15:13:20

一、LM效果好但是各种方法之间细致比较有挑战性，因为训练耗费资源多、并且在私有的不同大小的数据集上训练，不同超参数选择对结果影响很大。使用复制研究的方法对BERT预训练的超参数和数据集的影响细致研究，发现BERT训练不够，提出训练BERT的方法RoBERTa。

RoBERTa方法：

1、训练更长时间、数据集更大

2、移除NSP任务

3、在更长的序列上训练：We train only with full-length sequences.

4、动态mask

RoBERTa is trained with dynamic masking, FULL-SENTENCES without NSP loss, large mini-batches and a larger byte-level BPE.

BPE：

单词级和字符级混合表示。Byte-Pair Encoding (BPE)  is a hybrid between character- and word-level representations.

BPE依赖于通过对训练语料库进行统计分析来提取的子词单元，而不是全词。

BPE词汇表的大小通常从10K-100K子字单元。Radford等介绍了BPE的一种巧妙实现，该实现使用字节而不是单代码字符作为基本子字单元。使用字节使学习一个中等大小（50千个单位）的子单词词汇成为可能，它仍然可以对任何输入文本进行编码，而不引入任何“未知”标记。

最初的BERT实现使用大小为30K的字符级BPE词汇表，该词汇表是在使用启发式标记化规则对输入进行预处理后学习的。RoBERTa使用包含50K子词单元的较大字节级BPE词汇表来训练BERT，而无需对输入进行任何额外的预处理或标记化。这分别为BERTBASE和BERTLARGE增加了约15M和20M的额外参数。

二、RoBERTa预训练数据：

BOOKCORPUS plus English WIKIPEDIA.（16G，BERT used）

CC-NEWS  collected from the English portion of the CommonCrawl News dataset（76GB after filtering）

OPENWEBTEXT（38G）

STORIES（31G）

三、RoBERTa下游任务微调数据

GLUE

SQuAD: V1.1 and V2.0

RACE

相关文章：

论文阅读——RoBERTa

一、LM效果好但是各种方法之间细致比较有挑战性，因为训练耗费资源多、并且在私有的不同大小的数据集上训练，不同超参数选择对结果影响很大。使用复制研究的方法对BERT预训练的超参数和数据集的影响细致研究，发现BERT训练不够，提出…...

编程日记 2023/10/29 4:49:14

springboot项目打jar包，运行时提示jar中没有主清单属性

可能性一&#xff1a; 没有在pom中加入maven插件 在pom中加入下方代码即可。 <build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>3.8.1</ve…...

编程日记 2023/10/29 4:48:13

【Codeforces】 CF79D Password

题目链接 CF方向 Luogu方向 题目解法 看到区间异或&#xff0c;一个经典的套路是做差分&#xff0c;我们即在 l l l 处异或一次&#xff0c;在 r 1 r1 r1 处异或一次&#xff0c;然后前缀和起来 于是我们可以将问题转化成&#xff1a;有一个序列初始全 0 0 0&#xff0c…...

编程日记 2023/10/29 4:47:11

叛乱沙漠风暴server安装 ubuntu 22.04

最新版沙暴已经不支持centos了&#xff0c;还是使用ubuntu比较顺利 官方文档&#xff1a; https://sandstorm-support.newworldinteractive.com/hc/en-us/articles/360049211072-Server-Admin-Guide // 安装steamcmd依赖 sudo add-apt-repository multiverse sudo apt inst…...

编程日记 2023/10/29 4:46:10

ES6中的新增属性——解构赋值

首先我们要创建一个假数据&#xff0c;我们现在要取出user中的id和名称&#xff0c;如下&#xff1a; let user JSON.parse(sessionStorage.getItem(userInfo)) let id user.id; let name user.name; 非常的麻烦&#xff0c;我们需要一项一项的获取&#xff0c;这个时候可…...

编程日记 2023/10/29 4:45:08

行业追踪，2023-10-27

自动复盘 2023-10-27 凡所有相&#xff0c;皆是虚妄。若见诸相非相&#xff0c;即见如来。 k 线图是最好的老师&#xff0c;每天持续发布板块的rps排名&#xff0c;追踪板块&#xff0c;板块来开仓&#xff0c;板块去清仓&#xff0c;丢弃自以为是的想法&#xff0c;板块去留让…...

编程日记 2023/10/29 4:44:08

Qt QWebEngine 更换语言

背景 使用Qt QWebEngine开发的应用&#xff0c;在一些场景下&#xff0c;会显示英文文本&#xff0c;比如右键、JS弹出的对话框&#xff0c;所以需要进行汉化&#xff0c;更改语言。 准备翻译文件 Qt有提供翻译好的ts文件&#xff0c;我们可以直接下载ts文件qtwebengine_zh_…...

编程日记 2023/10/29 4:43:07

Docker一键开启、停止和删除所有容器

开启所有运行的容器&#xff1a; docker start $(docker ps -aq) 这里&#xff0c;docker ps -aq 列出了所有容器的ID&#xff0c;然后 docker start 命令用于开启这些容器。 停止所有运行的容器&#xff1a; docker stop $(docker ps -aq) 同理&#xff0c;docker ps -aq…...

编程日记 2023/10/29 4:42:06

2016年亚太杯APMCM数学建模大赛B题化学元素对变形钢筋性能的影响求解全过程文档及程序

2016年亚太杯APMCM数学建模大赛 B题 化学元素对变形钢筋性能的影响 原题再现 热轧带肋钢筋通常被称为变形钢筋&#xff0c;它主要用于钢筋混凝土构件的骨架&#xff0c;在使用中需要一定的机械强度、弯曲和变形性能、制造焊接性。钢中的化学成分是影响热轧钢最终组织性能的基…...

编程日记 2023/10/29 4:41:05

美颜SDK集成指南：为应用添加视频美颜功能

随着社交媒体和直播应用的兴起&#xff0c;视频美颜功能已成为用户追求的一项热门特性。用户希望能够在拍摄照片或进行实时视频直播时&#xff0c;使用美颜功能来增强其外观。为了满足这一需求&#xff0c;开发者可以考虑集成美颜SDK&#xff0c;为其应用增加这一吸引人的功能。…...

编程日记 2023/10/29 4:40:03

AquilaChat2-34B 主观评测接近GPT3.5水平，最新版本Base和Chat权重已开源！

两周前&#xff0c;智源研究院发布了最强开源中英双语大模型AquilaChat2-34B 并在 22项评测基准中综合能力领先&#xff0c;广受好评。为了方便开发者在低资源上运行 34B 模型&#xff0c;智源团队发布了 Int4量化版本&#xff0c;AquilaChat2-34B 模型用7B量级模型相近的GPU资…...

编程日记 2023/10/29 4:38:01

useGeneratedKeys=“true“ keyProperty=“id“

1、xml中 useGeneratedKeys"true" keyProperty"id"2、db id bigint(20) AUTO_INCREMENT 3、场景 一般用于 先将DO写入dbinsert成功后&#xff0c;再将JDBC自增主键值AUTO_INCREMENT&#xff0c;回写到DO的id属性字段后续可能会从DO中获取此id值进行查询…...

编程日记 2023/10/29 4:36:59

Java 浅拷贝会带来的问题

Java 浅拷贝会带来的问题 一&#xff0c;常见问题 Java 中的浅拷贝是指在对象拷贝时&#xff0c;只复制对象的引用&#xff0c;而不是对象本身。这意味着浅拷贝会导致多个对象共享同一块内存空间&#xff0c;当一个对象修改共享内存时&#xff0c;其他对象也会受到影响。 下…...

编程日记 2023/10/29 4:33:55

Monocle 3 | 太牛了！单细胞必学R包！~（二）（寻找marker及注释细胞）

1写在前面 昨天又是不睡觉的一天&#xff0c;晚上还被家属讲了一通&#xff0c;理由是我去急诊了&#xff0c;没有在办公室待着&#xff0c;他老公疼没人去看。&#x1fae0; 我的解释是只有我一个值班医生&#xff0c;不可能那么及时&#xff0c;而且也不是什么急症啊。&#…...

编程日记 2023/10/29 4:32:53

简述JVM

文章目录 JVM简介JVM运行时数据区堆(线程共享)方法区/元空间/元数据区(线程共享)栈程序计数器 JVM类加载类加载过程双亲委派模型 垃圾回收机制(GC)判断对象是否为垃圾判断是否被引用指向 如何清理垃圾, 释放对象? JVM简介 JVM 是 Java Virtual Machine 的简称, 意为Java虚拟机…...

编程日记 2023/10/29 4:29:50

【多线程面试题 六】、 如何实现线程同步？

文章底部有个人公众号&#xff1a;热爱技术的小郑。主要分享开发知识、学习资料、毕业设计指导等。有兴趣的可以关注一下。为何分享&#xff1f; 踩过的坑没必要让别人在再踩&#xff0c;自己复盘也能加深记忆。利己利人、所谓双赢。 面试官&#xff1a; 如何实现线程同步&…...

编程日记 2023/10/29 4:28:49

地面文物古迹保护方案，用科技为文物古迹撑起“智慧伞”

一、行业背景 当前&#xff0c;文物保护单位的安防系统现状存在各种管理弊端&#xff0c;安防系统没有统一的平台&#xff0c;系统功能不足、建设标准不同&#xff0c;产品和技术多样&#xff0c;导致各系统独立&#xff0c;无法联动&#xff0c;形成了“信息孤岛”。地面文物…...

编程日记 2023/10/29 4:27:47

k8s之Flannel网络插件安装提示forbidden无权限

一、问题描述 在安装k8s的网络插件时&#xff0c;提示如下信息&#xff0c;各种forbidden无权限 [rootzzyk8s01 scripts]# kubectl apply -f kube-flannel.yml Error from server (Forbidden): error when retrieving current configuration of: Resource: "policy/v1b…...

编程日记 2023/10/29 4:26:45

在微信小程序云开发中引入Vant Weapp组件库

介绍 Vant 是一个轻量、可靠的移动端组件库&#xff0c;于 2017 年开源。 目前 Vant 官方提供了 Vue 2 版本、Vue 3 版本和微信小程序版本&#xff0c;并由社区团队维护 React 版本和支付宝小程序版本。 介绍 - Vant Weapp (youzan.github.io) Vant Weapp需要安装 node.js&…...

编程日记 2023/10/29 4:25:44

Vue+ElementUI项目打包部署到Ubuntu服务器中

1、修改config/index.js中的assetsPublicPath: /,修改为assetsPublicPath: ./ assetsPublicPath: ./2、在build/utils.js中增加publicPath: ../../ publicPath: ../../3、打开终端&#xff0c;在根目录下执行npm run build进行打包&#xff0c;打包成功后会生成dist npm run…...

编程日记 2023/10/29 4:24:43

Linux上使用apt-file查找编译时缺失的依赖库

前言&#xff1a;在Linux上做开发时会遇到依赖库缺失与环境配置问题&#xff0c;如报"fatal error:xxxxxxx.h:没有那个文件或者目录"等错误&#xff0c;此时则只能通过提示中缺失的头文件"xxxxxxx.h"进行缺失依赖库的定位&#xff0c;若错误提示的头文件为…...

编程新知 2026/4/4 15:03:12

WarcraftHelper：魔兽争霸3终极兼容性工具，轻松实现5大版本完美适配

WarcraftHelper&#xff1a;魔兽争霸3终极兼容性工具&#xff0c;轻松实现5大版本完美适配 【免费下载链接】WarcraftHelper Warcraft III Helper , support 1.20e, 1.24e, 1.26a, 1.27a, 1.27b 项目地址: https://gitcode.com/gh_mirrors/wa/WarcraftHelper 你是否想让…...

编程新知 2026/4/4 14:10:36

Ryujinx：用C重构Switch游戏生态的技术探索之旅

Ryujinx&#xff1a;用C#重构Switch游戏生态的技术探索之旅 【免费下载链接】Ryujinx 用 C# 编写的实验性 Nintendo Switch 模拟器 项目地址: https://gitcode.com/GitHub_Trending/ry/Ryujinx 当游戏主机硬件迭代加速&#xff0c;玩家渴望在更强大平台体验经典游戏时&a…...

编程新知 2026/4/4 12:16:34

AI手势识别效果展示：彩虹骨骼惊艳可视化，21个关键点精准定位

AI手势识别效果展示&#xff1a;彩虹骨骼惊艳可视化&#xff0c;21个关键点精准定位 1. 引言&#xff1a;手势识别的视觉革命 想象一下&#xff0c;只需对着摄像头比个手势&#xff0c;就能控制智能家居、玩转AR游戏或者进行远程教学互动。这一切的核心技术就是手势识别。传统…...

编程新知 2026/4/4 12:14:34

中国民办高职教育的未来10年发展趋势（2025-2035）年度深度战略研究报告

陈天伟 &#xff08;四川城市职业学院&#xff0c;四川 成都 610110&#xff09; 宏观战略背景&#xff1a;教育现代化2035与职业教育的定位转型 在迈向2035年基本实现社会主义现代化的征程中&#xff0c;中国职业教育正经历着从“补充教育”向“类型教育”的根本性转变。根…...

编程新知 2026/4/4 11:36:03

4步实现专业黑苹果配置：OpCore-Simplify零代码自动化解决方案

4步实现专业黑苹果配置&#xff1a;OpCore-Simplify零代码自动化解决方案 【免费下载链接】OpCore-Simplify A tool designed to simplify the creation of OpenCore EFI 项目地址: https://gitcode.com/GitHub_Trending/op/OpCore-Simplify OpCore-Simplify是一款革命性…...

编程新知 2026/4/4 11:32:00

5分钟掌握UEFI启动画面个性化：HackBGRT终极指南

5分钟掌握UEFI启动画面个性化&#xff1a;HackBGRT终极指南 【免费下载链接】HackBGRT Windows boot logo changer for UEFI systems 项目地址: https://gitcode.com/gh_mirrors/ha/HackBGRT 你是否厌倦了每次开机都看到单调乏味的厂商Logo&#xff1f;想要在启动时展示…...

编程新知 2026/4/4 11:09:46

安全是跑出来的：从萝卜快跑看自动驾驶的“成人礼”

近日&#xff0c;武汉市区部分“萝卜快跑”自动驾驶车辆出现突发停驶异常状况&#xff0c;部分车辆在道路上停止运行&#xff0c;导致乘客被困、交通受阻。官方通报显示&#xff0c;此次事件为系统故障触发的车辆停滞&#xff0c;所有乘客已安全撤离&#xff0c;无人员伤亡。作…...

编程新知 2026/4/4 11:05:42

网站SEO排名优化有哪些最佳实践

网站SEO排名优化有哪些最佳实践 在当今数字化时代&#xff0c;网站SEO排名优化成为了每个网站运营者必须面对的重要挑战。在百度等搜索引擎中&#xff0c;高排名不仅能够提升网站的曝光率&#xff0c;还能带来更多的流量和潜在客户。具体有哪些最佳实践可以帮助你提升网站在搜…...

编程新知 2026/4/4 10:43:34

基于PLC的五自由度抓取机械手设计

P13-基于PLC的五自由度抓取机械手设计 资料包含&#xff1a; PLC梯形图和HMI组态运行画面&#xff0c;I/O分配、CAD原理图、硬件设备清单、软件安装包、运行讲解视频、设计报告说明等&#xff0c;解难问题&#xff0c;全套资料通俗易懂非常适合新手PLC编程学习参考 功能介绍&am…...

编程新知 2026/4/4 8:46:39