当前位置： 首页 > news >正文

论文阅读——RoBERTa

news 2026/5/24 5:48:52

一、LM效果好但是各种方法之间细致比较有挑战性，因为训练耗费资源多、并且在私有的不同大小的数据集上训练，不同超参数选择对结果影响很大。使用复制研究的方法对BERT预训练的超参数和数据集的影响细致研究，发现BERT训练不够，提出训练BERT的方法RoBERTa。

RoBERTa方法：

1、训练更长时间、数据集更大

2、移除NSP任务

3、在更长的序列上训练：We train only with full-length sequences.

4、动态mask

RoBERTa is trained with dynamic masking, FULL-SENTENCES without NSP loss, large mini-batches and a larger byte-level BPE.

BPE：

单词级和字符级混合表示。Byte-Pair Encoding (BPE)  is a hybrid between character- and word-level representations.

BPE依赖于通过对训练语料库进行统计分析来提取的子词单元，而不是全词。

BPE词汇表的大小通常从10K-100K子字单元。Radford等介绍了BPE的一种巧妙实现，该实现使用字节而不是单代码字符作为基本子字单元。使用字节使学习一个中等大小（50千个单位）的子单词词汇成为可能，它仍然可以对任何输入文本进行编码，而不引入任何“未知”标记。

最初的BERT实现使用大小为30K的字符级BPE词汇表，该词汇表是在使用启发式标记化规则对输入进行预处理后学习的。RoBERTa使用包含50K子词单元的较大字节级BPE词汇表来训练BERT，而无需对输入进行任何额外的预处理或标记化。这分别为BERTBASE和BERTLARGE增加了约15M和20M的额外参数。

二、RoBERTa预训练数据：

BOOKCORPUS plus English WIKIPEDIA.（16G，BERT used）

CC-NEWS  collected from the English portion of the CommonCrawl News dataset（76GB after filtering）

OPENWEBTEXT（38G）

STORIES（31G）

三、RoBERTa下游任务微调数据

GLUE

SQuAD: V1.1 and V2.0

RACE

相关文章：

论文阅读——RoBERTa

一、LM效果好但是各种方法之间细致比较有挑战性，因为训练耗费资源多、并且在私有的不同大小的数据集上训练，不同超参数选择对结果影响很大。使用复制研究的方法对BERT预训练的超参数和数据集的影响细致研究，发现BERT训练不够，提出…...

编程日记 2023/10/29 4:49:14

springboot项目打jar包，运行时提示jar中没有主清单属性

可能性一&#xff1a; 没有在pom中加入maven插件 在pom中加入下方代码即可。 <build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>3.8.1</ve…...

编程日记 2023/10/29 4:48:13

【Codeforces】 CF79D Password

题目链接 CF方向 Luogu方向 题目解法 看到区间异或&#xff0c;一个经典的套路是做差分&#xff0c;我们即在 l l l 处异或一次&#xff0c;在 r 1 r1 r1 处异或一次&#xff0c;然后前缀和起来 于是我们可以将问题转化成&#xff1a;有一个序列初始全 0 0 0&#xff0c…...

编程日记 2023/10/29 4:47:11

叛乱沙漠风暴server安装 ubuntu 22.04

最新版沙暴已经不支持centos了&#xff0c;还是使用ubuntu比较顺利 官方文档&#xff1a; https://sandstorm-support.newworldinteractive.com/hc/en-us/articles/360049211072-Server-Admin-Guide // 安装steamcmd依赖 sudo add-apt-repository multiverse sudo apt inst…...

编程日记 2023/10/29 4:46:10

ES6中的新增属性——解构赋值

首先我们要创建一个假数据&#xff0c;我们现在要取出user中的id和名称&#xff0c;如下&#xff1a; let user JSON.parse(sessionStorage.getItem(userInfo)) let id user.id; let name user.name; 非常的麻烦&#xff0c;我们需要一项一项的获取&#xff0c;这个时候可…...

编程日记 2023/10/29 4:45:08

行业追踪，2023-10-27

自动复盘 2023-10-27 凡所有相&#xff0c;皆是虚妄。若见诸相非相&#xff0c;即见如来。 k 线图是最好的老师&#xff0c;每天持续发布板块的rps排名&#xff0c;追踪板块&#xff0c;板块来开仓&#xff0c;板块去清仓&#xff0c;丢弃自以为是的想法&#xff0c;板块去留让…...

编程日记 2023/10/29 4:44:08

Qt QWebEngine 更换语言

背景 使用Qt QWebEngine开发的应用&#xff0c;在一些场景下&#xff0c;会显示英文文本&#xff0c;比如右键、JS弹出的对话框&#xff0c;所以需要进行汉化&#xff0c;更改语言。 准备翻译文件 Qt有提供翻译好的ts文件&#xff0c;我们可以直接下载ts文件qtwebengine_zh_…...

编程日记 2023/10/29 4:43:07

Docker一键开启、停止和删除所有容器

开启所有运行的容器&#xff1a; docker start $(docker ps -aq) 这里&#xff0c;docker ps -aq 列出了所有容器的ID&#xff0c;然后 docker start 命令用于开启这些容器。 停止所有运行的容器&#xff1a; docker stop $(docker ps -aq) 同理&#xff0c;docker ps -aq…...

编程日记 2023/10/29 4:42:06

2016年亚太杯APMCM数学建模大赛B题化学元素对变形钢筋性能的影响求解全过程文档及程序

2016年亚太杯APMCM数学建模大赛 B题 化学元素对变形钢筋性能的影响 原题再现 热轧带肋钢筋通常被称为变形钢筋&#xff0c;它主要用于钢筋混凝土构件的骨架&#xff0c;在使用中需要一定的机械强度、弯曲和变形性能、制造焊接性。钢中的化学成分是影响热轧钢最终组织性能的基…...

编程日记 2023/10/29 4:41:05

美颜SDK集成指南：为应用添加视频美颜功能

随着社交媒体和直播应用的兴起&#xff0c;视频美颜功能已成为用户追求的一项热门特性。用户希望能够在拍摄照片或进行实时视频直播时&#xff0c;使用美颜功能来增强其外观。为了满足这一需求&#xff0c;开发者可以考虑集成美颜SDK&#xff0c;为其应用增加这一吸引人的功能。…...

编程日记 2023/10/29 4:40:03

AquilaChat2-34B 主观评测接近GPT3.5水平，最新版本Base和Chat权重已开源！

两周前&#xff0c;智源研究院发布了最强开源中英双语大模型AquilaChat2-34B 并在 22项评测基准中综合能力领先&#xff0c;广受好评。为了方便开发者在低资源上运行 34B 模型&#xff0c;智源团队发布了 Int4量化版本&#xff0c;AquilaChat2-34B 模型用7B量级模型相近的GPU资…...

编程日记 2023/10/29 4:38:01

useGeneratedKeys=“true“ keyProperty=“id“

1、xml中 useGeneratedKeys"true" keyProperty"id"2、db id bigint(20) AUTO_INCREMENT 3、场景 一般用于 先将DO写入dbinsert成功后&#xff0c;再将JDBC自增主键值AUTO_INCREMENT&#xff0c;回写到DO的id属性字段后续可能会从DO中获取此id值进行查询…...

编程日记 2023/10/29 4:36:59

Java 浅拷贝会带来的问题

Java 浅拷贝会带来的问题 一&#xff0c;常见问题 Java 中的浅拷贝是指在对象拷贝时&#xff0c;只复制对象的引用&#xff0c;而不是对象本身。这意味着浅拷贝会导致多个对象共享同一块内存空间&#xff0c;当一个对象修改共享内存时&#xff0c;其他对象也会受到影响。 下…...

编程日记 2023/10/29 4:33:55

Monocle 3 | 太牛了！单细胞必学R包！~（二）（寻找marker及注释细胞）

1写在前面 昨天又是不睡觉的一天&#xff0c;晚上还被家属讲了一通&#xff0c;理由是我去急诊了&#xff0c;没有在办公室待着&#xff0c;他老公疼没人去看。&#x1fae0; 我的解释是只有我一个值班医生&#xff0c;不可能那么及时&#xff0c;而且也不是什么急症啊。&#…...

编程日记 2023/10/29 4:32:53

简述JVM

文章目录 JVM简介JVM运行时数据区堆(线程共享)方法区/元空间/元数据区(线程共享)栈程序计数器 JVM类加载类加载过程双亲委派模型 垃圾回收机制(GC)判断对象是否为垃圾判断是否被引用指向 如何清理垃圾, 释放对象? JVM简介 JVM 是 Java Virtual Machine 的简称, 意为Java虚拟机…...

编程日记 2023/10/29 4:29:50

【多线程面试题 六】、 如何实现线程同步？

文章底部有个人公众号&#xff1a;热爱技术的小郑。主要分享开发知识、学习资料、毕业设计指导等。有兴趣的可以关注一下。为何分享&#xff1f; 踩过的坑没必要让别人在再踩&#xff0c;自己复盘也能加深记忆。利己利人、所谓双赢。 面试官&#xff1a; 如何实现线程同步&…...

编程日记 2023/10/29 4:28:49

地面文物古迹保护方案，用科技为文物古迹撑起“智慧伞”

一、行业背景 当前&#xff0c;文物保护单位的安防系统现状存在各种管理弊端&#xff0c;安防系统没有统一的平台&#xff0c;系统功能不足、建设标准不同&#xff0c;产品和技术多样&#xff0c;导致各系统独立&#xff0c;无法联动&#xff0c;形成了“信息孤岛”。地面文物…...

编程日记 2023/10/29 4:27:47

k8s之Flannel网络插件安装提示forbidden无权限

一、问题描述 在安装k8s的网络插件时&#xff0c;提示如下信息&#xff0c;各种forbidden无权限 [rootzzyk8s01 scripts]# kubectl apply -f kube-flannel.yml Error from server (Forbidden): error when retrieving current configuration of: Resource: "policy/v1b…...

编程日记 2023/10/29 4:26:45

在微信小程序云开发中引入Vant Weapp组件库

介绍 Vant 是一个轻量、可靠的移动端组件库&#xff0c;于 2017 年开源。 目前 Vant 官方提供了 Vue 2 版本、Vue 3 版本和微信小程序版本&#xff0c;并由社区团队维护 React 版本和支付宝小程序版本。 介绍 - Vant Weapp (youzan.github.io) Vant Weapp需要安装 node.js&…...

编程日记 2023/10/29 4:25:44

Vue+ElementUI项目打包部署到Ubuntu服务器中

1、修改config/index.js中的assetsPublicPath: /,修改为assetsPublicPath: ./ assetsPublicPath: ./2、在build/utils.js中增加publicPath: ../../ publicPath: ../../3、打开终端&#xff0c;在根目录下执行npm run build进行打包&#xff0c;打包成功后会生成dist npm run…...

编程日记 2023/10/29 4:24:43

相场模拟结合贝叶斯优化：高效探索电池枝晶抑制与快充的权衡设计

1. 项目概述&#xff1a;当相场模拟遇见贝叶斯优化在金属电池&#xff0c;尤其是锂金属电池的研发前线&#xff0c;我们这些工程师和科学家每天都在与一个“幽灵”作斗争——枝晶。这些在充电过程中从金属负极表面肆意生长的针状或苔藓状晶体&#xff0c;不仅是导致电池容量衰减…...

编程新知 2026/5/24 5:32:07

智能AI图像识别之公共场合人员行为分析 深度学习CNN人员行为识别 抽烟和打电话图像识别 YOLO玩手机和饮酒目标检测第10397期 (1)

数据集 README 一、数据集核心信息表项目详情类别数量及中文名称4 类&#xff08;香烟、饮酒、进食、手机&#xff09;数据数量8300 条数据集格式YOLO 格式核心应用价值1. 支持智能监控场景中违规行为&#xff08;吸烟、工作时段进食等&#xff09;自动识别模型训练&#xff1b…...

编程新知 2026/5/24 5:10:12

从Kaggle竞赛到业务落地：GBM特征重要性到底怎么看？用Python实战教你做模型可解释性分析

解密GBM特征重要性&#xff1a;从技术指标到业务决策的实战指南在金融风控和精准营销的实际业务场景中&#xff0c;数据科学家常常面临一个关键挑战&#xff1a;不仅要让模型预测准确&#xff0c;还要能够清晰解释模型决策的依据。GBM&#xff08;Gradient Boosting Machines&a…...

编程新知 2026/5/24 5:07:51

Vaultwarden同步失败排查指南：日志诊断与5分钟修复

1. 这不是Bitwarden客户端的问题&#xff0c;而是你本地运行的Vaultwarden服务“断联”了很多人看到手机App里点“同步”没反应、网页端新建密码点保存后刷新就消失、或者浏览器插件提示“无法连接到服务器”&#xff0c;第一反应是重装客户端、清缓存、换网络——结果折腾半天…...

编程新知 2026/5/24 5:01:04

法律AI Agent不是替代律师，而是淘汰不会用Agent的律师——2024律所人才评估新增的3项硬性指标

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;法律AI Agent不是替代律师&#xff0c;而是淘汰不会用Agent的律师——2024律所人才评估新增的3项硬性指标 法律AI Agent的本质并非取代人类律师的判断力与伦理权衡能力&#xff0c;而是将重复性高、规则…...

编程新知 2026/5/24 4:52:43

AI与建模仿真融合：数字孪生从静态走向智能的核心路径与实践

1. 项目概述&#xff1a;当AI遇见建模仿真&#xff0c;数字孪生进入“觉醒”时代最近几年&#xff0c;数字孪生这个概念火得一塌糊涂&#xff0c;从智能制造到智慧城市&#xff0c;再到医疗健康&#xff0c;几乎每个行业都在谈论它。但说实话&#xff0c;很多项目做出来&#x…...

编程新知 2026/5/24 3:50:53

LLM多智能体驱动微服务自治：从架构设计到Sock Shop实战评估

1. 项目概述&#xff1a;当微服务遇见大模型&#xff0c;自管理不再是空谈在云原生和微服务架构成为主流的今天&#xff0c;我们运维工程师面对的早已不是几台物理服务器&#xff0c;而是一个由成百上千个容器化服务实例构成的、动态且复杂的生态系统。服务间的调用链路像一张错…...

编程新知 2026/5/24 3:13:27

UE5 GPU崩溃真相：Windows TCC超时机制与注册表调优指南

1. 为什么UE5项目一跑就GPU崩溃&#xff0c;而系统却说“显卡没出问题”&#xff1f;你刚在UE5里搭好一个带Niagara粒子Lumen全局光照的场景&#xff0c;点下Play&#xff0c;画面卡住两秒&#xff0c;然后整个编辑器黑屏、崩溃&#xff0c;任务管理器里UnrealEditor进程直接消…...

编程新知 2026/5/24 3:02:00

揭秘AI Agent如何3天筛选10万简历：头部猎企正在用的5个私有化部署方案

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;AI Agent招聘行业应用全景图 AI Agent正以前所未有的深度与广度重塑招聘行业的技术范式。它不再局限于简历关键词匹配或简单流程自动化&#xff0c;而是以多角色协同、上下文感知、自主决策为特征&…...

编程新知 2026/5/24 2:12:43

超冷原子吸收成像的深度学习优化方法

1. 超冷原子吸收图像分析的技术挑战在超冷原子实验中&#xff0c;原子云的空间分布信息是理解量子态的关键指标。吸收成像技术通过测量原子云对共振激光的吸收情况&#xff0c;能够非破坏性地获取这一信息。典型的吸收成像过程需要采集三帧图像&#xff1a;包含原子的图像&…...

编程新知 2026/5/24 1:50:16