当前位置： 首页 > news >正文

【nlp】4.3 nlp中常用的预训练模型（BERT及其变体）

news 2026/2/10 2:35:58

nlp中常用的预训练模型

  • 1 当下NLP中流行的预训练模型¶
    • 1.1 BERT及其变体
    • 1.2 GPT
    • 1.3 GPT-2及其变体
    • 1.4 Transformer-XL
    • 1.5 XLNet及其变体
    • 1.6 XLM
    • 1.7 RoBERTa及其变体
    • 1.8 DistilBERT及其变体
    • 1.9 ALBERT
    • 1.10 T5及其变体
    • 1.11 XLM-RoBERTa及其变体
  • 2 预训练模型说明¶
  • 3 预训练模型的分类

1 当下NLP中流行的预训练模型¶

  • BERT
  • GPT
  • GPT-2
  • Transformer-XL
  • XLNet
  • XLM
  • RoBERTa
  • DistilBERT
  • ALBERT
  • T5
  • XLM-RoBER

相关文章：

【nlp】4.3 nlp中常用的预训练模型（BERT及其变体）

nlp中常用的预训练模型 1 当下NLP中流行的预训练模型1.1 BERT及其变体1.2 GPT1.3 GPT-2及其变体1.4 Transformer-XL1.5 XLNet及其变体1.6 XLM1.7 RoBERTa及其变体1.8 DistilBERT及其变体1.9 ALBERT1.10 T5及其变体1.11 XLM-RoBERTa及其变体2 预训练模型说明3 预训练模型的分类1…...

编程日记 2023/11/28 3:32:19

IDEA中 java: 警告: 源发行版 11 需要目标发行版 11 如何解决

步骤1找到项目结构，下面有两种方式 步骤2找到 模块中对应的项目，修改对应的源的语言级别和依赖的模块SDK(M) 步骤3，启动一下，看有无问题， 步骤4，去文件-->设置-->构建、执行、部署-->编译器-->…...

编程日记 2023/11/28 3:31:17

APP测试的测试内容有哪些，常见的Bug分类介绍！

对于产品的手机项目（应用软件），主要是进行系统测试。而针对手机应用软件APP的系统测试，我们通常从如下几个角度开展：功能模块测试、兼容性测试、安装和卸载测试、软件更新测试、性能测试、用户体验性测试、交叉事件测试…...

编程日记 2023/11/28 3:30:16

【Java程序员面试专栏 专业技能篇】Java SE核心面试指引（三）：核心机制策略

关于Java SE部分的核心知识进行一网打尽，包括四部分：基础知识考察、面向对象思想、核心机制策略、Java新特性，通过一篇文章串联面试重点，并且帮助加强日常基础知识的理解，全局思维导图如下所示 本篇Blog为第三部分：核心机制策略，子节点表示追问或同级提问 异常处理 …...

编程日记 2023/11/28 3:29:14

网络运维与网络安全 学习笔记2023.11.22

网络运维与网络安全 学习笔记 第二十三天 今日目标 VLAN间通信之交换机、VLAN间通信综合案例、浮动路由 VRRP原理与配置、VRRP链路跟踪、VRRP安全认证 VLAN间通信之交换机 单臂路由的缺陷 在内网的VLAN数量增多时，单臂链路容易成为网络瓶颈 三层交换机 具备…...

编程日记 2023/11/28 3:28:13

Android虚拟化

一、开源项目 开源的项目有一些，比如完全虚拟化的： twoyi 两仪由两部分组成：两仪 App，它实际上是一个 UI 渲染引擎，两仪内部运行的 ROM。 但是看telegram和github，这个app没有完整开源，并且最近…...

编程日记 2023/11/28 3:26:12

Nginx如何配置负载均衡

nginx的负载均衡有4种模式： 1)、轮询（默认） 每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。 2)、weight 指定轮询几率，weight和访问比率成正比，用于后端服务…...

编程日记 2023/11/28 3:25:11

Python虚拟环境

Python虚拟环境 介绍 虚拟环境（virtual environment），它是一个虚拟化，从电脑独立开辟出来的环境。通俗的来讲，虚拟环境就是借助虚拟机来把一部分内容独立出来，我们把这部分独立出来的东西称作“容器”&am…...

编程日记 2023/11/28 3:24:10

单片机学习4——中断的概念

中断的概念： CPU在处理A事件的时候，发生了B事件，请求CPU迅速去处理。（中断产生） CPU暂时中断当前的工作，转去处理B事件。（中断响应和中断服务） 待CPU将B事件处理完毕后&#xff0…...

编程日记 2023/11/28 3:23:05

Go语言网络爬虫工程经验分享：pholcus库演示抓取头条新闻的实例

网络爬虫是一种自动从互联网上获取数据的程序，它可以用于各种目的，如数据分析、信息检索、竞争情报等。网络爬虫的实现方式有很多，不同的编程语言和框架都有各自的优势和特点。在本文中，我将介绍一种使用Go语言和pholcus库的网络爬…...

编程日记 2023/11/28 3:21:01

Git安装

简单粗暴，跟着步骤一步一步来 右键就会有了...

编程日记 2023/11/28 3:20:00

以太网通讯协议小结--持续更新中

一、以太网介绍 以太网是一种产生较早，使用相当广泛的局域网技术，局域网就是一个区域的网络互联，可以使办公室也可以是学校等等，大小规模不一。 目前以太网根据速度等级分类大概分为：标准以太网（10Mbit/s…...

编程日记 2023/11/28 3:18:58

Excel换不了行怎么解决？

方法一: 使用Alt Enter键 在Excel中，输入文字时按下回车键，光标将会移到下一个单元格，如果想要换行，可以尝试使用Alt Enter键。具体操作如下: 1.在单元格中输入文字; 2.想要换行时，在需要换行的位置按下Alt Enter键; 3…...

编程日记 2023/11/28 3:17:57

Flink CDC -Sqlserver to Sqlserver java 模版编写

1.基本环境 <flink.version>1.17.0</flink.version> 2. 类文件 package com.flink.tablesql;import org.apache.commons.io.FileUtils; import org.apache.commons.lang3.StringUtils; import org.apache.flink.streaming.api.environment.StreamExecutionEnviro…...

编程日记 2023/11/28 3:16:55

4.前端--HTML标签-表格列表表单【2023.11.25】

1.表格 1.1表格的作用 表格的作用&#xff1a;表格主要用于显示、展示数据 1.2表格的基本格式 <table><tr><td>单元格内的文字</td><td>单元格内的文字</td>...</tr>... </table><table> </table> 是用于定义表…...

编程日记 2023/11/28 3:15:54

MySQL的Redo Log跟Binlog

文章目录 概要Redo Log日志Redo Log的作用Redo Log的写入机制 Binlog日志Binlog的作用Binlog写入机制 两段提交 概要 Redo Log和Binlog是MySQL日志系统中非常重要的两种机制&#xff0c;也有很多相似之处&#xff0c;本文主要介绍两者细节和区别。 Redo Log日志 Redo Log的作…...

编程日记 2023/11/28 3:14:53

定制手机套餐---python序列

if __name__ __main__:print("定制手机套餐")print("")#定义电话时长&#xff1a;字典callTimeOptions{1:0分钟,2:50分钟,3:100分钟,4:300分钟,5:不限量}callTimeInputinput("请输入电话时长的选择编号&#xff1a;")callTimeResultcallTimeOpt…...

编程日记 2023/11/28 3:13:51

线性分类器--数据处理

数据集划分 通常按照 70%&#xff0c;20% &#xff0c;10% 来分数据集 数据处理 斯坦福的线性分类器体验 http://vision.stanford.edu/teaching/cs231n-demos/linear-classify/...

编程日记 2023/11/28 3:12:50

一些可能被忽视的 Vue3 API 附带案例

Vue3 是 Vue.js 的最新版本&#xff0c;它引入了许多新的 API 和改进。以下是一些可能被忽视的 Vue3 API&#xff1a; reactive&#xff1a;这是 Vue3 中用于创建响应式对象的函数。与 Vue2 中的 data 不同&#xff0c;reactive 返回的对象是响应式的&#xff0c;这意味着当对…...

编程日记 2023/11/28 3:11:49

Linux git

1.Git 初识 不知道你⼯作或学习时&#xff0c;有没有遇到这样的情况&#xff1a;我们在编写各种⽂档时&#xff0c;为了防止文档丢失&#xff0c;更改失误&#xff0c;失误后能恢复到原来的版本&#xff0c;不得不复制出⼀个副本&#xff0c;⽐如&#xff1a; “报告-v1”? …...

编程日记 2023/11/28 3:10:48

JVM垃圾回收机制全解析

Java虚拟机&#xff08;JVM&#xff09;中的垃圾收集器&#xff08;Garbage Collector&#xff0c;简称GC&#xff09;是用于自动管理内存的机制。它负责识别和清除不再被程序使用的对象&#xff0c;从而释放内存空间&#xff0c;避免内存泄漏和内存溢出等问题。垃圾收集器在Ja…...

编程新知 2026/1/9 14:53:35

vue3 字体颜色设置的多种方式

在Vue 3中设置字体颜色可以通过多种方式实现&#xff0c;这取决于你是想在组件内部直接设置&#xff0c;还是在CSS/SCSS/LESS等样式文件中定义。以下是几种常见的方法&#xff1a; 1. 内联样式 你可以直接在模板中使用style绑定来设置字体颜色。 <template><div :s…...

编程新知 2026/2/4 20:47:44

Nuxt.js 中的路由配置详解

Nuxt.js 通过其内置的路由系统简化了应用的路由配置&#xff0c;使得开发者可以轻松地管理页面导航和 URL 结构。路由配置主要涉及页面组件的组织、动态路由的设置以及路由元信息的配置。 自动路由生成 Nuxt.js 会根据 pages 目录下的文件结构自动生成路由配置。每个文件都会对…...

编程新知 2026/2/9 4:13:22

数据链路层的主要功能是什么

数据链路层&#xff08;OSI模型第2层&#xff09;的核心功能是在相邻网络节点&#xff08;如交换机、主机&#xff09;间提供可靠的数据帧传输服务&#xff0c;主要职责包括&#xff1a; &#x1f511; 核心功能详解&#xff1a; 帧封装与解封装 封装&#xff1a; 将网络层下发…...

编程新知 2026/2/1 7:31:51

C# 类和继承(抽象类)

抽象类 抽象类是指设计为被继承的类。抽象类只能被用作其他类的基类。 不能创建抽象类的实例。抽象类使用abstract修饰符声明。 抽象类可以包含抽象成员或普通的非抽象成员。抽象类的成员可以是抽象成员和普通带 实现的成员的任意组合。抽象类自己可以派生自另一个抽象类。例…...

编程新知 2026/1/29 16:25:24

Maven 概述、安装、配置、仓库、私服详解

目录 1、Maven 概述 1.1 Maven 的定义 1.2 Maven 解决的问题 1.3 Maven 的核心特性与优势 2、Maven 安装 2.1 下载 Maven 2.2 安装配置 Maven 2.3 测试安装 2.4 修改 Maven 本地仓库的默认路径 3、Maven 配置 3.1 配置本地仓库 3.2 配置 JDK 3.3 IDEA 配置本地 Ma…...

编程新知 2026/2/8 1:58:01

C# 求圆面积的程序（Program to find area of a circle）

给定半径r&#xff0c;求圆的面积。圆的面积应精确到小数点后5位。 例子&#xff1a; 输入&#xff1a;r 5 输出&#xff1a;78.53982 解释&#xff1a;由于面积 PI * r * r 3.14159265358979323846 * 5 * 5 78.53982&#xff0c;因为我们只保留小数点后 5 位数字。 输…...

编程新知 2026/2/8 9:34:11

【JVM】Java虚拟机（二）——垃圾回收

目录 一、如何判断对象可以回收 &#xff08;一&#xff09;引用计数法 &#xff08;二&#xff09;可达性分析算法 二、垃圾回收算法 &#xff08;一&#xff09;标记清除 &#xff08;二&#xff09;标记整理 &#xff08;三&#xff09;复制 &#xff08;四&#xff…...

编程新知 2026/1/31 9:49:23

计算机基础知识解析：从应用到架构的全面拆解

目录 前言 1、 计算机的应用领域&#xff1a;无处不在的数字助手 2、 计算机的进化史&#xff1a;从算盘到量子计算 3、计算机的分类&#xff1a;不止 “台式机和笔记本” 4、计算机的组件&#xff1a;硬件与软件的协同 4.1 硬件&#xff1a;五大核心部件 4.2 软件&#…...

编程新知 2026/1/31 9:44:27

redis和redission的区别

Redis 和 Redisson 是两个密切相关但又本质不同的技术&#xff0c;它们扮演着完全不同的角色&#xff1a; Redis: 内存数据库/数据结构存储 本质&#xff1a; 它是一个开源的、高性能的、基于内存的 键值存储数据库。它也可以将数据持久化到磁盘。 核心功能&#xff1a; 提供丰…...

编程新知 2025/11/6 1:34:07