当前位置： 首页 > news >正文

【nlp】4.3 nlp中常用的预训练模型（BERT及其变体）

news 2026/4/7 5:10:49

nlp中常用的预训练模型

  • 1 当下NLP中流行的预训练模型¶
    • 1.1 BERT及其变体
    • 1.2 GPT
    • 1.3 GPT-2及其变体
    • 1.4 Transformer-XL
    • 1.5 XLNet及其变体
    • 1.6 XLM
    • 1.7 RoBERTa及其变体
    • 1.8 DistilBERT及其变体
    • 1.9 ALBERT
    • 1.10 T5及其变体
    • 1.11 XLM-RoBERTa及其变体
  • 2 预训练模型说明¶
  • 3 预训练模型的分类

1 当下NLP中流行的预训练模型¶

  • BERT
  • GPT
  • GPT-2
  • Transformer-XL
  • XLNet
  • XLM
  • RoBERTa
  • DistilBERT
  • ALBERT
  • T5
  • XLM-RoBER

相关文章：

【nlp】4.3 nlp中常用的预训练模型（BERT及其变体）

nlp中常用的预训练模型 1 当下NLP中流行的预训练模型1.1 BERT及其变体1.2 GPT1.3 GPT-2及其变体1.4 Transformer-XL1.5 XLNet及其变体1.6 XLM1.7 RoBERTa及其变体1.8 DistilBERT及其变体1.9 ALBERT1.10 T5及其变体1.11 XLM-RoBERTa及其变体2 预训练模型说明3 预训练模型的分类1…...

编程日记 2023/11/28 3:32:19

IDEA中 java: 警告: 源发行版 11 需要目标发行版 11 如何解决

步骤1找到项目结构，下面有两种方式 步骤2找到 模块中对应的项目，修改对应的源的语言级别和依赖的模块SDK(M) 步骤3，启动一下，看有无问题， 步骤4，去文件-->设置-->构建、执行、部署-->编译器-->…...

编程日记 2023/11/28 3:31:17

APP测试的测试内容有哪些，常见的Bug分类介绍！

对于产品的手机项目（应用软件），主要是进行系统测试。而针对手机应用软件APP的系统测试，我们通常从如下几个角度开展：功能模块测试、兼容性测试、安装和卸载测试、软件更新测试、性能测试、用户体验性测试、交叉事件测试…...

编程日记 2023/11/28 3:30:16

【Java程序员面试专栏 专业技能篇】Java SE核心面试指引（三）：核心机制策略

关于Java SE部分的核心知识进行一网打尽，包括四部分：基础知识考察、面向对象思想、核心机制策略、Java新特性，通过一篇文章串联面试重点，并且帮助加强日常基础知识的理解，全局思维导图如下所示 本篇Blog为第三部分：核心机制策略，子节点表示追问或同级提问 异常处理 …...

编程日记 2023/11/28 3:29:14

网络运维与网络安全 学习笔记2023.11.22

网络运维与网络安全 学习笔记 第二十三天 今日目标 VLAN间通信之交换机、VLAN间通信综合案例、浮动路由 VRRP原理与配置、VRRP链路跟踪、VRRP安全认证 VLAN间通信之交换机 单臂路由的缺陷 在内网的VLAN数量增多时，单臂链路容易成为网络瓶颈 三层交换机 具备…...

编程日记 2023/11/28 3:28:13

Android虚拟化

一、开源项目 开源的项目有一些，比如完全虚拟化的： twoyi 两仪由两部分组成：两仪 App，它实际上是一个 UI 渲染引擎，两仪内部运行的 ROM。 但是看telegram和github，这个app没有完整开源，并且最近…...

编程日记 2023/11/28 3:26:12

Nginx如何配置负载均衡

nginx的负载均衡有4种模式： 1)、轮询（默认） 每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。 2)、weight 指定轮询几率，weight和访问比率成正比，用于后端服务…...

编程日记 2023/11/28 3:25:11

Python虚拟环境

Python虚拟环境 介绍 虚拟环境（virtual environment），它是一个虚拟化，从电脑独立开辟出来的环境。通俗的来讲，虚拟环境就是借助虚拟机来把一部分内容独立出来，我们把这部分独立出来的东西称作“容器”&am…...

编程日记 2023/11/28 3:24:10

单片机学习4——中断的概念

中断的概念： CPU在处理A事件的时候，发生了B事件，请求CPU迅速去处理。（中断产生） CPU暂时中断当前的工作，转去处理B事件。（中断响应和中断服务） 待CPU将B事件处理完毕后&#xff0…...

编程日记 2023/11/28 3:23:05

Go语言网络爬虫工程经验分享：pholcus库演示抓取头条新闻的实例

网络爬虫是一种自动从互联网上获取数据的程序，它可以用于各种目的，如数据分析、信息检索、竞争情报等。网络爬虫的实现方式有很多，不同的编程语言和框架都有各自的优势和特点。在本文中，我将介绍一种使用Go语言和pholcus库的网络爬…...

编程日记 2023/11/28 3:21:01

Git安装

简单粗暴，跟着步骤一步一步来 右键就会有了...

编程日记 2023/11/28 3:20:00

以太网通讯协议小结--持续更新中

一、以太网介绍 以太网是一种产生较早，使用相当广泛的局域网技术，局域网就是一个区域的网络互联，可以使办公室也可以是学校等等，大小规模不一。 目前以太网根据速度等级分类大概分为：标准以太网（10Mbit/s…...

编程日记 2023/11/28 3:18:58

Excel换不了行怎么解决？

方法一: 使用Alt Enter键 在Excel中，输入文字时按下回车键，光标将会移到下一个单元格，如果想要换行，可以尝试使用Alt Enter键。具体操作如下: 1.在单元格中输入文字; 2.想要换行时，在需要换行的位置按下Alt Enter键; 3…...

编程日记 2023/11/28 3:17:57

Flink CDC -Sqlserver to Sqlserver java 模版编写

1.基本环境 <flink.version>1.17.0</flink.version> 2. 类文件 package com.flink.tablesql;import org.apache.commons.io.FileUtils; import org.apache.commons.lang3.StringUtils; import org.apache.flink.streaming.api.environment.StreamExecutionEnviro…...

编程日记 2023/11/28 3:16:55

4.前端--HTML标签-表格列表表单【2023.11.25】

1.表格 1.1表格的作用 表格的作用&#xff1a;表格主要用于显示、展示数据 1.2表格的基本格式 <table><tr><td>单元格内的文字</td><td>单元格内的文字</td>...</tr>... </table><table> </table> 是用于定义表…...

编程日记 2023/11/28 3:15:54

MySQL的Redo Log跟Binlog

文章目录 概要Redo Log日志Redo Log的作用Redo Log的写入机制 Binlog日志Binlog的作用Binlog写入机制 两段提交 概要 Redo Log和Binlog是MySQL日志系统中非常重要的两种机制&#xff0c;也有很多相似之处&#xff0c;本文主要介绍两者细节和区别。 Redo Log日志 Redo Log的作…...

编程日记 2023/11/28 3:14:53

定制手机套餐---python序列

if __name__ __main__:print("定制手机套餐")print("")#定义电话时长&#xff1a;字典callTimeOptions{1:0分钟,2:50分钟,3:100分钟,4:300分钟,5:不限量}callTimeInputinput("请输入电话时长的选择编号&#xff1a;")callTimeResultcallTimeOpt…...

编程日记 2023/11/28 3:13:51

线性分类器--数据处理

数据集划分 通常按照 70%&#xff0c;20% &#xff0c;10% 来分数据集 数据处理 斯坦福的线性分类器体验 http://vision.stanford.edu/teaching/cs231n-demos/linear-classify/...

编程日记 2023/11/28 3:12:50

一些可能被忽视的 Vue3 API 附带案例

Vue3 是 Vue.js 的最新版本&#xff0c;它引入了许多新的 API 和改进。以下是一些可能被忽视的 Vue3 API&#xff1a; reactive&#xff1a;这是 Vue3 中用于创建响应式对象的函数。与 Vue2 中的 data 不同&#xff0c;reactive 返回的对象是响应式的&#xff0c;这意味着当对…...

编程日记 2023/11/28 3:11:49

Linux git

1.Git 初识 不知道你⼯作或学习时&#xff0c;有没有遇到这样的情况&#xff1a;我们在编写各种⽂档时&#xff0c;为了防止文档丢失&#xff0c;更改失误&#xff0c;失误后能恢复到原来的版本&#xff0c;不得不复制出⼀个副本&#xff0c;⽐如&#xff1a; “报告-v1”? …...

编程日记 2023/11/28 3:10:48

nlp_structbert_sentence-similarity_chinese-large部署案例：智能写作助手语义建议模块

nlp_structbert_sentence-similarity_chinese-large部署案例&#xff1a;智能写作助手语义建议模块 1. 项目背景与价值 作为一名长期从事AI应用开发的工程师&#xff0c;我一直在寻找能够真正理解中文语义的实用工具。今天要介绍的这款基于StructBERT的句子相似度分析工具&am…...

编程新知 2026/4/7 3:39:07

5个革新方案：BetterJoy实现Switch手柄全场景PC适配

5个革新方案&#xff1a;BetterJoy实现Switch手柄全场景PC适配 【免费下载链接】BetterJoy Allows the Nintendo Switch Pro Controller, Joycons and SNES controller to be used with CEMU, Citra, Dolphin, Yuzu and as generic XInput 项目地址: https://gitcode.com/gh_…...

编程新知 2026/4/7 2:33:23

XPT2046触摸驱动设计与车载嵌入式集成实践

1. XPT2046 触摸控制器驱动技术解析与嵌入式集成实践XPT2046 是一款广泛应用于嵌入式人机交互系统的 12 位逐次逼近型&#xff08;SAR&#xff09;模数转换器&#xff08;ADC&#xff09;&#xff0c;专为四线/五线电阻式触摸屏设计。其核心功能并非独立显示驱动&#xff0c;而…...

编程新知 2026/4/7 0:29:30

SecGPT-14B知识库增强：让OpenClaw安全决策更精准

SecGPT-14B知识库增强&#xff1a;让OpenClaw安全决策更精准 1. 为什么需要知识库增强的OpenClaw 去年我在尝试用OpenClaw自动化处理安全日志时&#xff0c;发现一个尴尬的问题&#xff1a;当模型遇到CVE漏洞编号时&#xff0c;经常给出模棱两可的判断。比如看到"CVE-20…...

编程新知 2026/4/7 0:29:30

SVG-Morpheus实战教程：10个实用技巧打造惊艳UI动画

SVG-Morpheus实战教程&#xff1a;10个实用技巧打造惊艳UI动画 【免费下载链接】SVG-Morpheus JavaScript library enabling SVG icons to morph from one to the other. It implements Material Designs Delightful Details transitions. (THIS PROJECT IS NOT MAINTAINED ANY…...

编程新知 2026/4/6 20:27:24

高级编程 第二节：生成器和迭代器

一、迭代器和可迭代对象 1、迭代器对象 定义： 类中定义了__iter__和__next__函数 __iter__函数返回self，也就是自身 __next__函数返回下一个数据，如果没有数据了，则要返回StopIteration的异常 满足这三个条件的对象，就是迭代器对象。 class MyRange():def __init__(…...

编程新知 2026/4/6 19:35:03

别再瞎调RAG了！用RAGAS给你的LangChain应用做个“体检报告”（附完整代码）

用RAGAS为你的LangChain应用做深度诊断&#xff1a;从指标解读到精准优化 当你花费数周构建的RAG系统突然在关键演示中输出"纽约市得名于一位爱吃苹果的市长"时&#xff0c;那种绝望感我深有体会。去年我们的客服机器人就曾把"产品退货政策"解释成"建…...

编程新知 2026/4/6 19:29:03

【深度学习新浪潮】OpenClaw架构与技术关键点全解析：为什么它能成功，而前代框架纷纷折戟？

引言 在AI Agent从概念走向落地的过程中&#xff0c;AutoGPT、LangChain早期版本、BabyAGI等框架一度掀起热潮&#xff0c;但始终难以实现规模化、稳定化的实际生产落地。OpenClaw作为MIT主导开源的本地优先AI执行网关&#xff0c;上线后迅速成为现象级开源项目&#xff0c;其核…...

编程新知 2026/4/6 19:10:46

AI辅助地图开发：用自然语言告诉快马你想要什么样的智能地图应用

AI辅助地图开发&#xff1a;用自然语言告诉快马你想要什么样的智能地图应用 最近在做一个旅游推荐项目&#xff0c;需要展示杭州的几个著名景点在地图上的分布。传统做法可能需要手动查找每个地点的经纬度坐标&#xff0c;然后编写大量代码来添加标记点和实现筛选功能。但在In…...

编程新知 2026/4/6 19:02:44

vscode-react-native终极入门指南：5分钟搭建React Native开发环境

vscode-react-native终极入门指南&#xff1a;5分钟搭建React Native开发环境 【免费下载链接】vscode-react-native VSCode extension for React Native - supports debugging and editor integration 项目地址: https://gitcode.com/gh_mirrors/vs/vscode-react-native …...

编程新知 2026/4/6 16:43:10