当前位置：首页 > news >正文

[学习笔记]刘知远团队大模型技术与交叉应用L3-Transformer_and_PLMs

news 2025/12/27 3:02:56

RNN存在信息瓶颈的问题。
注意力机制的核心就是在decoder的每一步，都把encoder的所有向量提供给decoder模型。
在这里插入图片描述

具体的例子

先获得encoder隐向量的一个注意力分数。

在这里插入图片描述

注意力机制的各种变体

一：直接点积
二：中间乘以一个矩阵
三：Additive attention：使用一层前馈神经网络来获得注意力分数
…

Transformer概述

在这里插入图片描述

输入层

BPE（Byte Pair Encoding)

在这里插入图片描述
BPE提出主要是为了解决OOV的问题：会出现一些在词表中没有出现过的词。

在这里插入图片描述

位置编码Positional Encoding

在这里插入图片描述

Transformer Block

在这里插入图片描述

attention层

在这里插入图片描述
不进行scale，则方差会很大。则经过softmax后，有些部分会很尖锐，接近1。

在这里插入图片描述

多头注意力机制

在这里插入图片描述

Transformer Decoder Block

mask保证了文本生成是顺序生成的。
在这里插入图片描述

其他Tricks

在这里插入图片描述

Transformer的优缺点

缺点：模型对参数敏感，优化困难；处理文本复杂度是文本长度的平方数量级。
在这里插入图片描述

预训练语言模型PLM

预训练语言模型学习到的知识可以非常容易地迁移到下游任务。
word2vec是第一个预训练语言模型。现在绝大多数语言模型都是基于Transformer了，如Bert。

PLMs的两种范式

1.feature提取器：预训练好模型后，feature固定。典型的如word2vec和Elmo
2.对整个模型的参数进行更新
在这里插入图片描述

GPT

在这里插入图片描述

BERT

不同于GPT，BERT是双向的预训练模型。使用的是基于Mask的数据。
它的最主要的预训练任务是预测mask词。
还有一个是预测下一个句子。

在这里插入图片描述

PLMs after BERT

BERT的问题：
尽管BERT采用了一些策略，使mask可能替换成其他词或正确词。但是这并没有解决mask没有出现在下游任务。
预训练效率低。
窗口大小受限。
在这里插入图片描述

MLM任务的应用

跨语言对齐

在这里插入图片描述

跨模态对齐

在这里插入图片描述

PLM前沿

GPT3

在这里插入图片描述

T5

统一所有NLP任务为seq to seq的形式

MoE

每次模型调用部分子模块来处理。涉及调度，负载均衡。
在这里插入图片描述

Transformers教程

介绍

在这里插入图片描述

使用Transformers的Pipeline

在这里插入图片描述

Tokenization

在这里插入图片描述

常用API

在这里插入图片描述

[学习笔记]刘知远团队大模型技术与交叉应用L3-Transformer_and_PLMs

RNN存在信息瓶颈的问题。注意力机制的核心就是在decoder的每一步，都把encoder的所有向量提供给decoder模型。具体的例子先获得encoder隐向量的一个注意力分数。注意力机制的各种变体一：直接点积二：中间乘以一个矩阵三：…...

编程日记 2024/1/22 21:42:09

图像处理工具包Pillow的使用分享

Pillow 是 Python 中一个流行的图像处理库，它是 PIL（Python Imaging Library）的一个友好的分支版本。Pillow 提供了许多功能，使得图像处理变得容易和方便。下面是一些基本用法和示例： 安装 Pillow 首先，你…...

编程日记 2024/1/22 21:39:07

python进程间通信——命名管道（Named Pipe、FIFO）

文章目录 Python中的命名管道：深入理解进程间通信1. 命名管道简介2. 创建和删除命名管道3. 写入命名管道4. 读取命名管道5. 示例：进程间通信write_to_pipe.pyread_from_pipe.py测试运行 6. 注意事项和限制命名管道的半双工机制命名管道读写任意一方未打开…...

编程日记 2024/1/22 21:36:04

03 OSPF 学习大纲

参考文章 1 初步认识OSPF的大致内容(第三课)-CSDN博客 2...

编程日记 2024/1/22 21:35:04

HJ7 取近似值【C语言】

【华为机试题 HJ7】取近似值描述输入描述：输出描述：示例1示例2参考代码1参考代码2参考代码3描述写出一个程序，接受一个正浮点数值，输出该数值的近似整数值。如果小数点后数值大于等于 0.5 ,向上取整；小于 0.5 ，则向下取整。数据范围：保证输入的数字在 32 位浮点数范…...

编程日记 2024/1/22 21:34:02

php基础学习之常量

php常量的基本概念常量是在程序运行中的一种不可改变的量（数据），常量一旦定义，通常不可改变（用户级别）。 php常量的定义形式使用define函数：define("常量名字", 常量值);使用cons…...

编程日记 2024/1/22 21:31:00

2024最新面试经验分享

目录重点掌握的知识点JavaMySQLRedis 微服务分布式系统项目亮点场景题/设计题短链抢红包多租户开放性问题自我介绍为什么跳槽团队规模如何带团队如何看待加班职业规划主要针对Java程序员，当然也包含一些通用的内容。重点掌握的知识点需要重点掌握的知识点必须…...

编程日记 2024/1/22 21:29:59

《WebKit 技术内幕》之八（1）：硬件加速机制

《WebKit 技术内幕》之八（1）：硬件加速机制 1　硬件加速基础 1.1　概念这里说的硬件加速技术是指使用GPU的硬件能力来帮助渲染网页，因为GPU的作用主要是用来绘制3D图形并且性能特别好，这是它的专长所在，它…...

编程日记 2024/1/22 21:27:56

子表单扫码录入，显著节省填写时间

01/17 主要更新模块概览扫码识别新增字号登录配置匹配搜素扫码识别路径：表单设计 >> 字段属性功能简介之前对子表单扫码录入，是单独在组件内设置扫码，操作需重新点击扫码功能，手工新增子表数据&a…...

编程日记 2024/1/22 21:26:55

【Redis】Ubuntu安装配置

目录一、安装Redis 1.1 从APT仓库安装Redis 二、启动&关闭&重启三、Redis核心配置 3.1 CONFIG命令 3.2 redis.conf文件说明一、安装Redis 1.1 从APT仓库安装Redis 从APT仓库可以安装最新的Redis稳定版，步骤如下： 【1】安装需要用到的…...

编程日记 2024/1/22 21:24:53

idea远程服务调试

1. 配置idea远程服务调试这里以 idea 新 ui 为例，首先点击上面的 debug 旁边的三个小圆点，然后在弹出的框框中选择 “Edit”，如下图所示。然后进入到打开的界面后，点击左上角的 “” 进行添加，找到 “Remote JVM De…...

编程日记 2024/1/22 21:18:46

Google Colab运行Pytorch项目

Google Colab运行Pytorch项目连接google drive切换到某一文件夹显示当前目录文件安装依赖执行py文件numpy相关numpy.random.randn() 参考文章：文章1 文章2 连接google drive from google.colab import drive import os drive.mount(/content/drive)切换到某一文件…...

编程日记 2024/1/22 21:17:45

本示例使用的发卡器：https://item.taobao.com/item.htm?id615391857885&spma1z10.5-c.w4002-21818769070.11.1f60789ey1EsPH <?xml version"1.0" encoding"utf-8"?> <androidx.constraintlayout.widget.ConstraintLayout xmln…...

编程日记 2024/1/22 21:13:42

Demo: 实现PDF加水印以及自定义水印样式

实现PDF加水印以及自定义水印样式 <template><div><button click"previewHandle">预览</button><button click"downFileHandle">下载</button><el-input v-model"watermarkText" /><el-input v-mo…...

编程日记 2024/1/22 21:09:39

每日OJ题_算法_二分查找①_力扣704. 二分查找

目录二分查找算法原理力扣704. 二分查找解析代码二分查找算法原理二分查找一种效率较高的查找方法。但是，二分查找要求线性表必须采用顺序存储结构，而且表中元素按关键字有序排列。一般步骤如下： 首先，假设表中元素是按升…...

编程日记 2024/1/22 21:08:38

【Python】--- 基础语法（1）

目录 1.变量和表达式2.变量和类型2.1变量是什么2.2变量的语法2.3变量的类型2.3.1整数2.3.2浮点数（小数）2.3.3字符串2.3.4布尔2.3.5其他 2.4为什么要有这么多类型2.5动态类型特征 3.注释3.1注释的语法3.2注释的规范结语 1.变量和表达式对python的学习就…...

编程日记 2024/1/22 21:07:36

详解gorm中DB对象的clone属性

详解gorm中DB对象的clone属性 Gorm 版本：v1.22.4 Where函数源码 // Where add conditions func (db *DB) Where(query interface{}, args ...interface{}) (tx *DB) {tx db.getInstance()if conds : tx.Statement.BuildCondition(query, args...); len(conds) &…...

编程日记 2024/1/22 21:06:36

数据库（MySQL库表操作）

目录 1.1 SQL语句基础（SQL命令） 1.1.1 SQL的简介 1.1.2 SQL语句的分类 1.1.3 SQL语句的书写规范 1.2 数据库操作 1.2.1 查看 1.2.2 自建库 1.2.3 切换数据库 1.2.4 删库 1.3 MySQL字符集 1.3.1 MySQL字符集包括： 1.3.2 utf8 和 u…...

编程日记 2024/1/22 21:01:31

内网穿透的应用-如何使用Docker部署Redis数据库并结合内网穿透工具实现公网远程访问

文章目录前言1. 安装Docker步骤2. 使用docker拉取redis镜像3. 启动redis容器4. 本地连接测试4.1 安装redis图形化界面工具4.2 使用RDM连接测试 5. 公网远程访问本地redis5.1 内网穿透工具安装5.2 创建远程连接公网地址5.3 使用固定TCP地址远程访问前言本文主要介绍如何在Ub…...

编程日记 2024/1/22 21:00:29

计算机网络复试

第1章概述时延：发送(传输)时延传播时延链路中每多一个路由器，就增加一个分组的发送时延第2章物理层 2.4 编码与调制->编码(基带调制)->曼彻斯特编码 ->带通调制->混合调制->正交振幅调制QAM 信道极限容量奈氏准则无噪声最大速…...

编程日记 2024/1/22 20:57:27

Prompt Tuning、P-Tuning、Prefix Tuning的区别

一、Prompt Tuning、P-Tuning、Prefix Tuning的区别 1. Prompt Tuning（提示调优）核心思想：固定预训练模型参数，仅学习额外的连续提示向量（通常是嵌入层的一部分）。实现方式：在输入文本前添加可训练的连续向量（软提示），模型只更新这些提示参数。优势：参数量少（仅提…...

编程新知 2025/12/26 20:55:39

DockerHub与私有镜像仓库在容器化中的应用与管理

哈喽，大家好，我是左手python！ Docker Hub的应用与管理 Docker Hub的基本概念与使用方法 Docker Hub是Docker官方提供的一个公共镜像仓库，用户可以在其中找到各种操作系统、软件和应用的镜像。开发者可以通过Docker Hub轻松获取所…...

编程新知 2025/10/8 10:56:25

基于uniapp+WebSocket实现聊天对话、消息监听、消息推送、聊天室等功能，多端兼容

基于 UniApp + WebSocket实现多端兼容的实时通讯系统，涵盖WebSocket连接建立、消息收发机制、多端兼容性配置、消息实时监听等功能，适配微信小程序、H5、Android、iOS等终端目录技术选型分析WebSocket协议优势UniApp跨平台特性WebSocket 基础实现连接管理消息收发连接…...

编程新知 2025/12/18 5:57:51