当前位置： 首页 > news >正文

[学习笔记]刘知远团队大模型技术与交叉应用L3-Transformer_and_PLMs

news 2026/3/27 8:13:29

RNN存在信息瓶颈的问题。
注意力机制的核心就是在decoder的每一步，都把encoder的所有向量提供给decoder模型。
在这里插入图片描述

具体的例子

先获得encoder隐向量的一个注意力分数。

在这里插入图片描述

注意力机制的各种变体

一：直接点积
二：中间乘以一个矩阵
三：Additive attention：使用一层前馈神经网络来获得注意力分数
…

Transformer概述

在这里插入图片描述

输入层

BPE（Byte Pair Encoding)

在这里插入图片描述
BPE提出主要是为了解决OOV的问题：会出现一些在词表中没有出现过的词。

在这里插入图片描述

位置编码Positional Encoding

在这里插入图片描述

Transformer Block

在这里插入图片描述

attention层

在这里插入图片描述
不进行scale，则方差会很大。则经过softmax后，有些部分会很尖锐，接近1。

在这里插入图片描述

多头注意力机制

在这里插入图片描述

Transformer Decoder Block

mask保证了文本生成是顺序生成的。
在这里插入图片描述

其他Tricks

在这里插入图片描述

Transformer的优缺点

缺点：模型对参数敏感，优化困难；处理文本复杂度是文本长度的平方数量级。
在这里插入图片描述

预训练语言模型PLM

预训练语言模型学习到的知识可以非常容易地迁移到下游任务。
word2vec是第一个预训练语言模型。现在绝大多数语言模型都是基于Transformer了，如Bert。

PLMs的两种范式

1.feature提取器：预训练好模型后，feature固定。典型的如word2vec和Elmo
2.对整个模型的参数进行更新
在这里插入图片描述

GPT

在这里插入图片描述
在这里插入图片描述

BERT

不同于GPT，BERT是双向的预训练模型。使用的是基于Mask的数据。
它的最主要的预训练任务是预测mask词。
还有一个是预测下一个句子。

在这里插入图片描述
在这里插入图片描述

PLMs after BERT

BERT的问题：
尽管BERT采用了一些策略，使mask可能替换成其他词或正确词。但是这并没有解决mask没有出现在下游任务。
预训练效率低。
窗口大小受限。
在这里插入图片描述

相关改进工作

RoBERTa指出bert并没有完全训练。它可以被训练得更加鲁棒。
在这里插入图片描述

在这里插入图片描述

MLM任务的应用

跨语言对齐

在这里插入图片描述

跨模态对齐

在这里插入图片描述

PLM前沿

GPT3

在这里插入图片描述
在这里插入图片描述

T5

统一所有NLP任务为seq to seq的形式

MoE

每次模型调用部分子模块来处理。涉及调度，负载均衡。
在这里插入图片描述

Transformers教程

介绍

在这里插入图片描述

使用Transformers的Pipeline

在这里插入图片描述

Tokenization

在这里插入图片描述

常用API

在这里插入图片描述
在这里插入图片描述

相关文章：

[学习笔记]刘知远团队大模型技术与交叉应用L3-Transformer_and_PLMs

RNN存在信息瓶颈的问题。 注意力机制的核心就是在decoder的每一步，都把encoder的所有向量提供给decoder模型。 具体的例子 先获得encoder隐向量的一个注意力分数。 注意力机制的各种变体 一：直接点积 二：中间乘以一个矩阵 三：…...

编程日记 2024/1/22 21:42:09

图像处理工具包Pillow的使用分享

Pillow 是 Python 中一个流行的图像处理库，它是 PIL（Python Imaging Library）的一个友好的分支版本。Pillow 提供了许多功能，使得图像处理变得容易和方便。下面是一些基本用法和示例： 安装 Pillow 首先，你…...

编程日记 2024/1/22 21:39:07

python进程间通信——命名管道（Named Pipe、FIFO）

文章目录 Python中的命名管道：深入理解进程间通信1. 命名管道简介2. 创建和删除命名管道3. 写入命名管道4. 读取命名管道5. 示例：进程间通信write_to_pipe.pyread_from_pipe.py测试运行 6. 注意事项和限制命名管道的半双工机制命名管道读写任意一方未打开…...

编程日记 2024/1/22 21:36:04

03 OSPF 学习大纲

参考文章 1 初步认识OSPF的大致内容(第三课)-CSDN博客 2...

编程日记 2024/1/22 21:35:04

HJ7 取近似值【C语言】

【华为机试题 HJ7】取近似值 描述输入描述：输出描述：示例1示例2参考代码1参考代码2参考代码3描述 写出一个程序，接受一个正浮点数值，输出该数值的近似整数值。如果小数点后数值大于等于 0.5 ,向上取整；小于 0.5 ，则向下取整。 数据范围：保证输入的数字在 32 位浮点数范…...

编程日记 2024/1/22 21:34:02

php基础学习之常量

php常量的基本概念 常量是在程序运行中的一种不可改变的量（数据），常量一旦定义，通常不可改变（用户级别）。 php常量的定义形式 使用define函数：define("常量名字", 常量值);使用cons…...

编程日记 2024/1/22 21:31:00

2024最新面试经验分享

目录 重点掌握的知识点JavaMySQLRedis 微服务分布式系统项目亮点场景题/设计题短链抢红包多租户 开放性问题自我介绍为什么跳槽团队规模如何带团队如何看待加班职业规划 主要针对Java程序员，当然也包含一些通用的内容。 重点掌握的知识点 需要重点掌握的知识点必须…...

编程日记 2024/1/22 21:29:59

《WebKit 技术内幕》之八（1）：硬件加速机制

《WebKit 技术内幕》之八（1）：硬件加速机制 1　硬件加速基础 1.1　概念 这里说的硬件加速技术是指使用GPU的硬件能力来帮助渲染网页，因为GPU的作用主要是用来绘制3D图形并且性能特别好，这是它的专长所在，它…...

编程日记 2024/1/22 21:27:56

子表单扫码录入，显著节省填写时间

01/17 主要更新模块概览 扫 码 识 别 新 增 字 号 登 录 配 置 匹 配 搜 素 扫码识别 路径：表单设计 >> 字段属性 功能简介 之前对子表单扫码录入，是单独在组件内设置扫码，操作需重新点击扫码功能，手工新增子表数据&a…...

编程日记 2024/1/22 21:26:55

【Redis】Ubuntu安装配置

目录 一、安装Redis 1.1 从APT仓库安装Redis 二、启动&关闭&重启 三、Redis核心配置 3.1 CONFIG命令 3.2 redis.conf文件说明 一、安装Redis 1.1 从APT仓库安装Redis 从APT仓库可以安装最新的Redis稳定版，步骤如下： 【1】安装需要用到的…...

编程日记 2024/1/22 21:24:53

idea远程服务调试

1. 配置idea远程服务调试 这里以 idea 新 ui 为例，首先点击上面的 debug 旁边的三个小圆点，然后在弹出的框框中选择 “Edit”，如下图所示。 然后进入到打开的界面后，点击左上角的 “” 进行添加，找到 “Remote JVM De…...

编程日记 2024/1/22 21:18:46

Google Colab运行Pytorch项目

Google Colab运行Pytorch项目 连接google drive切换到某一文件夹显示当前目录文件安装依赖执行py文件numpy相关numpy.random.randn() 参考文章：文章1 文章2 连接google drive from google.colab import drive import os drive.mount(/content/drive)切换到某一文件…...

编程日记 2024/1/22 21:17:45

Android Studi安卓读写NDEF智能海报源码

本示例使用的发卡器&#xff1a;https://item.taobao.com/item.htm?id615391857885&spma1z10.5-c.w4002-21818769070.11.1f60789ey1EsPH <?xml version"1.0" encoding"utf-8"?> <androidx.constraintlayout.widget.ConstraintLayout xmln…...

编程日记 2024/1/22 21:13:42

Demo: 实现PDF加水印以及自定义水印样式

实现PDF加水印以及自定义水印样式 <template><div><button click"previewHandle">预览</button><button click"downFileHandle">下载</button><el-input v-model"watermarkText" /><el-input v-mo…...

编程日记 2024/1/22 21:09:39

每日OJ题_算法_二分查找①_力扣704. 二分查找

目录 二分查找算法原理 力扣704. 二分查找 解析代码 二分查找算法原理 二分查找一种效率较高的查找方法。但是&#xff0c;二分查找要求线性表必须采用顺序存储结构&#xff0c;而且表中元素按关键字有序排列。一般步骤如下&#xff1a; 首先&#xff0c;假设表中元素是按升…...

编程日记 2024/1/22 21:08:38

【Python】--- 基础语法（1）

目录 1.变量和表达式2.变量和类型2.1变量是什么2.2变量的语法2.3变量的类型2.3.1整数2.3.2浮点数&#xff08;小数&#xff09;2.3.3字符串2.3.4布尔2.3.5其他 2.4为什么要有这么多类型2.5动态类型特征 3.注释3.1注释的语法3.2注释的规范 结语 1.变量和表达式 对python的学习就…...

编程日记 2024/1/22 21:07:36

详解gorm中DB对象的clone属性

详解gorm中DB对象的clone属性 Gorm 版本&#xff1a;v1.22.4 Where函数源码 // Where add conditions func (db *DB) Where(query interface{}, args ...interface{}) (tx *DB) {tx db.getInstance()if conds : tx.Statement.BuildCondition(query, args...); len(conds) &…...

编程日记 2024/1/22 21:06:36

数据库（MySQL库表操作）

目录 1.1 SQL语句基础&#xff08;SQL命令&#xff09; 1.1.1 SQL的简介 1.1.2 SQL语句的分类 1.1.3 SQL语句的书写规范 1.2 数据库操作 1.2.1 查看 1.2.2 自建库 1.2.3 切换数据库 1.2.4 删库 1.3 MySQL字符集 1.3.1 MySQL字符集包括&#xff1a; 1.3.2 utf8 和 u…...

编程日记 2024/1/22 21:01:31

内网穿透的应用-如何使用Docker部署Redis数据库并结合内网穿透工具实现公网远程访问

文章目录 前言1. 安装Docker步骤2. 使用docker拉取redis镜像3. 启动redis容器4. 本地连接测试4.1 安装redis图形化界面工具4.2 使用RDM连接测试 5. 公网远程访问本地redis5.1 内网穿透工具安装5.2 创建远程连接公网地址5.3 使用固定TCP地址远程访问 前言 本文主要介绍如何在Ub…...

编程日记 2024/1/22 21:00:29

计算机网络复试

第1章 概述 时延&#xff1a;发送(传输)时延传播时延 链路中每多一个路由器&#xff0c;就增加一个分组的发送时延 第2章 物理层 2.4 编码与调制->编码(基带调制)->曼彻斯特编码 ->带通调制->混合调制->正交振幅调制QAM 信道极限容量 奈氏准则 无噪声最大速…...

编程日记 2024/1/22 20:57:27

Qwen2.5-VL-7B-Instruct镜像免配置教程：开箱即用的视觉语言推理平台

Qwen2.5-VL-7B-Instruct镜像免配置教程&#xff1a;开箱即用的视觉语言推理平台 1. 开篇介绍 你是否遇到过这样的场景&#xff1a;需要快速搭建一个能同时理解图片和文字的AI系统&#xff0c;却被复杂的配置步骤劝退&#xff1f;今天我要介绍的Qwen2.5-VL-7B-Instruct镜像&am…...

编程新知 2026/3/27 8:04:27

Gepetto核心工具详解：函数反编译、变量重命名与代码注释

Gepetto核心工具详解&#xff1a;函数反编译、变量重命名与代码注释 【免费下载链接】Gepetto IDA plugin which queries OpenAIs gpt-3.5-turbo language model to speed up reverse-engineering 项目地址: https://gitcode.com/gh_mirrors/ge/Gepetto Gepetto是一款集…...

编程新知 2026/3/27 5:34:48

OpenClaw语音控制：nanobot对接Whisper实现声控自动化

OpenClaw语音控制&#xff1a;nanobot对接Whisper实现声控自动化 1. 为什么需要语音控制自动化 作为一个长期与命令行打交道的开发者&#xff0c;我一直在寻找更自然的交互方式。键盘输入固然高效&#xff0c;但在某些场景下——比如双手被占用时调试代码、厨房里边做饭边查菜…...

编程新知 2026/3/27 2:16:42

零基础手写大模型

从零搭建大模型&#xff1a;零基础学习实现职业经济跃迁指南 引言 在人工智能重塑全球产业格局的今天&#xff0c;“大模型”已不再仅仅是科技巨头的专利&#xff0c;而是成为了数字经济时代新的“电力”与“石油”。对于广大职场人士、创业者及寻求转型的个体而言&#xff0…...

编程新知 2026/3/27 1:28:20

Gorgonia性能优化终极指南：10个技巧让你的深度学习模型运行速度翻倍

Gorgonia性能优化终极指南&#xff1a;10个技巧让你的深度学习模型运行速度翻倍 【免费下载链接】gorgonia 项目地址: https://gitcode.com/gh_mirrors/gor/gorgonia Gorgonia是一个功能强大的深度学习框架&#xff0c;能够帮助开发者构建和训练复杂的神经网络模型。然…...

编程新知 2026/3/26 23:24:55

实测2-5分钟：CogVideoX-2b生成速度与画质平衡的真实体验报告

实测2-5分钟&#xff1a;CogVideoX-2b生成速度与画质平衡的真实体验报告 1. 从文字到视频&#xff1a;CogVideoX-2b能做什么&#xff1f; 想象一下&#xff0c;你只需要输入一段文字描述&#xff0c;就能在几分钟内获得一段6秒的高清视频。这不是科幻电影里的场景&#xff0c…...

编程新知 2026/3/26 23:14:54

中集集团2025年经营现金流翻倍增长至185亿，有息负债下降约48亿元

据3月27日年报显示&#xff0c;2025年中集集团经营质量持续提升&#xff0c;经营活动产生的现金流量净额大幅增长99.9%至185亿元&#xff0c;反映出主营业务回款能力增强与运营效率改善。与此同时&#xff0c;公司持续推进资产负债结构优化&#xff0c;年末有息债务规模下降至3…...

编程新知 2026/3/26 22:58:49

手把手教你用4G Cat.1 bis开发智能硬件：从电路设计到低功耗优化的完整实战

4G Cat.1 bis智能硬件开发实战&#xff1a;从电路设计到低功耗优化的全流程指南 在共享充电宝扫码即用的便利背后&#xff0c;隐藏着一场关于低功耗通信的技术革命。当传统4G模块因高功耗让硬件开发者束手无策时&#xff0c;4G Cat.1 bis以单天线设计、10Mbps传输速率和μA级待…...

编程新知 2026/3/26 22:38:21

SEO_2024年最新SEO趋势与核心优化方法介绍

<h1 id"seo2024seo">SEO:2024年最新SEO趋势与核心优化方法介绍</h1> <p>在互联网时代&#xff0c;搜索引擎优化&#xff08;SEO&#xff09;仍然是网站流量和品牌推广的关键。2024年&#xff0c;SEO领域有许多新的趋势和核心优化方法&#xff0c;帮…...

编程新知 2026/3/26 22:36:20

道心网络安全学习笔记系列之好靶场的信息收集2

上节课找了一个图片的网址&#xff0c;继续挑战其它靶场&#xff0c;我们看下一题收集十个百度域名&#xff0c;这还不是顺手就来&#xff0c;但是贴吧不行&#xff0c;那还不简单&#xff0c;去访问百度网站&#xff0c;顺便输入一个搜索词&#xff0c;都不用看&#xff0c;前…...

编程新知 2026/3/26 22:04:05