当前位置： 首页 > news >正文

从填空到生成：GLM的预训练新视界

news 2026/3/26 18:27:48

论文题目：GLM: General Language Model Pretraining with Autoregressive Blank Infilling

论文地址：https://arxiv.org/pdf/2103.10360

今天分享一篇论文GLM，2022年由清华大学、智源研究院、MIT等机构发表在国际会议上。其创新点在于提出了一种通用的预训练框架，利用自回归填空填充目标统一不同任务的预训练目标，并引入混合注意力掩码和2D位置编码，以提升自然语言理解和生成的性能。

如今如火如荼的大模型GLM-x系列都是基于GLM架构提出来的 。

开始论文解读。我会按照论文框架对各部分进行详细阐述。

完整内容，请从下方获取。

更多paper内容：

相关文章：

从填空到生成：GLM的预训练新视界

论文题目：GLM: General Language Model Pretraining with Autoregressive Blank Infilling 论文地址：https://arxiv.org/pdf/2103.10360 今天分享一篇论文GLM，2022年由清华大学、智源研究院、MIT等机构发表在国际会议上。其创新点在于提出了一…...

编程日记 2024/9/29 21:59:09

4. 将pycharm本地项目同步到(Linux)服务器上——深度学习·科研实践·从0到1

目录 前序工作 1. 服务器项目名和本地一致 2. pycharm连接服务器 3. 本地项目对应到服务器项目 4. 简单测试一下同步效果 同步成功 前序工作 在同步到服务器之前，得确保已经完成以下几个前置步骤： 1. 租一个云服务器，可参考&#xff1a…...

编程日记 2024/9/29 21:58:08

「Python入门」vscode的安装和python插件下载

粗浅之言，如有错误，欢迎指正 文章目录 前言Python安装VSCode介绍VSCode下载安装安装python插件 前言 Python目前的主流编辑器有多个，例如 Sublime Text、VSCode、Pycharm、IDLE(安装python时自带的) 等。个人认为 vscode 虽然在大型项目上有…...

编程日记 2024/9/29 21:57:07

java-netty客户端断线重启

背景 经常会遇到netty客户端，因为网络等多种原因而断线，需要自动重连 核心 就是对连接服务端成功后，对ChannelFuture进行监听，核心代码如下 f b.connect("127.0.0.1", 10004).sync(); // (5)f.addListener(new Chan…...

编程日记 2024/9/29 21:54:05

MySQL的基础用法一

数据库的操作 对库的操作 SQL通用语法规则介绍 创建数据库 使用数据库 查询所有数据库 查询当前数据库 删除数据库 对库中表的操作 创建一个表 查询当前数据库所有表 查询表结构 查询指定表的建表语句 🚘🚘🚘正片开始 SQL通用语…...

编程日记 2024/9/29 21:52:03

Linux：进程地址空间

目录 一、虚拟地址 二、进程地址空间 一、虚拟地址 父进程和子进程之间，代码共享，而数据可能会发生修改，所以当其中一个进程要写入数据时，则发生写时拷贝，各自私有一份。 现在有源文件内容如下所示。 int glob_val …...

编程日记 2024/9/29 21:51:02

数据结构：树、森林

二叉树与树结构差异 树（一般树）：树是一种数据结构，其中每个节点可以有任意数量的子节点（除了根节点和叶子节点外）。因此，一般树的节点在数组中的表示并不是那么直接，特别是当树不是完…...

编程日记 2024/9/29 21:49:00

AI Agent应用出路到底在哪？

1 Agent/Function Call 的定义 Overview of a LLM-powered autonomous agent system： Agent学会调用外部应用程序接口，以获取模型权重中缺失的额外信息（预训练后通常难以更改），包括当前信息、代码执行能力、专有信息源…...

编程日记 2024/9/29 21:47:59

一文了解构建工具——Maven与Gradle的区别

目录 一、Maven和Gradle是什么？ 构建工具介绍 Maven介绍 Gradle介绍 二、使用时的区别： 1、新建项目 Maven： Gradle： 2、配置项目 Maven： Gradle： 3、构建项目——生成项目的jar包 Gradle&…...

编程日记 2024/9/29 21:45:58

electron介绍

Electron中文文档 Electron是什么？ Electron是一个使用 JavaScript、HTML 和 CSS 构建桌面应用程序的框架。 Electron 允许开发者使用前端技术栈来创建可以在 Windows、macOS 和 Linux 等多个操作系统上运行的桌面应用程序。 Electron 本质上是一个运行在桌面操作…...

编程日记 2024/9/29 21:44:57

Redis-持久化

首先,我们明白一个概念, 硬盘>持久 内存>不持久 而Redis是一个内存数据库,不持久,相比于Mysql这样的关系型数据库,最明显的特点是快/效率高 为了保证速度快,数据要保存再内存中,为了持久,存储在硬盘上 所以redis决定: 插入>内存＋硬盘(硬盘是为了在re…...

编程日记 2024/9/29 21:43:56

封装轮播图 （因为基于微博小程序，语法可能有些出入，如需使用需改标签）

这是在组件中使用&#xff0c;基于微博语法 <template><wbx-view class"" style"width: 100vw;height: 70vh;"><WBXswiper change"gaibian" :vertical"false" :current"current" indicatorActiveColor"…...

编程日记 2024/9/29 21:42:55

【Ubuntu】minicom安装、配置、使用以及退出

目录 1 安装 2 配置 3 使用 4 退出 minicom是一个串口通信的工具&#xff0c;以root权限登录系统&#xff0c;可用来与串口设备通信。 1 安装 sudo apt-get install minicom 2 配置 使用如下命令进入配置界面&#xff1a; sudo minicon -s 进入配置界面后&#xff0c;…...

编程日记 2024/9/29 21:39:52

MYSQL的监控

1. MySQL服务器都提供了哪几种类型的日志文件&#xff1f;说明每种日志的用途。 Error log&#xff1a;启动、关闭和异常有关的诊断信息 General query log:服务器从客户端收到的所有语句 Slow query log:需要很长时间执行的查询 Audit log:企业版基于策略的审计 Binary…...

编程日记 2024/9/29 21:38:51

CTF ciscn_2019_web_northern_china_day1_web2

ciscn_2019_web_northern_china_day1_web2 BEGIN 拿到题目&#xff0c;先看看 这里发现一个很像提示的东西&#xff0c;然后发现下面是一堆小电视商品&#xff0c;有lv等级和金钱&#xff0c;所以这题的入口可能就是再lv6和这个资金募集上 然后点击下next&#xff0c;看看页…...

编程日记 2024/9/29 21:36:50

linux中vim编辑器的应用实例

前言 Linux有大量的配置文件&#xff0c;其中编辑一些配置文件&#xff0c;最常用的工具就是 Vim &#xff0c;本文介绍一个实际应用的Vim编辑器开发文档的实例。 Vim是一个类似于Vi的著名的功能强大、高度可定制的文本编辑器&#xff0c;在Vi的基础上改进和增加了很多特性。…...

编程日记 2024/9/29 21:35:48

智慧城市交通管理中的云端多车调度与控制

城市交通管理中的云端多车调度与控制 智慧城市是 21世纪的城市基本发展方向&#xff0c;为了实现智慧城市建设的目标&#xff0c;人们需要用现代化的手段去管理和控制城市中的各种资源和设施。智能交通控制与管理是智慧城市中不可缺少的一部分&#xff0c;因为现代城市交通系统…...

编程日记 2024/9/29 21:28:42

分治（归并排序）

一、基本思路 我们以一个归并排序为例。 . - 力扣&#xff08;LeetCode&#xff09; 归并排序的思想&#xff1a;得到两个有序数组&#xff0c;把两个有序数组合并&#xff0c;传到下一层递归&#xff0c;一直得到两个有序数组&#xff0c;一直合并&#xff0c;最后就能得到有…...

编程日记 2024/9/29 21:23:37

小学生为什么要学英语

小学生需要学习英语的原因有很多&#xff0c;以下是其中的一些原因&#xff08;毕竟我也会累滴(*&#xffe3;▽&#xffe3;*)&#xff09;&#xff1a; 1. 全球化交流&#xff1a;英语是国际交流的通用语言&#xff0c;学习英语可以帮助小学生更好地融入全球化的社会环境&am…...

编程日记 2024/9/29 21:22:36

企业云存储如何收费？企业云存储收费标准

企业云存储如何收费&#xff1f;企业云存储的收费方式因不同的服务提供商和具体的服务选项而异&#xff0c;通常从用户数量、存储容量、功能、混合收费、按需定价、定制化、功能模块等多个方面进行考量。以下是对其多方面收费方式的详细介绍&#xff1a; 1.按用户数量收费 适用…...

编程日记 2024/9/29 21:21:35

HunyuanVideo-Foley入门指南：infer.py命令行参数全量说明与组合技巧

HunyuanVideo-Foley入门指南&#xff1a;infer.py命令行参数全量说明与组合技巧 1. 环境准备与快速部署 HunyuanVideo-Foley是一款强大的视频与音效生成工具&#xff0c;基于RTX 4090D 24GB显存和CUDA 12.4深度优化。在开始使用前&#xff0c;请确保您的硬件配置满足以下要求…...

编程新知 2026/3/26 18:16:02

16-bit像素艺术AI终端效果展示：实时HUD状态栏+物理位移反馈动效演示

16-bit像素艺术AI终端效果展示&#xff1a;实时HUD状态栏物理位移反馈动效演示 1. 像素幻梦创意工坊概览 Pixel Dream Workshop&#xff08;像素幻梦创意工坊&#xff09;是一款革命性的像素艺术生成工具&#xff0c;基于先进的FLUX.1-dev扩散模型构建。与传统AI绘图工具不同…...

编程新知 2026/3/26 17:51:54

3步免费解锁付费内容：智能内容解锁工具使用指南

3步免费解锁付费内容&#xff1a;智能内容解锁工具使用指南 【免费下载链接】bypass-paywalls-chrome-clean 项目地址: https://gitcode.com/GitHub_Trending/by/bypass-paywalls-chrome-clean 在信息获取日益困难的今天&#xff0c;付费墙已经成为阻碍知识传播的主要障…...

编程新知 2026/3/26 17:37:45

2025年06月CCF-GESP编程能力等级认证Scratch图形化编程一级真题解析

本文收录于《Scratch等级认证CCF-GESP图形化真题解析》专栏，专栏总目录：点这里，订阅后可阅读专栏内所有文章。 一、单选题（每题 3 分，共 30 分） 第 1 题 2025 年 4 月 19 日在北京举行了一场颇为瞩目的人形机器人半程马拉松赛。比赛期间，跑动着的机器人会利用身上安装…...

编程新知 2026/3/26 14:41:52

LH6828@ACP#6828#484 USB3.1 全通道 4:1/1:4 10Gbps 多路复用 / 解复用器 产品规格、应用分享及CH484规格对比

LH6828 是一款高性能全通道高速双向无源开关&#xff0c;专为 USB Type-C 生态系统设计&#xff0c;深度适配 USB3.1 Gen1&#xff08;5Gbps&#xff09;/Gen2&#xff08;10Gbps&#xff09;超高速传输协议&#xff0c;支持 4 组设备全通道信号的 4:1/1:4 双向切换&#xff0c…...

编程新知 2026/3/26 13:24:57

手把手教你用Python+AI大模型，把Yapi接口文档变成自动化测试脚本（附避坑指南）

用Python与大模型实现Yapi接口自动化测试的工程化实践 在中小型技术团队中&#xff0c;接口测试往往是质量保障的薄弱环节。传统手工编写测试用例的方式不仅耗时耗力&#xff0c;更难以应对快速迭代的开发节奏。本文将分享如何利用Python生态与AI大模型能力&#xff0c;将Yapi平…...

编程新知 2026/3/26 13:16:57

像素幻梦·创意工坊部署教程：Mac M1/M2芯片原生运行FLUX.1-dev像素生成

像素幻梦创意工坊部署教程&#xff1a;Mac M1/M2芯片原生运行FLUX.1-dev像素生成 1. 前言&#xff1a;认识像素幻梦创意工坊 像素幻梦创意工坊(Pixel Dream Workshop)是一款专为像素艺术创作设计的AI工具&#xff0c;基于最新的FLUX.1-dev扩散模型构建。与传统的AI绘图工具不…...

编程新知 2026/3/26 12:32:38

Umi-OCR批量文字识别终极指南：免费离线OCR工具快速上手

Umi-OCR批量文字识别终极指南&#xff1a;免费离线OCR工具快速上手 【免费下载链接】Umi-OCR Umi-OCR: 这是一个免费、开源、可批量处理的离线OCR软件&#xff0c;适用于Windows系统&#xff0c;支持截图OCR、批量OCR、二维码识别等功能。 项目地址: https://gitcode.com/Git…...

编程新知 2026/3/26 12:18:31

PyTorch 2.8镜像实战案例：自媒体创作者批量生成短视频封面图工作流

PyTorch 2.8镜像实战案例&#xff1a;自媒体创作者批量生成短视频封面图工作流 1. 场景痛点与解决方案 短视频创作者每天面临的最大挑战之一&#xff0c;就是需要为每个视频制作吸引眼球的封面图。传统方式要么依赖设计师&#xff08;成本高、周期长&#xff09;&#xff0c;…...

编程新知 2026/3/26 9:00:41

Qwen3-ASR-1.7B在C++项目中的集成与应用

Qwen3-ASR-1.7B在C项目中的集成与应用 1. 环境准备与快速部署 要在C项目中集成Qwen3-ASR-1.7B语音识别功能&#xff0c;首先需要准备好开发环境。这个模型虽然功能强大&#xff0c;但部署起来并不复杂&#xff0c;只需要几个简单的步骤。 系统要求&#xff1a; 操作系统&am…...

编程新知 2026/3/26 8:24:31