当前位置： 首页 > news >正文

（深度学习记录）第TR3周：Transformer 算法详解

news 2026/3/28 21:14:51
  • 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
  • 🍖 原作者：K同学啊 | 接辅导、项目定制

·文本的输入处理中，transformer会将输入文本序列的每个词转化为一个词向量，我们通常会选择一个合适的长度作为输入文本序列的最大长度如果一个句子达不到这个长度就用0填充，超出就做截断。

·self- attention机制可以让模型不仅仅关注当前位置的词，还关注句子中其他位置相关的词。

·transformer解码器预测了组概率，就可以将这组概率与正确的概率做对比，然后用反向传播来调整模型的权重，使得输出的概率分布更加接近整数输出。

目标的概率分布：

经过长期的训练后，希望输出的概率分布如下图所示：

​​​​​​​ 

相关文章：

（深度学习记录）第TR3周：Transformer 算法详解

🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍖 原作者：K同学啊 | 接辅导、项目定制 文本的输入处理中，transformer会将输入文本序列的每个词转化为一个词向量，我们通常会选择一个合适的长度作为输入…...

编程日记 2024/6/1 7:27:49

谷神前端组件增强：自定义列

初始化 $gp.customColumn {}initColumnPool /*** initColumnPool* 初始化列池* * param prefix 前缀* param length 长度* * return Array 列ID数组* */ function initColumnPool (prefix, length) {return Array.from({length}, (value, index) > prefix index) } self…...

编程日记 2024/6/1 7:24:45

31-ESP32-S3-WIFI篇-02 Event Group (事件标记组)

ESP32-S3-WIFI 事件标记组 介绍 在ESP32-S3的WiFi驱动程序中，事件标记组（Event Group）是一个非常重要的概念。它是FreeRTOS中的一种同步机制，用于在任务之间传递和同步事件。在WiFi驱动程序中，我们使用事件标记组来通…...

编程日记 2024/6/1 7:22:43

构建企业级AI私有知识库

一、引言 在当今竞争激烈的市场环境中，企业为了保持竞争优势，需要高效地管理和利用内部知识资源。构建一个企业级AI私有知识库，不仅可以集中存储和管理企业知识，还能通过人工智能技术实现知识的智能化处理和利用。本文将详细介绍…...

编程日记 2024/6/1 7:21:41

C语言王国——杨氏矩阵

目录 1. 引言 2. 了解杨氏矩阵 3. 思路分析 4. 代码 5. 总结 1. 引言 最近在做二维数组的训练的时候发现了一个很有意思的题： 一看这不是杨氏矩阵嘛，接下来就由姜糖我带大家了解一下这个著名的矩阵。 2. 了解杨氏矩阵 通过查阅百度得知： …...

编程日记 2024/6/1 7:19:39

陪玩小程序都需要怎么做？

开发陪玩小程序需要进行全面的需求分析、功能规划、技术选型、界面设计等一系列步骤。陪玩小程序作为一种新兴的网络服务平台，为用户提供了寻找游戏伙伴、预约陪玩服务等功能，满足了用户在游戏领域的社交互动和技能提升需求。具体分析如下： 需…...

编程日记 2024/6/1 7:18:38

postgressql——子事务可见性判断 性能问题（8）

子事务可见性判断 & 性能 测试SQL BEGIN; PREPARE sel(integer) ASSELECT count(*)FROM contendWHERE id BETWEEN $1 AND $1 + 100; PREPARE upd(integer) ASUPDATE contend SET val = val + 1WHERE id IN ($1, $1 + 10, $1 + 20, $1 + 30);SAVEPOINT a; \set rnd random…...

编程日记 2024/6/1 7:17:37

20240531在飞凌的OK3588-C开发板上跑原厂的Buildroot测试USB摄像头

20240531在飞凌的OK3588-C开发板上跑原厂的Buildroot测试USB摄像头 2024/5/31 20:04 USB摄像头分辨率：1080p（1920x1080） 默认编译Buildroot的SDK即可点亮USB摄像头。v4l2-ctl --list-devices v4l2-ctl --list-formats-ext -d /dev/video74 …...

编程日记 2024/6/1 7:13:32

从0开始学统计-什么是回归？

1.什么是回归？ 回归（Regression）是统计学中一种用于探索变量之间关系的分析方法。它主要用于预测一个或多个自变量（输入变量）与因变量（输出变量）之间的关系。在回归分析中，我们尝试根…...

编程日记 2024/6/1 7:12:31

Element-ui使用上传时弹框选择文件类型

实现效果 1，点击上传，上传文件； 2，选择文件； 3，弹框选择文件类型； 4，选择类型后确定上传； 一，上传 跳过； 二，定义弹框下拉框…...

编程日记 2024/6/1 7:11:29

原生小程序一键获取手机号

1.效果图 2.代码index.wxml <!-- 获取手机号 利用手机号快速填写的功能&#xff0c;将button组件 open-type 的值设置为 getPhoneNumber--><button open-type"getPhoneNumber" bindgetphonenumber"getPhoneNumber">获取手机号</button> …...

编程日记 2024/6/1 7:07:25

ARM虚拟机安装OMV

OMV(OpenMediaVault)是基于 Debian GNU/Linux 的网络连接存储&#xff08;network attached storage&#xff0c;NAS&#xff09;解决方案。它包含 SSH、(S) FTP、SMB/CIFS、DAAP 媒体服务器、rsync、 BitTorrent 等很多种服务。它可用于 x86-64 和 ARM 平台。 在x86-64平台上&…...

编程日记 2024/6/1 7:06:24

【协议开发系列】梳理关于TCP和UDP两种协议的区别和使用场景

起源 前二天项目上在核对外部对接服务的五元组列表的时候&#xff0c;有一位客户提问对于同样的服务同时支持tcp和udp二种方式&#xff0c;有什么优点和缺点&#xff0c;应该如何选择&#xff1f;这个问题突然让我愣了一下&#xff0c;确实好久没有“温故”了&#xff0c;相关…...

编程日记 2024/6/1 7:04:22

vue blob实现自定义多sheet数据导出到excel文件

背景&#xff1a;最近vue项目遇到一个需求&#xff0c;就是需要将多个表格分成不同sheet页并导出&#xff0c;之前的工具类只能导出一个sheet页&#xff0c;所以在原有的基础上&#xff0c;调整一下&#xff0c;让它支持多sheet导出。 vue blob文件流&#xff0c;这个肯定要的…...

编程日记 2024/6/1 7:03:20

Python—面向对象小解(3)

一、多态 多态指的是一类事物的多中形态 相同的方法&#xff0c;产生不同的执行结果 运算符 * 的多态 int int 加法计算 str str 字符串拼接 list list 列表的数据合并 在python中可以使用类实现一个多态效果 在python中使用重写的方式实现多态 &#xff08;1&#xff09;定…...

编程日记 2024/6/1 7:01:17

Nginx超时时间

Nginx是一款自由、开源、高性能的HTTP和反向代理服务器&#xff0c;它可以通过不同的设置来提高网站的性能和安全性。其中&#xff0c;设置Nginx超时时间非常重要&#xff0c;因为它将直接影响网站的响应速度和用户体验。本文将从多个方面详细阐述Nginx超时时间的设置方法与注意…...

编程日记 2024/6/1 7:00:16

Imgs，GT，Edge，Gradient_all，Gradient_Foreground

保存一下&#xff1a; 做个记录&#xff1a; import cv2 import os import numpy as np# 对整张图片做canny检测 得到纹理图 def canny_all(input_path, output_path):# 遍历文件夹中的所有文件for filename in os.listdir(input_path):# 构造完整的文件路径image_path os.p…...

编程日记 2024/6/1 6:59:15

自学成才Flutter 弹性布局、线性布局

本文我们要介绍 Flutter 中布局 Widget&#xff0c;包括弹性布局、线性布局 流式布局和层叠布局。 Flutter中文网 Flutter开发 一、弹性布局--Flex Flex 类似 Android 中的 FlexboxLayout&#xff0c;和 Expanded 配合使用可以实现子Widget 按照一定比例来分配父容器空间。 使…...

编程日记 2024/6/1 6:57:11

Part 3.1 深度优先搜索

深度优先搜索&#xff08;DFS&#xff09;&#xff0c;即按照深度优先的顺序搜索的算法。 深度优先搜索一般使用栈来实现。 [USACO1.5] 八皇后 Checker Challenge 题目描述 一个如下的 6 6 6 \times 6 66 的跳棋棋盘&#xff0c;有六个棋子被放置在棋盘上&#xff0c;使得…...

编程日记 2024/6/1 6:56:10

前端Vue小兔鲜儿电商项目实战Day03

一、Home - 整体结构搭建和分类实现 1. 页面结构 ①按照结构新增5个组件&#xff0c;准备最简单的模板&#xff0c;分别在Home模块的入口组件中引入 src/views/Home/components/ HomeCategory.vue HomeBanner.vue HomeNew.vue HomeHot.vue HomeProduct.vue <script …...

编程日记 2024/6/1 6:53:06

FFmpeg5.0源码解析——深入探索MOV文件格式的封装与解封装机制

1. MOV文件格式的前世今生 第一次接触MOV格式还是在十年前处理iPhone拍摄的视频时&#xff0c;这种由苹果公司开发的容器格式就像个精致的黑盒子&#xff0c;表面看着简单&#xff0c;打开后才发现内部结构精妙绝伦。和MP4这对"孪生兄弟"都基于ISO基础媒体文件格式(I…...

编程新知 2026/3/28 20:41:27

实测AI净界抠图能力：发丝、玻璃杯、薄纱，复杂边缘处理全展示

实测AI净界抠图能力&#xff1a;发丝、玻璃杯、薄纱&#xff0c;复杂边缘处理全展示 1. 为什么我们需要更智能的抠图工具&#xff1f; 在日常工作和创作中&#xff0c;抠图是一个绕不开的环节。无论是电商产品图处理、平面设计还是AI训练数据准备&#xff0c;我们都希望快速获…...

编程新知 2026/3/28 20:03:10

[系统激活]问题的[KMS解决方案]：企业级授权管理的本地实现

[系统激活]问题的[KMS解决方案]&#xff1a;企业级授权管理的本地实现 【免费下载链接】KMS_VL_ALL_AIO Smart Activation Script 项目地址: https://gitcode.com/gh_mirrors/km/KMS_VL_ALL_AIO 一、场景痛点分析 1.1 个人用户激活困境矩阵 场景传统激活方式痛点描述影…...

编程新知 2026/3/28 19:53:08

ai辅助开发：让快马智能解析你的需求，自动生成最优homebrew环境配置方案

最近在折腾数据科学环境配置时&#xff0c;发现一个特别实用的开发技巧&#xff1a;用AI辅助生成Homebrew环境配置方案。传统方式需要手动查文档、处理依赖冲突&#xff0c;现在通过InsCode(快马)平台的AI能力&#xff0c;整个过程变得异常简单。 需求描述阶段 比如我输入"…...

编程新知 2026/3/28 18:18:19

PFC5.03D三轴流固耦合仿真：压力卸除下的网格分析

PFC5.03D三轴泄围压条件下的流固耦合 带网格。在岩石力学的仿真中&#xff0c;PFC5.03D软件提供了一种有效的方式来模拟颗粒的流动和结构稳定性。三轴试验是岩石力学中最常用的测试方法之一&#xff0c;特别是当压力发生卸除时&#xff0c;材料的表现往往最能反映其本质特性。…...

编程新知 2026/3/28 18:08:17

OpenClaw隐私保护方案：Qwen3-32B本地推理的医疗数据处理

OpenClaw隐私保护方案&#xff1a;Qwen3-32B本地推理的医疗数据处理 1. 为什么医疗数据需要本地化AI处理 去年参与一个医疗数据分析项目时&#xff0c;我首次意识到数据隐私的严峻性。客户提供的患者诊疗记录包含身份证号、住址和病史等敏感信息&#xff0c;而团队最初考虑使…...

编程新知 2026/3/28 18:04:16

解锁炉石传说终极体验：HsMod插件效率革命全指南

解锁炉石传说终极体验&#xff1a;HsMod插件效率革命全指南 【免费下载链接】HsMod Hearthstone Modify Based on BepInEx 项目地址: https://gitcode.com/GitHub_Trending/hs/HsMod 你是否曾因炉石传说漫长的动画等待而失去耐心&#xff1f;是否希望自定义游戏界面却苦…...

编程新知 2026/3/28 16:49:33

告别重复造轮子：用快马AI一键生成esp8266连接阿里云IoT的高效代码模块

最近在做一个智能家居项目&#xff0c;需要用esp8266连接阿里云IoT平台。作为一个经常和物联网设备打交道的开发者&#xff0c;我发现每次新项目都要重复写类似的连接代码&#xff0c;既浪费时间又容易出错。这次尝试用InsCode(快马)平台的AI辅助生成代码模块&#xff0c;效率提…...

编程新知 2026/3/28 16:27:22

开源工具高效获取B站无损音质：3大核心流程掌握Hi-Res音频下载

开源工具高效获取B站无损音质&#xff1a;3大核心流程掌握Hi-Res音频下载 【免费下载链接】BilibiliDown (GUI-多平台支持) B站 哔哩哔哩 视频下载器。支持稍后再看、收藏夹、UP主视频批量下载|Bilibili Video Downloader &#x1f633; 项目地址: https://gitcode.com/gh_mi…...

编程新知 2026/3/28 16:13:08

别再只用STFT了！用Python手把手实现短时DCT（STDCT），搞定音频压缩和特征提取

别再只用STFT了&#xff01;用Python手把手实现短时DCT&#xff08;STDCT&#xff09;&#xff0c;搞定音频压缩和特征提取 如果你处理过音频信号&#xff0c;大概率用过短时傅里叶变换&#xff08;STFT&#xff09;——这个在语音识别、音乐分析中无处不在的工具。但当你面对一…...

编程新知 2026/3/28 16:09:07