当前位置： 首页 > news >正文

笔记：transformer系列

news 2026/3/29 14:43:49

1、和其他网络的比较 

 自注意力机制适合处理长文本，并行度好，在GPU上，CNN和Self-attention性能差不多，在TPU（Tensor Processing Uni）效果更好。

总结：

  • 自注意力池化层将x_{i}当做key,value,query来对序列抽取特征。
  • 完全并行，最长序列为1，但对长序列计算复杂度高
  • 位置编码在输入中加入位置信息，使得自注意力能够学习位置信息。

2、输入特点

原生的Transformer中nn.embeding输入需要非负整数，且范围在[0,100]之间（试出来的，未必准确），这是对不同长度的单词维度进行扩展，但是对于图像或者其他类别而言未必是最后一个维度大小不一致，可以参考ViT将nn.embeding换成nn.Linear,还需要修改mask.

3、网络介绍

ViT

DETR基本思想：

        1、先用CNN得到各个Patch作为输入，在套用transformer做编码和解码

        2、编码和VIT一样，重点在解码，直接预测100个坐标框。

整体网络架构：

        object quries是核心：让它学会怎么从原始特征找到物体的位置。

        Encoder完成的任务：得到各个目标注意力结果，准备好特征。

Trac

相关文章：

笔记：transformer系列

1、和其他网络的比较 自注意力机制适合处理长文本，并行度好，在GPU上，CNN和Self-attention性能差不多，在TPU（Tensor Processing Uni）效果更好。 总结： 自注意力池化层将当做key,value,query来…...

编程日记 2023/8/25 16:38:57

Mysql socket连接测试

配置如下： socket /data/mysql/data/mysql.sock //套接字文件 在数据库没有任何连接的情况下，可以看到3306端口和socket端口都在监听 [mysqlt3-dtpoc-dtpoc-web04 bin]$ netstat -an | grep -i 3306 tcp 0 0 0.0.0.0:3306 0.…...

编程日记 2023/8/25 16:37:55

探究分布式操作系统的本质

探究分布式操作系统的本质 有一位网友问，分布式操作系统的本质是什么，今天就来说说这个话题。 首先，我们需要明确什么是分布式操作系统。 从大范围来理解，分布式操作系统是传统单机操作系统的延伸，可以看作是在多台独…...

编程日记 2023/8/25 16:36:54

opencv-dnn

# utils_words.txt 标签文件 import osimage_types (".jpg", ".jpeg", ".png", ".bmp", ".tif", ".tiff")def list_images(basePath, containsNone):# return the set of files that are validreturn list_file…...

编程日记 2023/8/25 16:35:53

如何选择合适的开源许可证？

🌷🍁 博主猫头虎 带您 Go to New World.✨🍁 🦄 博客首页——猫头虎的博客🎐 🐳《面试题大全专栏》 文章图文并茂🦕生动形象🦖简单易学！欢迎大家来踩踩~🌺 &a…...

编程日记 2023/8/25 16:34:52

【前端】深入解析CSS：选择器、显示模式、背景属性和特征剖析

目录 一、前言二、CSS的复合选择器1、后代选择器①、语法②、注意事项 2、子选择器①、语法②、注意事项 3、并集选择器①、语法②、注意事项 4、链接伪类选择器①、语法②、注意事项 三、CSS元素显示模式转换1、转换为块元素display:block2、转换为行内元素display:inline3、转…...

编程日记 2023/8/25 16:33:51

算法训练营第三十四天（8.23）| 动态规划Part04：01背包

目录 Leecode 1049.最后一块石头的重量II Leecode 494.目标和 Leecode 474.一和零 Leecode 1049.最后一块石头的重量II 题目地址：力扣（LeetCode）官网 - 全球极客挚爱的技术成长平台 题目类型：01背包 class Solution { public:int…...

编程日记 2023/8/25 16:32:48

【python】tkinter使用多进程打包成exe后multiprocessing无法关闭对应进程

这是由于multiprocessing模块在Windows操作系统下使用fork方法创建子进程时会导致打包成exe后无法正常运行的问题。 可以尝试使用freeze_support函数来解决这个问题。freeze_support函数是在Windows操作系统下用于支持multiprocessing模块的函数。 下面是一个示例代码&#x…...

编程日记 2023/8/25 16:31:48

Redis工具类（缓存操作，Object转换成JSON数据）

依赖spring-data-redis-2.4.1.jar Component Data public class RedisUtils {Autowiredprivate RedisTemplate<String, Object> redisTemplate;Resource(name "stringRedisTemplate")private ValueOperations<String, String> valueOperations;/*** 默…...

编程日记 2023/8/25 16:30:47

Linux 下 Java Socket 编程报 java.net.Exception:Permission denied (权限不足)

本人用Linux部署springboot项目时遇见这个错误&#xff0c;原因很简单&#xff0c;就是端口号没有选对。 在linux系统中&#xff0c;端口号再1024以下的需要root权限&#xff0c;只要把端口改成大于1024的就可以了&#xff0c;但避开一些软件的默认端口&#xff0c;如Tomcat的8…...

编程日记 2023/8/25 16:29:46

IDEA项目实践——VUE介绍与案例分析

系列文章目录 IDEA项目实践——JavaWeb简介以及Servlet编程实战 IDEA项目实践——Spring集成mybatis、spring当中的事务 IDEA项目实践——Spring当中的切面AOP IDEWA项目实践——mybatis的一些基本原理以及案例 IDEA项目实践——Spring框架简介&#xff0c;以及IOC注解 I…...

编程日记 2023/8/25 16:28:44

vue-canvas基本使用和注意事项-动画闪烁效果-自适应适配不同分辨率问题

前言 canvas画布是html的新特性&#xff0c;熟悉画布我们可以完成很多拖拽&#xff0c;标注&#xff0c;动画的功能 使用canvas实现一个小例子很容易&#xff0c;但是真正在项目中使用时&#xff0c;我们需要注意的地方有很多 canvas基本原理就是它基于渲染方法&#xff0c;根…...

编程日记 2023/8/25 16:27:43

Jmeter 如何才能做好接口测试？

现在对测试人员的要求越来越高&#xff0c;不仅仅要做好功能测试&#xff0c;对接口测试的需求也越来越多&#xff01; 所以也越来越多的同学问&#xff0c;怎样才能做好接口测试&#xff1f; 要真正的做好接口测试&#xff0c;并且弄懂如何测试接口&#xff0c;需要从如下几…...

编程日记 2023/8/25 16:26:43

电商平台京东平台获得京东商品描述API接口演示案例

京东商品描述API接口可以获取京东商品描述&#xff1a; 详细介绍商品的特点和功能,让消费者能够了解商品的具体用途和效果。 使用简洁明了的语言,避免使用过于专业的术语和长句子,让消费者能够轻松理解。 重点突出商品的卖点和优势,让消费者能够更加清晰地了解商品的价值 …...

编程日记 2023/8/25 16:25:41

《算法竞赛·快冲300题》每日一题：“单位转换”

《算法竞赛快冲300题》将于2024年出版&#xff0c;是《算法竞赛》的辅助练习册。 所有题目放在自建的OJ New Online Judge。 用C/C、Java、Python三种语言给出代码&#xff0c;以中低档题为主&#xff0c;适合入门、进阶。 文章目录 题目描述题解C代码Java代码Python代码 “ 单…...

编程日记 2023/8/25 16:24:40

R语言13-R语言中的数据导入导出和批量导入

数据导入 CSV 文件&#xff1a; 使用 read.csv() 函数导入逗号分隔的文本文件。 data <- read.csv("data.csv")Excel 文件&#xff1a; 使用 readxl 包中的函数 read_excel() 导入 Excel 文件。 install.packages("readxl") # 安装 readxl 包&#…...

编程日记 2023/8/25 16:23:39

【Java】对象与类

【Java】对象与类 文章目录 【Java】对象与类1、学习背景2、定义&使用2.1 创建类2.2 创建对象 3、static关键字3.1 修饰变量3.2 修饰方法3.3 修饰代码块3.4 修饰内部类 4、this关键字5、封装特性5.1 访问修饰符5.2 包的概念 6、构造方法7、代码块7.1 普通代码块7.2 成员代码…...

编程日记 2023/8/25 16:22:37

视频尺寸缩小，一键批量剪辑，轻松制作精简版

大家好&#xff01;在视频剪辑中&#xff0c;有时我们需要将大尺寸的视频缩小&#xff0c;以适应特定的需求和平台要求。为了帮助您轻松制作精简版视频&#xff0c;我们推出了一款全新的工具——视频尺寸缩小批量剪辑软件&#xff01;让您一键批量将视频尺寸缩小&#xff0c;轻…...

编程日记 2023/8/25 16:21:35

leetcode做题笔记94. 二叉树的中序遍历

给定一个二叉树的根节点 root &#xff0c;返回 它的 中序 遍历 。 思路一&#xff1a;模拟题意 void inorder(struct TreeNode*root,int* ans,int *resSize) {if(!root){return ;}inorder(root->left,ans,resSize);ans[(*resSize)] root->val;inorder(root->right…...

编程日记 2023/8/25 16:20:34

UWB高精度人员定位系统源码，微服务+java+ spring boot+ vue+ mysql技术开发

工业物联网感知预警体系&#xff0c;大中小企业工业数字化转型需求的工业互联网平台 工厂人员定位系统是指能够对工厂中的人员、车辆、设备等进行定位&#xff0c;实现对人员和车辆的实时监控与调度的系统&#xff0c;是智慧工厂建设中必不可少的一环。由于工厂的工作环境比较…...

编程日记 2023/8/25 16:19:30

FrankenPHP服务器性能监控终极指南：10个关键指标深度解析

FrankenPHP服务器性能监控终极指南&#xff1a;10个关键指标深度解析 【免费下载链接】frankenphp The modern PHP app server 项目地址: https://gitcode.com/GitHub_Trending/fr/frankenphp FrankenPHP作为现代化的PHP应用服务器&#xff0c;提供了强大的性能监控能力…...

编程新知 2026/3/29 14:27:33

Qwen2.5-VL视觉定位模型优化升级：GPU加速、批量处理、提示词技巧

Qwen2.5-VL视觉定位模型优化升级&#xff1a;GPU加速、批量处理、提示词技巧 1. 视觉定位技术概述 视觉定位&#xff08;Visual Grounding&#xff09;是计算机视觉领域的一项关键技术&#xff0c;它能够根据自然语言描述在图像中精确定位目标对象。这项技术在智能相册管理、…...

编程新知 2026/3/29 14:03:19

cv_resnet101_face-detection_cvpr22papermogface 与数据库课程设计结合：构建人脸信息管理系统

cv_resnet101_face-detection_cvpr22papermogface 与数据库课程设计结合&#xff1a;构建人脸信息管理系统 1. 引言&#xff1a;从课堂理论到实战项目 如果你是一名计算机专业的学生&#xff0c;可能已经学过了数据库原理&#xff0c;也接触过一些人工智能的课程。但你是否想…...

编程新知 2026/3/29 13:45:10

用OB_Template实现笔记高效管理与知识沉淀：从入门到精通

用OB_Template实现笔记高效管理与知识沉淀&#xff1a;从入门到精通 【免费下载链接】OB_Template OB_Templates is a Obsidian reference for note templates focused on new users of the application using only core plugins. 项目地址: https://gitcode.com/gh_mirrors/…...

编程新知 2026/3/29 13:43:09

VDisk技术详解：原理、应用与优化实践指南

VDisk技术详解&#xff1a;原理、应用与优化实践指南传统的桌面运维管理面临效率和成本控制的双重挑战&#xff0c;例如操作系统和应用部署繁琐、维护更新困难、资源利用率低等。VDisk&#xff08;虚拟磁盘&#xff09;技术通过将操作系统、应用程序和用户数据集中存储在服务器…...

编程新知 2026/3/29 13:41:05

可视化是对比原始数据和填补数据的强大工具。你可以使用箱线图、密度图或散点图来可视化原始数据和填补后的数据

下面的内容摘录自《用R探索医药数据科学》专栏文章的部分内容&#xff08;原文5665字&#xff09;。 2篇2章6节&#xff1a;R的多重填补法中随机回归填补法的应用&#xff0c;MICE包的实际应用和统计与可视化评估-CSDN博客 在数据分析中&#xff0c;缺失数据是常见且具有挑战性…...

编程新知 2026/3/29 13:18:33

签名计算效率工具：xhshow实现小红书API请求处理提速90%的技术原理揭秘

签名计算效率工具&#xff1a;xhshow实现小红书API请求处理提速90%的技术原理揭秘 【免费下载链接】xhshow 小红书xs纯算 小红书56版本xs 小红书个人主页 批量爬取数据 文章批量下载 小红书x-s x-t x-s-common x-b3-traceid search-id 旋转验证码参数纯算纯协议逆向 项目地址…...

编程新知 2026/3/29 12:36:14

Tesla Dashcam：3步搞定特斯拉行车记录视频合并的专业工具

Tesla Dashcam&#xff1a;3步搞定特斯拉行车记录视频合并的专业工具 【免费下载链接】tesla_dashcam Convert Tesla dash cam movie files into one movie 项目地址: https://gitcode.com/gh_mirrors/te/tesla_dashcam 还在为特斯拉行车记录仪生成的零散视频文件而烦恼…...

编程新知 2026/3/29 12:30:12

Python实战：用NumPy实现酉矩阵的生成与验证（附完整代码）

Python实战&#xff1a;用NumPy实现酉矩阵的生成与验证&#xff08;附完整代码&#xff09; 在量子计算、信号处理和机器学习等领域&#xff0c;复数矩阵运算正变得越来越重要。酉矩阵&#xff08;Unitary Matrix&#xff09;作为复数域上的"正交矩阵"&#xff0c;保…...

编程新知 2026/3/29 12:28:12

遥感图像小目标检测实战：手把手教你用FFCA-YOLO复现TGRS 2024论文实验（附代码与环境配置）

遥感图像小目标检测实战&#xff1a;FFCA-YOLO从环境配置到结果复现全流程解析 当面对遥感图像中那些仅占3232像素的微小目标时&#xff0c;传统检测方法往往力不从心。FFCA-YOLO作为TGRS 2024的最新研究成果&#xff0c;通过特征增强模块(FEM)、特征融合模块(FFM)和空间上下文…...

编程新知 2026/3/29 11:27:19