笔记：transformer系列
1、和其他网络的比较
自注意力机制适合处理长文本，并行度好，在GPU上，CNN和Self-attention性能差不多，在TPU（Tensor Processing Uni）效果更好。
总结：
- 自注意力池化层将
当做key,value,query来对序列抽取特征。
- 完全并行，最长序列为1，但对长序列计算复杂度高
- 位置编码在输入中加入位置信息，使得自注意力能够学习位置信息。
2、输入特点
原生的Transformer中nn.embeding输入需要非负整数，且范围在[0,100]之间（试出来的，未必准确），这是对不同长度的单词维度进行扩展，但是对于图像或者其他类别而言未必是最后一个维度大小不一致，可以参考ViT将nn.embeding换成nn.Linear,还需要修改mask.
3、网络介绍
ViT
DETR基本思想：
1、先用CNN得到各个Patch作为输入，在套用transformer做编码和解码
2、编码和VIT一样，重点在解码，直接预测100个坐标框。
整体网络架构：
object quries是核心：让它学会怎么从原始特征找到物体的位置。
Encoder完成的任务：得到各个目标注意力结果，准备好特征。
Trac
相关文章：
笔记：transformer系列
1、和其他网络的比较 自注意力机制适合处理长文本，并行度好，在GPU上，CNN和Self-attention性能差不多，在TPU（Tensor Processing Uni）效果更好。 总结： 自注意力池化层将当做key,value,query来…...
Mysql socket连接测试
配置如下： socket /data/mysql/data/mysql.sock //套接字文件 在数据库没有任何连接的情况下，可以看到3306端口和socket端口都在监听 [mysqlt3-dtpoc-dtpoc-web04 bin]$ netstat -an | grep -i 3306 tcp 0 0 0.0.0.0:3306 0.…...
探究分布式操作系统的本质
探究分布式操作系统的本质 有一位网友问，分布式操作系统的本质是什么，今天就来说说这个话题。 首先，我们需要明确什么是分布式操作系统。 从大范围来理解，分布式操作系统是传统单机操作系统的延伸，可以看作是在多台独…...
opencv-dnn
# utils_words.txt 标签文件 import osimage_types (".jpg", ".jpeg", ".png", ".bmp", ".tif", ".tiff")def list_images(basePath, containsNone):# return the set of files that are validreturn list_file…...
如何选择合适的开源许可证？
🌷🍁 博主猫头虎 带您 Go to New World.✨🍁 🦄 博客首页——猫头虎的博客🎐 🐳《面试题大全专栏》 文章图文并茂🦕生动形象🦖简单易学！欢迎大家来踩踩~🌺 &a…...
【前端】深入解析CSS：选择器、显示模式、背景属性和特征剖析
目录 一、前言二、CSS的复合选择器1、后代选择器①、语法②、注意事项 2、子选择器①、语法②、注意事项 3、并集选择器①、语法②、注意事项 4、链接伪类选择器①、语法②、注意事项 三、CSS元素显示模式转换1、转换为块元素display:block2、转换为行内元素display:inline3、转…...
算法训练营第三十四天（8.23）| 动态规划Part04：01背包
目录 Leecode 1049.最后一块石头的重量II Leecode 494.目标和 Leecode 474.一和零 Leecode 1049.最后一块石头的重量II 题目地址：力扣（LeetCode）官网 - 全球极客挚爱的技术成长平台 题目类型：01背包 class Solution { public:int…...
【python】tkinter使用多进程打包成exe后multiprocessing无法关闭对应进程
这是由于multiprocessing模块在Windows操作系统下使用fork方法创建子进程时会导致打包成exe后无法正常运行的问题。 可以尝试使用freeze_support函数来解决这个问题。freeze_support函数是在Windows操作系统下用于支持multiprocessing模块的函数。 下面是一个示例代码&#x…...
Redis工具类（缓存操作，Object转换成JSON数据）
依赖spring-data-redis-2.4.1.jar Component Data public class RedisUtils {Autowiredprivate RedisTemplate<String, Object> redisTemplate;Resource(name "stringRedisTemplate")private ValueOperations<String, String> valueOperations;/*** 默…...
Linux 下 Java Socket 编程报 java.net.Exception:Permission denied (权限不足)
本人用Linux部署springboot项目时遇见这个错误，原因很简单，就是端口号没有选对。 在linux系统中，端口号再1024以下的需要root权限，只要把端口改成大于1024的就可以了，但避开一些软件的默认端口，如Tomcat的8…...
IDEA项目实践——VUE介绍与案例分析
系列文章目录 IDEA项目实践——JavaWeb简介以及Servlet编程实战 IDEA项目实践——Spring集成mybatis、spring当中的事务 IDEA项目实践——Spring当中的切面AOP IDEWA项目实践——mybatis的一些基本原理以及案例 IDEA项目实践——Spring框架简介，以及IOC注解 I…...
vue-canvas基本使用和注意事项-动画闪烁效果-自适应适配不同分辨率问题
前言 canvas画布是html的新特性，熟悉画布我们可以完成很多拖拽，标注，动画的功能 使用canvas实现一个小例子很容易，但是真正在项目中使用时，我们需要注意的地方有很多 canvas基本原理就是它基于渲染方法，根…...
Jmeter 如何才能做好接口测试？
现在对测试人员的要求越来越高，不仅仅要做好功能测试，对接口测试的需求也越来越多！ 所以也越来越多的同学问，怎样才能做好接口测试？ 要真正的做好接口测试，并且弄懂如何测试接口，需要从如下几…...
电商平台京东平台获得京东商品描述API接口演示案例
京东商品描述API接口可以获取京东商品描述： 详细介绍商品的特点和功能,让消费者能够了解商品的具体用途和效果。 使用简洁明了的语言,避免使用过于专业的术语和长句子,让消费者能够轻松理解。 重点突出商品的卖点和优势,让消费者能够更加清晰地了解商品的价值 …...
《算法竞赛·快冲300题》每日一题：“单位转换”
《算法竞赛快冲300题》将于2024年出版，是《算法竞赛》的辅助练习册。 所有题目放在自建的OJ New Online Judge。 用C/C、Java、Python三种语言给出代码，以中低档题为主，适合入门、进阶。 文章目录 题目描述题解C代码Java代码Python代码 “ 单…...
R语言13-R语言中的数据导入导出和批量导入
数据导入 CSV 文件： 使用 read.csv() 函数导入逗号分隔的文本文件。 data <- read.csv("data.csv")Excel 文件： 使用 readxl 包中的函数 read_excel() 导入 Excel 文件。 install.packages("readxl") # 安装 readxl 包&#…...
【Java】对象与类
【Java】对象与类 文章目录 【Java】对象与类1、学习背景2、定义&使用2.1 创建类2.2 创建对象 3、static关键字3.1 修饰变量3.2 修饰方法3.3 修饰代码块3.4 修饰内部类 4、this关键字5、封装特性5.1 访问修饰符5.2 包的概念 6、构造方法7、代码块7.1 普通代码块7.2 成员代码…...
视频尺寸缩小，一键批量剪辑，轻松制作精简版
大家好！在视频剪辑中，有时我们需要将大尺寸的视频缩小，以适应特定的需求和平台要求。为了帮助您轻松制作精简版视频，我们推出了一款全新的工具——视频尺寸缩小批量剪辑软件！让您一键批量将视频尺寸缩小，轻…...
leetcode做题笔记94. 二叉树的中序遍历
给定一个二叉树的根节点 root ，返回 它的 中序 遍历 。 思路一：模拟题意 void inorder(struct TreeNode*root,int* ans,int *resSize) {if(!root){return ;}inorder(root->left,ans,resSize);ans[(*resSize)] root->val;inorder(root->right…...
UWB高精度人员定位系统源码，微服务+java+ spring boot+ vue+ mysql技术开发
工业物联网感知预警体系，大中小企业工业数字化转型需求的工业互联网平台 工厂人员定位系统是指能够对工厂中的人员、车辆、设备等进行定位，实现对人员和车辆的实时监控与调度的系统，是智慧工厂建设中必不可少的一环。由于工厂的工作环境比较…...
C++初阶-list的底层
目录 1.std::list实现的所有代码 2.list的简单介绍 2.1实现list的类 2.2_list_iterator的实现 2.2.1_list_iterator实现的原因和好处 2.2.2_list_iterator实现 2.3_list_node的实现 2.3.1. 避免递归的模板依赖 2.3.2. 内存布局一致性 2.3.3. 类型安全的替代方案 2.3.…...
MongoDB学习和应用(高效的非关系型数据库)
一丶 MongoDB简介 对于社交类软件的功能，我们需要对它的功能特点进行分析： 数据量会随着用户数增大而增大读多写少价值较低非好友看不到其动态信息地理位置的查询… 针对以上特点进行分析各大存储工具： mysql：关系型数据库&am…...
生成 Git SSH 证书
🔑 1. 生成 SSH 密钥对 在终端（Windows 使用 Git Bash，Mac/Linux 使用 Terminal）执行命令： ssh-keygen -t rsa -b 4096 -C "your_emailexample.com" 参数说明： -t rsa&#x…...
【git】把本地更改提交远程新分支feature_g
创建并切换新分支 git checkout -b feature_g 添加并提交更改 git add . git commit -m “实现图片上传功能” 推送到远程 git push -u origin feature_g...
令牌桶 滑动窗口-＞限流 分布式信号量-＞限并发的原理 lua脚本分析介绍
文章目录 前言限流限制并发的实际理解限流令牌桶代码实现结果分析令牌桶lua的模拟实现原理总结： 滑动窗口代码实现结果分析lua脚本原理解析 限并发分布式信号量代码实现结果分析lua脚本实现原理 双注解去实现限流 并发结果分析： 实际业务去理解体会统一注…...
第 86 场周赛：矩阵中的幻方、钥匙和房间、将数组拆分成斐波那契序列、猜猜这个单词
Q1、[中等] 矩阵中的幻方 1、题目描述 3 x 3 的幻方是一个填充有 从 1 到 9 的不同数字的 3 x 3 矩阵，其中每行，每列以及两条对角线上的各数之和都相等。 给定一个由整数组成的row x col 的 grid，其中有多少个 3 3 的 “幻方” 子矩阵&am…...
Unity | AmplifyShaderEditor插件基础（第七集：平面波动shader）
目录 一、👋🏻前言 二、😈sinx波动的基本原理 三、😈波动起来 1.sinx节点介绍 2.vertexPosition 3.集成Vector3 a.节点Append b.连起来 4.波动起来 a.波动的原理 b.时间节点 c.sinx的处理 四、🌊波动优化…...
docker 部署发现spring.profiles.active 问题
报错： org.springframework.boot.context.config.InvalidConfigDataPropertyException: Property spring.profiles.active imported from location class path resource [application-test.yml] is invalid in a profile specific resource [origin: class path re…...
算法岗面试经验分享-大模型篇
文章目录 A 基础语言模型A.1 TransformerA.2 Bert B 大语言模型结构B.1 GPTB.2 LLamaB.3 ChatGLMB.4 Qwen C 大语言模型微调C.1 Fine-tuningC.2 Adapter-tuningC.3 Prefix-tuningC.4 P-tuningC.5 LoRA A 基础语言模型 A.1 Transformer （1）资源 论文&a…...
Bean 作用域有哪些？如何答出技术深度？
导语： Spring 面试绕不开 Bean 的作用域问题，这是面试官考察候选人对 Spring 框架理解深度的常见方式。本文将围绕“Spring 中的 Bean 作用域”展开，结合典型面试题及实战场景，帮你厘清重点，打破模板式回答，…...