Transformer以及BERT阅读参考博文
Transformer以及BERT阅读参考博文
Transformer学习：
已有博主的讲解特别好了：
- 李沐：Transformer论文逐段精读【论文精读】_哔哩哔哩_bilibili
- 知乎：Transformer模型详解（图解最完整版） - 知乎
个人杂想：
- Q K T ∗ V QK^{T}*V QKT∗V中， Q K T QK^T QKT其实可以理解为相似性矩阵S，那么 S ∗ V S*V S∗V其实就相当于相似性矩阵对原始的嵌入加权求和。这感觉就是GAT的一个思想源泉。
- 残差连接和concat挺重要的
BERT
-
BERT模型架构详解 - 知乎
-
李沐：BERT 论文逐段精读【论文精读】_哔哩哔哩_bilibili
相关文章：
Transformer以及BERT阅读参考博文
Transformer以及BERT阅读参考博文 Transformer学习： 已有博主的讲解特别好了： 李沐：Transformer论文逐段精读【论文精读】_哔哩哔哩_bilibili知乎：Transformer模型详解（图解最完整版） - 知乎 个人杂想&…...
AI学习记录 - 最简单的专家模型 MOE
代码 import torch import torch.nn as nn import torch.nn.functional as F from typing import Tupleclass BasicExpert(nn.Module):# 一个 Expert 可以是一个最简单的， linear 层即可# 也可以是 MLP 层# 也可以是 更复杂的 MLP 层（active function 设…...
急停信号的含义
前言： 大家好，我是上位机马工，硕士毕业4年年入40万，目前在一家自动化公司担任软件经理，从事C#上位机软件开发8年以上！我们在开发C#的运动控制程序的时候，一个必要的步骤就是确认设备按钮的急停…...
单调队列queue
1.单调队列（Monotonic Queue） 单调队列是一种特殊的队列，它的元素按照单调性（递增或递减）的顺序排列。简单来说，单调队列会维护一个元素单调递增或递减的顺序，在队列中元素会根据当前队列的元素…...
【漫话机器学习系列】091.置信区间（Confidence Intervals）
置信区间（Confidence Intervals）详解 1. 引言 在统计学和数据分析中，我们通常希望通过样本数据来估计总体参数。然而，由于抽样的随机性，我们不可能得到精确的总体参数，而只能通过估计值（如均值…...
UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x99
UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0x99 这个错误通常发生在你尝试使用 GBK 编码来解码一个包含非GBK编码字符的文件时。GBK 是一种用于简体中文的字符编码方式，它不支持所有可能的 Unicode 字符。 解决方法 明确文件的正确编码：首…...
DeepSeek应用——与word的配套使用
目录 一、效果展示 二、配置方法 三、使用方法 四、注意事项 1、永久化使用 2、宏被禁用 3、office的生成失败 记录自己学习应用DeepSeek的过程...... 这个是与WPS配套使用的过程，office的与这个类似： 一、效果展示 二、配置方法 1、在最上方的…...
递归乘法算法
文章目录 递归乘法题目链接题目详解解题思路：代码实现： 结语 欢迎大家阅读我的博客，给生活加点impetus！！ 让我们进入《题海探骊》，感受算法之美！！ 递归乘法 题目链接 在线OJ 题目…...
【免费】2004-2020年各省废气中废气中二氧化硫排放量数据
2004-2020年各省废气中废气中二氧化硫排放量数据 1、时间：2004-2020年 2、来源：国家统计局、统计年鉴 3、指标：行政区划代码、地区、年份、废气中二氧化硫排放量(万吨) 4、范围：31省 5、指标说明：二氧化硫排放量指…...
CNN-LSSVM卷积神经网络最小二乘支持向量机多变量多步预测，光伏功率预测
代码地址：CNN-LSSVM卷积神经网络最小二乘支持向量机多变量多步预测，光伏功率预测 CNN-LSSVM卷积神经网络最小二乘支持向量机多变量多步预测，光伏功率预测 一、引言 1、研究背景和意义 光伏发电作为可再生能源的重要组成部分，近…...
【油猴脚本/Tampermonkey】DeepSeek 服务器繁忙无限重试（20250213优化）
目录 一、 引言 二、 逻辑 三、 源代码 四、 添加新脚本 五、 使用 六、 BUG 七、 优化日志 1.获取最后消息内容报错 一、 引言 deepseek每次第一次提问就正常，后面就开始繁忙了，有一点阴招全使我们身上。 greasyfork登不上，不知道…...
单调栈及相关题解
单调递增栈：栈中数据入栈单调递增序列(栈底到栈顶是单调递增)； 单调递减栈：栈中数据入栈单调递减序列(栈底到栈顶是单调递减)。 单调递增栈： 维护单调递增栈:遍历数组中每一个元素，执行入栈：每次入栈前先…...
每日温度问题：如何高效解决？
给定一个整数数组 temperatures，表示每天的温度，要求返回一个数组 answer，其中 answer[i] 是指对于第 i 天，下一个更高温度出现在几天后。如果气温在这之后都不会升高，请在该位置用 0 来代替。 问题分析 我们需要计算…...
#渗透测试#批量漏洞挖掘#致远互联AnalyticsCloud 分析云 任意文件读取
免责声明 本教程仅为合法的教学目的而准备，严禁用于任何形式的违法犯罪活动及其他商业行为，在使用本教程前，您应确保该行为符合当地的法律法规，继续阅读即表示您需自行承担所有操作的后果，如有异议，请立即停…...
统计安卓帧率和内存
using System; using System.Collections; using System.Collections.Generic; using UnityEngine; using UnityEngine.UI; public class AnalysisTool : MonoBehaviour { private void Awake() { DontDestroyOnLoad(gameObject); } public Text mmText; // 用于显示FPS的UI …...
大数据学习之PB级百战出行网约车二
21.订单监控_Redis工具类 package com . itbaizhan . utils ; import redis . clients . jedis . Jedis ; import redis . clients . jedis . JedisPool ; import redis . clients . jedis . JedisPoolConfig ; /** * 操作 redis 数据库 62 */ public class Redis…...
C语言第18节：自定义类型——联合和枚举
1. 联合体 C语言中的联合体（Union）是一种数据结构，它允许在同一内存位置存储不同类型的数据。不同于结构体（struct），结构体的成员各自占有独立的内存空间，而联合体的所有成员共享同一块内存区域…...
（2）)
C++病毒(^_^|)（2）
第二期 声明： 仅供损害电脑，不得用于非法。损坏电脑，作者一律不负责。此作为作者原创，转载请经过同意。 直接上代码 #include <bits/stdc.h> #include <windows.h> using namespace std; HHOOK g_hHook;void lrud(…...
在vscode中拉取gitee里的项目并运行
拉取项目： 方法一：vscode点击查看--->终端(或者直接通过快捷键ctrol+ `打开） 在终端内通过cd命令定位到你想存放项目的文件夹 例如：cd h： 通过命令：git clone 地址 例如：git clone newbee-mall-vue-app: 前端代码 等待拉取完成即可在对应文件夹下看到项目啦 方…...
centos7 防火墙开放指定端口
在 CentOS 7 中，默认的防火墙管理工具是 firewalld。如果你想开放一个特定的端口，以便允许外部访问，可以通过以下步骤实现： 安装 firewalld 如果你的系统上还没有安装 firewalld，你可以通过以下命令安装： …...
基于算法竞赛的c++编程（28）结构体的进阶应用
结构体的嵌套与复杂数据组织 在C中，结构体可以嵌套使用，形成更复杂的数据结构。例如，可以通过嵌套结构体描述多层级数据关系： struct Address {string city;string street;int zipCode; };struct Employee {string name;int id;…...
C++初阶-list的底层
目录 1.std::list实现的所有代码 2.list的简单介绍 2.1实现list的类 2.2_list_iterator的实现 2.2.1_list_iterator实现的原因和好处 2.2.2_list_iterator实现 2.3_list_node的实现 2.3.1. 避免递归的模板依赖 2.3.2. 内存布局一致性 2.3.3. 类型安全的替代方案 2.3.…...
定时器任务——若依源码分析
分析util包下面的工具类schedule utils： ScheduleUtils 是若依中用于与 Quartz 框架交互的工具类，封装了定时任务的 创建、更新、暂停、删除等核心逻辑。 createScheduleJob createScheduleJob 用于将任务注册到 Quartz，先构建任务的 JobD…...
【CSS position 属性】static、relative、fixed、absolute 、sticky详细介绍，多层嵌套定位示例
文章目录 ★ position 的五种类型及基本用法 ★ 一、position 属性概述 二、position 的五种类型详解（初学者版） 1. static（默认值） 2. relative（相对定位） 3. absolute（绝对定位） 4. fixed（固定定位） 5. sticky（粘性定位） 三、定位元素的层级关系（z-i…...
将对透视变换后的图像使用Otsu进行阈值化，来分离黑色和白色像素。这句话中的Otsu是什么意思？
Otsu 是一种自动阈值化方法，用于将图像分割为前景和背景。它通过最小化图像的类内方差或等价地最大化类间方差来选择最佳阈值。这种方法特别适用于图像的二值化处理，能够自动确定一个阈值，将图像中的像素分为黑色和白色两类。 Otsu 方法的原…...
什么？连接服务器也能可视化显示界面？：基于X11 Forwarding + CentOS + MobaXterm实战指南
文章目录 什么是X11？环境准备实战步骤1️⃣ 服务器端配置（CentOS）2️⃣ 客户端配置（MobaXterm）3️⃣ 验证X11 Forwarding4️⃣ 运行自定义GUI程序(Python示例)5️⃣ 成功效果
在WSL2的Ubuntu镜像中安装Docker
Docker官网链接: https://docs.docker.com/engine/install/ubuntu/ 1、运行以下命令卸载所有冲突的软件包： for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done2、设置Docker…...
Rapidio门铃消息FIFO溢出机制
关于RapidIO门铃消息FIFO的溢出机制及其与中断抖动的关系，以下是深入解析： 门铃FIFO溢出的本质 在RapidIO系统中，门铃消息FIFO是硬件控制器内部的缓冲区，用于临时存储接收到的门铃消息（Doorbell Message）。…...
Proxmox Mail Gateway安装指南：从零开始配置高效邮件过滤系统
💝💝💝欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐：「storms…...
什么是VR全景技术
VR全景技术，全称为虚拟现实全景技术，是通过计算机图像模拟生成三维空间中的虚拟世界，使用户能够在该虚拟世界中进行全方位、无死角的观察和交互的技术。VR全景技术模拟人在真实空间中的视觉体验，结合图文、3D、音视频等多媒体元素…...