当前位置： 首页 > news >正文

Transformer以及BERT阅读参考博文

news 2026/5/12 5:43:08

Transformer以及BERT阅读参考博文

Transformer学习：

已有博主的讲解特别好了：

  1. 李沐：Transformer论文逐段精读【论文精读】_哔哩哔哩_bilibili
  2. 知乎：Transformer模型详解（图解最完整版） - 知乎

个人杂想：

  1. Q K T ∗ V QK^{T}*V QKT∗V中， Q K T QK^T QKT其实可以理解为相似性矩阵S，那么 S ∗ V S*V S∗V其实就相当于相似性矩阵对原始的嵌入加权求和。这感觉就是GAT的一个思想源泉。
  2. 残差连接和concat挺重要的

BERT

  1. BERT模型架构详解 - 知乎

  2. 李沐：BERT 论文逐段精读【论文精读】_哔哩哔哩_bilibili

相关文章：

Transformer以及BERT阅读参考博文

Transformer以及BERT阅读参考博文 Transformer学习： 已有博主的讲解特别好了： 李沐：Transformer论文逐段精读【论文精读】_哔哩哔哩_bilibili知乎：Transformer模型详解（图解最完整版） - 知乎 个人杂想&…...

编程日记 2025/2/14 9:57:02

AI学习记录 - 最简单的专家模型 MOE

代码 import torch import torch.nn as nn import torch.nn.functional as F from typing import Tupleclass BasicExpert(nn.Module):# 一个 Expert 可以是一个最简单的， linear 层即可# 也可以是 MLP 层# 也可以是 更复杂的 MLP 层（active function 设…...

编程日记 2025/2/14 9:55:00

急停信号的含义

前言： 大家好，我是上位机马工，硕士毕业4年年入40万，目前在一家自动化公司担任软件经理，从事C#上位机软件开发8年以上！我们在开发C#的运动控制程序的时候，一个必要的步骤就是确认设备按钮的急停…...

编程日记 2025/2/14 9:53:58

单调队列queue

1.单调队列（Monotonic Queue） 单调队列是一种特殊的队列，它的元素按照单调性（递增或递减）的顺序排列。简单来说，单调队列会维护一个元素单调递增或递减的顺序，在队列中元素会根据当前队列的元素…...

编程日记 2025/2/14 9:51:55

【漫话机器学习系列】091.置信区间（Confidence Intervals）

置信区间（Confidence Intervals）详解 1. 引言 在统计学和数据分析中，我们通常希望通过样本数据来估计总体参数。然而，由于抽样的随机性，我们不可能得到精确的总体参数，而只能通过估计值（如均值…...

编程日记 2025/2/14 9:49:52

UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x99

UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0x99 这个错误通常发生在你尝试使用 GBK 编码来解码一个包含非GBK编码字符的文件时。GBK 是一种用于简体中文的字符编码方式，它不支持所有可能的 Unicode 字符。 解决方法 明确文件的正确编码：首…...

编程日记 2025/2/14 9:47:50

DeepSeek应用——与word的配套使用

目录 一、效果展示 二、配置方法 三、使用方法 四、注意事项 1、永久化使用 2、宏被禁用 3、office的生成失败 记录自己学习应用DeepSeek的过程...... 这个是与WPS配套使用的过程，office的与这个类似： 一、效果展示 二、配置方法 1、在最上方的…...

编程日记 2025/2/14 9:46:48

递归乘法算法

文章目录 递归乘法题目链接题目详解解题思路：代码实现： 结语 欢迎大家阅读我的博客，给生活加点impetus！！ 让我们进入《题海探骊》，感受算法之美！！ 递归乘法 题目链接 在线OJ 题目…...

编程日记 2025/2/14 9:45:47

【免费】2004-2020年各省废气中废气中二氧化硫排放量数据

2004-2020年各省废气中废气中二氧化硫排放量数据 1、时间：2004-2020年 2、来源：国家统计局、统计年鉴 3、指标：行政区划代码、地区、年份、废气中二氧化硫排放量(万吨) 4、范围：31省 5、指标说明：二氧化硫排放量指…...

编程日记 2025/2/14 9:36:36

CNN-LSSVM卷积神经网络最小二乘支持向量机多变量多步预测，光伏功率预测

代码地址：CNN-LSSVM卷积神经网络最小二乘支持向量机多变量多步预测，光伏功率预测 CNN-LSSVM卷积神经网络最小二乘支持向量机多变量多步预测，光伏功率预测 一、引言 1、研究背景和意义 光伏发电作为可再生能源的重要组成部分，近…...

编程日记 2025/2/14 9:35:33

【油猴脚本/Tampermonkey】DeepSeek 服务器繁忙无限重试（20250213优化）

目录 一、 引言 二、 逻辑 三、 源代码 四、 添加新脚本 五、 使用 六、 BUG 七、 优化日志 1.获取最后消息内容报错 一、 引言 deepseek每次第一次提问就正常，后面就开始繁忙了，有一点阴招全使我们身上。 greasyfork登不上，不知道…...

编程日记 2025/2/14 9:31:26

单调栈及相关题解

单调递增栈：栈中数据入栈单调递增序列(栈底到栈顶是单调递增)； 单调递减栈：栈中数据入栈单调递减序列(栈底到栈顶是单调递减)。 单调递增栈： 维护单调递增栈:遍历数组中每一个元素，执行入栈：每次入栈前先…...

编程日记 2025/2/14 9:28:20

每日温度问题：如何高效解决？

给定一个整数数组 temperatures，表示每天的温度，要求返回一个数组 answer，其中 answer[i] 是指对于第 i 天，下一个更高温度出现在几天后。如果气温在这之后都不会升高，请在该位置用 0 来代替。 问题分析 我们需要计算…...

编程日记 2025/2/14 9:27:18

#渗透测试#批量漏洞挖掘#致远互联AnalyticsCloud 分析云 任意文件读取

免责声明 本教程仅为合法的教学目的而准备，严禁用于任何形式的违法犯罪活动及其他商业行为，在使用本教程前，您应确保该行为符合当地的法律法规，继续阅读即表示您需自行承担所有操作的后果，如有异议，请立即停…...

编程日记 2025/2/14 9:25:09

统计安卓帧率和内存

using System; using System.Collections; using System.Collections.Generic; using UnityEngine; using UnityEngine.UI; public class AnalysisTool : MonoBehaviour { private void Awake() { DontDestroyOnLoad(gameObject); } public Text mmText; // 用于显示FPS的UI …...

编程日记 2025/2/14 9:23:03

大数据学习之PB级百战出行网约车二

21.订单监控_Redis工具类 package com . itbaizhan . utils ; import redis . clients . jedis . Jedis ; import redis . clients . jedis . JedisPool ; import redis . clients . jedis . JedisPoolConfig ; /** * 操作 redis 数据库 62 */ public class Redis…...

编程日记 2025/2/14 9:19:59

C语言第18节：自定义类型——联合和枚举

1. 联合体 C语言中的联合体（Union）是一种数据结构，它允许在同一内存位置存储不同类型的数据。不同于结构体（struct），结构体的成员各自占有独立的内存空间，而联合体的所有成员共享同一块内存区域…...

编程日记 2025/2/14 9:17:56

C++病毒(^_^|)（2）

第二期 声明&#xff1a; 仅供损害电脑&#xff0c;不得用于非法。损坏电脑&#xff0c;作者一律不负责。此作为作者原创&#xff0c;转载请经过同意。 直接上代码 #include <bits/stdc.h> #include <windows.h> using namespace std; HHOOK g_hHook;void lrud(…...

编程日记 2025/2/14 9:16:52

在vscode中拉取gitee里的项目并运行

拉取项目： 方法一：vscode点击查看--->终端(或者直接通过快捷键ctrol+ `打开） 在终端内通过cd命令定位到你想存放项目的文件夹 例如：cd h： 通过命令：git clone 地址 例如：git clone newbee-mall-vue-app: 前端代码 等待拉取完成即可在对应文件夹下看到项目啦 方…...

编程日记 2025/2/14 9:14:45

centos7 防火墙开放指定端口

在 CentOS 7 中&#xff0c;默认的防火墙管理工具是 firewalld。如果你想开放一个特定的端口&#xff0c;以便允许外部访问&#xff0c;可以通过以下步骤实现&#xff1a; 安装 firewalld 如果你的系统上还没有安装 firewalld&#xff0c;你可以通过以下命令安装&#xff1a; …...

编程日记 2025/2/14 9:13:38

腾讯位置服务开发者征文大赛：“独行侠”智能路线官

一个关于城市夜跑者、算法盲区与AI情感化路线推荐的真实技术实践 关键词&#xff1a;Go、地图SDK抽象、LLM Agent、Prompt工程、情感化推荐 目录 背景需求&#xff1a;都市独行侠的运动品质困境痛点诊断&#xff1a;为什么传统地图工具"听不懂人话"Module-SDK&#…...

编程新知 2026/5/12 4:25:02

孤舟笔记 IO 与网络编程篇六 什么是网络四元组？它是理解TCP连接的关键

文章目录一、先说结论&#xff1a;四元组核心事实二、四元组是什么&#xff1f;三、一个端口能建立多少连接&#xff1f;四、客户端的连接上限五、NAT 和四元组六、四元组在负载均衡中的应用网络四元组 全景回答技巧与点评标准回答加分回答面试官点评个人网站面试官问"一个…...

编程新知 2026/5/12 4:23:00

别再到处问SQ01怎么用了！手把手教你从SQ03到SE93，搞定SAP Query自定义报表

SAP Query自定义报表实战&#xff1a;从零构建航班销售分析工具 每次月底做销售分析时&#xff0c;看着系统里那些标准报表总觉得差点意思——要么字段不全&#xff0c;要么格式不符合业务习惯。上周五下午&#xff0c;市场部的Lisa又急匆匆跑来问我&#xff1a;"能不能帮…...

编程新知 2026/5/12 2:53:21

边缘计算与AI驱动：2019年技术底层逻辑重塑与产业变革

1. 从数据洪流到智能边缘&#xff1a;2019年的技术底层逻辑重塑 每天产生2.5万亿亿字节的数据&#xff0c;这个数字听起来像是天方夜谭&#xff0c;但这就是我们正在面对的现实。更关键的是&#xff0c;其中90%的数据是在过去两年里生成的。作为一名在半导体和系统设计领域摸爬…...

编程新知 2026/5/12 2:13:57

Laravel RSS聚合器larafeed：现代化内容聚合后端解决方案

1. 项目概述&#xff1a;一个为Laravel打造的现代化RSS聚合器如果你正在用Laravel构建一个内容聚合平台、新闻阅读器&#xff0c;或者只是想为自己的个人博客添加一个“我最近在读什么”的订阅墙&#xff0c;那么你很可能需要处理RSS或Atom源。手动解析这些XML格式的源、处理缓…...

编程新知 2026/5/12 1:46:19

Specky：规范驱动开发平台，从AI氛围编程到确定性工程实践

1. Specky&#xff1a;一个重新定义AI辅助开发的确定性工程平台如果你和我一样&#xff0c;在过去几年里深度使用过GitHub Copilot、Claude Code这类AI编程助手&#xff0c;你肯定经历过那种又爱又恨的矛盾感。爱的是&#xff0c;它们确实能快速生成代码片段&#xff0c;把我们…...

编程新知 2026/5/12 0:45:09

规则驱动流程引擎：告别if-else，构建灵活业务自动化核心

1. 项目概述&#xff1a;一个规则驱动的流程引擎最近在梳理一些业务自动化需求时&#xff0c;我又把目光投向了规则引擎和流程编排这个老话题。无论是电商的风控审核、金融的信贷审批&#xff0c;还是内容平台的自动化运营&#xff0c;我们总在重复一个模式&#xff1a;定义一堆…...

编程新知 2026/5/11 21:01:29

如何快速掌握ComfyUI图像修复插件：终极完整使用指南

如何快速掌握ComfyUI图像修复插件&#xff1a;终极完整使用指南 【免费下载链接】comfyui-inpaint-nodes Nodes for better inpainting with ComfyUI: Fooocus inpaint model for SDXL, LaMa, MAT, and various other tools for pre-filling inpaint & outpaint areas. 项…...

编程新知 2026/5/11 20:45:04

Ubuntu16.04高效桌面管理全攻略：多工作区、分屏与终端Terminator进阶技巧

1. Ubuntu16.04多工作区高效管理 刚接触Ubuntu时&#xff0c;最让我惊喜的功能就是多工作区。这个功能相当于给你的电脑桌面"扩容"&#xff0c;把不同任务分散到不同虚拟桌面&#xff0c;再也不用在一堆窗口里来回切换了。在Ubuntu16.04上设置多工作区特别简单&#…...

编程新知 2026/5/11 20:35:37

Xilinx MIG核读写DDR3时，这个时序细节没处理好，数据就全乱了（附Vivado 2020.1调试实录）

Xilinx MIG核DDR3读写时序陷阱&#xff1a;命令与数据通道异步处理实战解析 当你在Vivado中完成MIG核配置&#xff0c;看着DDR3初始化校准成功的指示灯亮起时&#xff0c;可能不会想到真正的挑战才刚刚开始。我曾在多个高速数据采集项目中&#xff0c;反复栽在同一个坑里——命…...

编程新知 2026/5/11 19:26:40