当前位置： 首页 > article >正文

Transformer以及BERT阅读参考博文

article 2026/4/22 14:07:53

Transformer以及BERT阅读参考博文

Transformer学习：

已有博主的讲解特别好了：

  1. 李沐：Transformer论文逐段精读【论文精读】_哔哩哔哩_bilibili
  2. 知乎：Transformer模型详解（图解最完整版） - 知乎

个人杂想：

  1. Q K T ∗ V QK^{T}*V QKT∗V中， Q K T QK^T QKT其实可以理解为相似性矩阵S，那么 S ∗ V S*V S∗V其实就相当于相似性矩阵对原始的嵌入加权求和。这感觉就是GAT的一个思想源泉。
  2. 残差连接和concat挺重要的

BERT

  1. BERT模型架构详解 - 知乎

  2. 李沐：BERT 论文逐段精读【论文精读】_哔哩哔哩_bilibili

相关文章：

Transformer以及BERT阅读参考博文

Transformer以及BERT阅读参考博文 Transformer学习： 已有博主的讲解特别好了： 李沐：Transformer论文逐段精读【论文精读】_哔哩哔哩_bilibili知乎：Transformer模型详解（图解最完整版） - 知乎 个人杂想&…...

编程日记 2025/9/27 10:08:47

深入浅出Java反射：掌握动态编程的艺术

小程一言反射何为反射反射核心类反射的基本使用获取Class对象创建对象调用方法访问字段 示例程序应用场景优缺点分析优点缺点 注意 再深入一些反射与泛型反射与注解反射与动态代理反射与类加载器 结语 小程一言 本专栏是对Java知识点的总结。在学习Java的过程中，学习…...

编程日记 2026/4/21 6:25:56

python 替换字符串

在 Python 中，替换字符串可以通过多种方式实现，具体取决于您的需求和上下文。以下是几种常见的方法： 1. 使用 str.replace() 方法 str.replace(old, new[, count]) 是最常用的字符串替换方法。它会将字符串中的所有匹配项替换为新的字符串。…...

编程日记 2025/11/10 6:12:11

数据挖掘智能Agent

🤗 CodeGenie - 智能编程助手 数据处理和分析对于数据分析工作人员来说，往往既复杂又令人头疼，需要耗费大量精力进行重复性工作。为了解决这一问题，我们开发了一款集成了自然语言处理和代码生成功能的智能编程助手——CodeGenie。…...

编程日记 2026/4/12 13:11:26

动手学深度学习11.7. AdaGrad算法-笔记练习（PyTorch）

以下内容为结合李沐老师的课程和教材补充的学习笔记，以及对课后练习的一些思考，自留回顾，也供同学之人交流参考。 本节课程地址：72 优化算法【动手学深度学习v2】_哔哩哔哩_bilibili 本节教材地址：11.7. AdaGrad算法…...

编程日记 2026/4/7 9:33:14

【鸿蒙开发】第三十六章 状态管理 - （V2）

目录​​​​​​​ 1 V2所属装饰器 1.1 ObservedV2装饰器和Trace装饰器：类属性变化观测 1、概述 2、装饰器说明 3、使用限制 1.2 ComponentV2装饰器：自定义组件 1、概述 1.3 Local装饰器：组件内部状态 1、概述 2、装饰器说明 3、…...

编程日记 2026/4/16 3:32:22

基础算法# 求一个数的二进制表示当中有几个1 (C++)

文章目录 题目链接题目解读思路完整代码参考 题目链接 题目解读 给定L,R。统计[L,R]区间内的所有数在二进制下包含的“1”的个数之和。 如5的二进制为101&#xff0c;包含2个“1”。 思路 直接将该数字转为二进制表示,求其有几个1即可。 完整代码 #include<bits/stdc.…...

编程日记 2026/4/12 16:10:08

3D机器视觉的类型、应用和未来趋势

3D机器视觉的类型、应用和未来趋势 类型 3D机器视觉技术主要分为以下几类&#xff1a; 立体视觉&#xff08;Stereo Vision&#xff09; 通过两个或多个摄像头从不同角度捕捉图像&#xff0c;利用视差计算深度信息&#xff0c;生成3D模型。 结构光&#xff08;Structured Li…...

编程日记 2026/2/6 22:42:42

【linux】在 Linux 上部署 DeepSeek-r1:32/70b：解决下载中断问题

【linux】在 Linux 上部署 DeepSeek-r1:32/70b：解决下载中断问题 【承接商业广告，如需商业合作请+v17740568442】 文章目录 【linux】在 Linux 上部署 DeepSeek-r1:32/70b：解决下载中断问题问题描述：解决方法方法一：手动中断并重启下载方法二：使用 Bash 脚本自动化下载在…...

编程日记 2026/4/12 15:20:38

什么是高亮环形光源

高亮环形光源是一种常用于机器视觉、工业检测和光学测量的照明设备。其特点是光线均匀、亮度高，并且呈环形分布，能够为被检测物体提供均匀的照明，减少阴影和反光，提高图像采集的质量。 主要特点： 环形设计：光源呈环形分布，适合安装在镜头周围，能够为物体提供均匀的照明…...

编程日记 2026/4/21 21:46:29

SpringBoot+Vue+微信小程序的高校食堂点餐系统

感兴趣的可以先收藏起来&#xff0c;还有大家在毕设选题&#xff0c;项目以及论文编写等相关问题都可以给我留言咨询&#xff0c;我会一一回复&#xff0c;希望帮助更多的人。 系统介绍 食堂点餐系统&#xff0c;作为一款融合现代信息技术的高效餐饮服务利器&#xff0c;以其…...

编程日记 2026/4/13 6:16:36

gitlab修改默认端口

问题&#xff1a;gitlab和zabbix部署在同一台服务器上导致80端口冲突 修改gitlab默认端口为8088&#xff1a; 第一步&#xff1a;修改/etc/gitlab/gitlab.rb文件 nginx[listen_port] 8088 第二步&#xff1a;修改默认的gitlab nginx的web服务80端 /var/opt/git…...

编程日记 2026/2/18 1:07:57

大预言模型|微调大预言模型初探索(LLaMA-Factory)(1)

前言 微调模型通常比从零开始训练一个模型的技术要求低。公司不需要拥有大量的深度学习专家&#xff0c;利用现有的开源工具和库&#xff08;如Hugging Face的Transformers等&#xff09;&#xff0c;中小型公司可以轻松地使用和微调大型模型&#xff0c;从而快速实现AI能力的集…...

编程日记 2026/4/16 13:27:37

IOTDB安装部署

IOTDB一般用于工业互联网&#xff0c;至于具体的介绍请自行搜索 1.环境准备 安装前需要保证设备上配有 JDK>1.8 的运行环境&#xff0c;并配置好 JAVA_HOME 环境变量。 设置最大文件打开数为 65535。 关闭防火墙 systemctl stop firewalld.service systemctl disable …...

编程日记 2026/4/13 3:56:20

【Day40 LeetCode】动态规划DP 回文子串问题

一、动态规划DP 回文子串问题 1、回文子串 647 dp数组如果采用一维的&#xff0c;很难进行推导。采用二维&#xff0c;一开始的想法是dp[i][j]表示s[i]~s[j]之间回文子串的个数&#xff0c;这样发现在推导递推公式时遇到困难&#xff0c;例如在s[i]s[j]时&#xff0c;不知道s…...

编程日记 2026/2/17 23:47:56

datasets: PyTorch version 2.5.1+cu124 available 这句话是什么意思

这句话的意思是&#xff1a; datasets&#xff1a;可能是 Python datasets 库的日志信息&#xff0c;说明它检测到了 PyTorch 的安装信息。PyTorch version 2.5.1cu124 available&#xff1a; PyTorch version 2.5.1&#xff1a;表示你的 PyTorch 版本是 2.5.1。cu124&#xf…...

编程日记 2026/2/18 20:37:22

如何通过MDM高效管理企业的Android平板？

目录 1. 批量配置设备&#xff08;Batch Device Provisioning&#xff09; 2. 应用推送与管理&#xff08;App Deployment & Management&#xff09; 3. 远程控制与故障排除&#xff08;Remote Control & Troubleshooting&#xff09; 4. 数据安全管理&#xff08;…...

编程日记 2026/4/7 10:34:49

mybatis-plus逆向code generator pgsql实践

mybatis-plus逆向code generator pgsql实践 环境准备重要工具的版本供参考pom依赖待逆向的SQL 配置文件CodeGenerator配置类配置类说明 环境准备 重要工具的版本 jdk1.8.0_131springboot 2.7.6mybatis-plus 3.5.7pgsql 14.15 供参考pom依赖 <?xml version"1.0&quo…...

编程日记 2026/4/13 2:11:47

深入理解DOM：22个核心知识点与代码示例

本文系统介绍DOM相关的22个核心概念&#xff0c;每个知识点均提供代码示例及简要说明&#xff0c;帮助开发者全面掌握DOM操作技巧。 一、DOM基础概念 1. DOM概念 DOM&#xff08;Document Object Model&#xff09;是HTML/XML的编程接口&#xff0c;通过JavaScript可动态修改…...

编程日记 2026/2/19 16:27:13

基于YALMIP和cplex工具箱的微电网最优调度算法matlab仿真

目录 1.课题概述 2.系统仿真结果 3.核心程序与模型 4.系统原理简介 4.1 系统建模 4.2 YALMIP工具箱 4.3 CPLEX工具箱 5.完整工程文件 1.课题概述 基于YALMIP和cplex工具箱的微电网最优调度算法matlab仿真。通过YALMIP和cplex这两个工具箱&#xff0c;完成微电网的最优调…...

编程日记 2026/4/12 18:27:41

java.lang.NoClassDefFoundError: javax/xml/bind/ValidationException

Java8升级到17之后, 启动报错, :LocalValidatorFactoryBean]: Factory method defaultValidator threw exception; nested exception is java.lang.NoClassDefFoundError: javax/xml/bind/ValidationException 报错原因:这个错误通常是由于缺少 javax.xml.bind 相关的依赖引起…...

编程日记 2026/4/21 16:41:49

C++ STL容器之list的使用及复现

list 1. 序列式容器 vector、list、deque、forward_list(C11 )等STL容器&#xff0c;其底层为线性序列的数据结构&#xff0c;里面存储的是元素本身&#xff0c;这样的容器被统称为序列式容器。 2. list容器 list 是用双向带哨兵位头节点的循环链表实现的。list 通过类模板…...

编程日记 2026/4/20 18:27:14

二、OpenSM排障----实战生产

目录 一、确认 OpenSM 服务端故障的步骤 1. 检查客户端与服务器的连通性 2. 检查客户端 InfiniBand 接口状态 3. 检查子网管理器状态 4. 检查拓扑信息 5. 检查路由表 二、客户端日志位置及查看方法 1. 系统日志 2. OpenSM 客户端日志 3. 内核日志 4. 性能计数器日志…...

编程日记 2026/4/15 13:01:00

Windows 找不到文件gpedit.msc，没有组策略编辑器，解决办法附上

windows10和11都通用。是不是有人告诉你家庭版本没有gpedit.msc&#xff0c;没有组策略编辑器&#xff1f;这压根就是某软玩的小把戏。Win10/11家庭版可通过修改文件后缀新建bat脚本&#xff0c;添加组策略包&#xff0c;以管理员身份运行后&#xff0c;输入gpedit.msc即可打开…...

编程日记 2026/4/12 11:42:00

基于Docker-compose的禅道部署实践：自建MySQL与Redis集成及故障排查指南

基于Docker-compose的禅道部署实践&#xff1a;自建MySQL与Redis集成及故障排查指南 禅道镜像版本&#xff1a;easysoft/zentao:21.4 Redis版本&#xff1a;redis:6.2.0 Mysql版本&#xff1a;mysql:8.0.35 文章目录 **基于Docker-compose的禅道部署实践&#xff1a;自建MySQL与…...

编程日记 2026/4/20 14:07:42

C++20 多线程机制

C++20 多线程机制 C++20 多线程机制说明总结C++20 多线程机制说明 C++20 引入了许多新的多线程特性，增强了标准库对并发编程的支持。以下是 C++20 中多线程编程的关键特性和用法：C++20 多线程核心特性 std::jthread：std::jthread 是 C++20 引入的新线程类，与 std::thread …...

编程日记 2026/4/12 9:21:48

AIGC与AICG的区别解析

目录 一、AIGC&#xff08;人工智能生成内容&#xff09; &#xff08;一&#xff09;定义与内涵 &#xff08;二&#xff09;核心技术与应用场景 &#xff08;三&#xff09;优势与挑战 二、AICG&#xff08;计算机图形学中的人工智能&#xff09; &#xff08;一&#x…...

编程日记 2026/4/12 19:25:20

基于 openEuler 构建 LVS-DR 群集

一、 对比 LVS 负载均衡群集的 NAT 模式和 DR 模式&#xff0c;比较其各自的优势 。 二、 基于 openEuler 构建 LVS-DR 群集。 一 NAT 模式 部署简单&#xff1a;NAT 模式下&#xff0c;所有的服务器节点只需要连接到同一个局域网内&#xff0c;通过负载均衡器进行网络地址转…...

编程日记 2026/4/13 2:14:05

Python练习11-20

题目&#xff1a;古典问题&#xff1a;有一对兔子&#xff0c;从出生后第3个月起每个月都生一对兔子&#xff0c;小兔子长到第三个月后每个月又生一对兔子&#xff0c;假如兔子都不死&#xff0c;问每个月的兔子总数为多少&#xff1f; 题目&#xff1a;判断101-200之间有多少…...

编程日记 2026/2/23 2:49:29

Java 实战：在图片指定位置贴二维码或条形码生成海报

在很多业务场景中&#xff0c;我们需要将生成的二维码或条形码贴到一张已有的图片上&#xff0c;从而生成一张完整的海报。下面就教你如何使用 Java 实现这个功能&#xff0c;我们将借助 ZXing 库生成二维码或条形码&#xff0c;使用 Java 的 java.awt 和 javax.imageio 包来处…...

编程日记 2026/4/5 7:14:06