当前位置： 首页 > news >正文

Transformer的前世今生 day10（Transformer编码器

news 2026/2/10 1:54:27

前情提要

ResNet（残差网络）

  • 由于我们加更多层，更复杂的模型并不总会改进精度，可能会让模型与真实值越来越远，如下：
    在这里插入图片描述
  • 我们想要实现，加上一个层把并不会让模型变复杂，即没有它也没关系，于是我们将残差块加入快速通道来实现，如下：
    • g(x)作为激活函数的输入，x作为模型的输入，f(x)为加上的层的输出，那么原本g(x) = f(x)
    • 加入残差块x后，g(x) = f(x) + x，表明即使f(x)没有得出很好的结果，那我也可以直接用x来作为激活函数的输入，绕过f(x)
      在这里插入图片描述
  • 残差块使很深的网络更加容易训练，因为我们总可以走快速通道让模型忽略掉某些层，即我们可以先训练容易的层

相关文章：

Transformer的前世今生 day10（Transformer编码器

前情提要 ResNet（残差网络） 由于我们加更多层，更复杂的模型并不总会改进精度，可能会让模型与真实值越来越远，如下： 我们想要实现，加上一个层把并不会让模型变复杂，即没有它也没关系…...

编程日记 2024/3/28 4:25:51

【c++模板】泛型编程（你真的懂模版特化、分离编译和非类型参数吗）

🪐🪐🪐欢迎来到程序员餐厅💫💫💫 今日主菜：模板 主厨：邪王真眼 主厨的主页：Chef‘s blog 所属专栏：c大冒险 总有光环在陨落，总有新星在…...

编程日记 2024/3/28 4:21:46

力扣1----10（更新）

1. 两数之和 给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出 和为目标值 target 的那 两个 整数，并返回它们的数组下标。 你可以假设每种输入只会对应一个答案。但是，数组中同一个元素在答案里不能重复出现。 你可以按…...

编程日记 2024/3/28 4:19:43

[Qt] QString::fromLocal8Bit 的使用误区

QString::fromLocal8Bit 是一个平台相关的函数。默认情况下在 Windows 下 就是 gbk 转 utf-8 ,在 Linux就应该是无事发生。因为Linux平台默认的编码方式就是 utf-8 可以通过 void QTextCodec::setCodecForLocale(QTextCodec *c)来修改 Qt默认的编码方式。如下 第一输出乱码的…...

编程日记 2024/3/28 4:16:40

什么是RabbitMQ的死信队列

RabbitMQ的死信队列（Dead Letter Queue，简称DLQ）是一种用于处理消息失败或无法路由的消息的机制。它允许将无法被正常消费的消息重新路由到另一个队列，以便稍后进行进一步处理、分析或排查问题。 当消息对立里面的消息出现以下几…...

编程日记 2024/3/28 4:15:39

力扣面试150 删除有序数组中的重复项 双指针

Problem: 26. 删除有序数组中的重复项 思路 👩‍🏫 三叶题解 复杂度 时间复杂度: O ( n ) O(n) O(n) 空间复杂度: O ( 1 ) O(1) O(1) Code class Solution {public int removeDuplicates(int[] nums) {int j 0, n nums.length;for(int i 0;…...

编程日记 2024/3/28 4:14:38

政安晨：【深度学习实践】【使用 TensorFlow 和 Keras 为结构化数据构建和训练神经网络】（二）—— 深度神经网络

政安晨的个人主页：政安晨 欢迎 👍点赞✍评论⭐收藏 收录专栏: TensorFlow与Keras实战演绎 希望政安晨的博客能够对您有所裨益，如有不足之处，欢迎在评论区提出指正！ 概述 深度神经网络（Deep Neural Network…...

编程日记 2024/3/28 4:12:36

【链表】Leetcode 138. 随机链表的复制【中等】

随机链表的复制 给你一个长度为 n 的链表，每个节点包含一个额外增加的随机指针 random ，该指针可以指向链表中的任何节点或空节点。 构造这个链表的 深拷贝。 深拷贝应该正好由 n 个 全新 节点组成，其中每个新节点的值都设为其对应的原节点…...

编程日记 2024/3/28 4:11:34

【计算机网络教程】(第六版)第2章课后习题答案

第二章 2-012-022-032-042-062-072-082-092-102-112-122-132-142-152-16 2-01 物理层要解决哪些问题？物理层的主要特点是什么？ 答： 物理层要解决的主要问题： （1）物理层要尽可能地屏蔽掉物理设备和传输媒体&…...

编程日记 2024/3/28 4:10:33

抖音电商“达人客服”产品上线啦！超多作者邀你一起“321上客服”！

有问题别自己克服，来抖音电商找“达人客服” 当代年轻人购物，正在从机智省变成理智购。越来越多的人在达人直播间购物，看重的不止是优惠力度，还有服务保障。 为了帮助达人更好地服务用户，抖音电商上线了「达人客服」…...

编程日记 2024/3/28 4:08:31

华为防火墙二层墙(VAN/SVI/单臂路由)

二层墙只能做地址池形式的NAT。 交换机安全策略防火墙二层墙 路由器安全策略防火墙三层墙 交换机的光口是不能直接插线的，光模块，包括进和出 长距离：单模 短距离：多模 防火墙自身的ping流量需要单独配置...

编程日记 2024/3/28 4:07:30

idea使用git笔记

1.创建分支和切换分支 创建分支 切换分支 2.把新创建的分支提交到远程服务器上（注：如果没有提交的，随便找个文件修改再提交） (1)切换到要提交的分支，add (2)commit (3)push 3.在自己分支修改代码及提交到自己的远…...

编程日记 2024/3/28 4:05:26

智慧校园数据可视化有什么好处？怎么推进数字化校园方案？

在当今数字化时代，越来越多学校开始实施智慧校园计划，旨在为学生和教师提供更高效、便捷的学习和教学环境。智慧校园运用互联网、大数据、人工智能等技术，对校园内各信息进行收集、整合、分析和应用，实现教学、管理、服务等多方面…...

编程日记 2024/3/28 4:03:24

如何利用python编写函数fn(a,n)求数列和

1 问题 编写函数fn(a,n) 求aaaaaa⋯aa⋯aa(n个a）之和，fn须返回的是数列和,输入正整数a和n的值（两个值都不超过9），并输出fn(a,n)的结果值。 2 方法 运用def 定义函数和for 循环递归方法： 先定义fn(a,n)函数;…...

编程日记 2024/3/28 4:02:20

django orm DateTimeField 6位小数精度问题

from django.db.backends.mysql.base import DatabaseWrapperDatabaseWrapper.data_types[DateTimeField] "datetime"意思就是重写源码里面的DateTimeField字段...

编程日记 2024/3/28 3:53:09

JVM（六）——内存模型与高效并发

内存模型与高效并发 一、java 内存模型 【java 内存模型】是 Java Memory Model（JMM） 简单的说，JMM 定义了一套在多线程读写共享数据时（成员变量、数组）时，对数据的可见性、有序 性、和原子性的规则和保障…...

编程日记 2024/3/28 3:52:07

C++：关键字（4）

在c中的关键字就是我们各个写的各种代码 这些就是关键字，这些东西是无法当参数的，比如在给变量名设置为int那就不行 这就是个错的 在写其他的参数时候，不可以使用关键词作为参数...

编程日记 2024/3/28 3:49:05

STM32串口收发单字节数据原理及程序实现

线路连接： 显示屏的SCA接在B11，SCL接在B10，串口的RX连接A9，TX连接A10。 程序编写： 在上一个博客中实现了串口的发送代码，这里实现串口的接收代码，在上一个代码的基础上增加程序功能。 Seiral.…...

编程日记 2024/3/28 3:44:00

openGauss + Datakit搭建openGauss运维平台

系统架构OS 硬件需求：2c4g [rootlocalhost ~]# cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core) [rootlocalhost ~]# uname -m x86_64 [rootlocalhost ~]# hostname -I 192.168.92.32 下载地址：https://opengauss.org/zh/download/ 下载…...

编程日记 2024/3/28 3:41:59

【疑惑】-谷歌是如何获取数据的

搜索引擎爬虫： 谷歌的搜索引擎通过爬虫程序在互联网上爬取和收集网页信息。这些爬虫会遵循特点的算法和规则，访问内容，并且提取出关键信息 用户的搜索行为： 当用户使用谷歌搜索引擎进行搜索的时候，谷歌会收集分析用户…...

编程日记 2024/3/28 3:38:56

后进先出（LIFO）详解

LIFO 是 Last In, First Out 的缩写，中文译为后进先出。这是一种数据结构的工作原则，类似于一摞盘子或一叠书本： 最后放进去的元素最先出来 -想象往筒状容器里放盘子： （1）你放进的最后一个盘子&#xff08…...

编程新知 2026/2/8 1:22:58

【JavaEE】-- HTTP

1. HTTP是什么？ HTTP（全称为"超文本传输协议"）是一种应用非常广泛的应用层协议，HTTP是基于TCP协议的一种应用层协议。 应用层协议：是计算机网络协议栈中最高层的协议，它定义了运行在不同主机上…...

编程新知 2026/2/8 22:56:45

【位运算】消失的两个数字（hard）

消失的两个数字（hard） 题⽬描述：解法（位运算）：Java 算法代码：更简便代码 题⽬链接：⾯试题 17.19. 消失的两个数字 题⽬描述： 给定⼀个数组，包含从 1 到 N 所有…...

编程新知 2025/11/15 16:18:24

Golang dig框架与GraphQL的完美结合

将 Go 的 Dig 依赖注入框架与 GraphQL 结合使用，可以显著提升应用程序的可维护性、可测试性以及灵活性。 Dig 是一个强大的依赖注入容器，能够帮助开发者更好地管理复杂的依赖关系，而 GraphQL 则是一种用于 API 的查询语言，能够提…...

编程新知 2025/12/31 8:38:23

【HTML-16】深入理解HTML中的块元素与行内元素

HTML元素根据其显示特性可以分为两大类：块元素(Block-level Elements)和行内元素(Inline Elements)。理解这两者的区别对于构建良好的网页布局至关重要。本文将全面解析这两种元素的特性、区别以及实际应用场景。 1. 块元素(Block-level Elements) 1.1 基本特性 …...

编程新知 2025/11/11 6:28:42

算法：模拟

1.替换所有的问号 1576. 替换所有的问号 - 力扣（LeetCode） ​遍历字符串​：通过外层循环逐一检查每个字符。​遇到 ? 时处理​： 内层循环遍历小写字母（a 到 z）。对每个字母检查是否满足： ​与…...

编程新知 2026/1/25 10:01:01

Web中间件--tomcat学习

Web中间件–tomcat Java虚拟机详解 什么是JAVA虚拟机 Java虚拟机是一个抽象的计算机，它可以执行Java字节码。Java虚拟机是Java平台的一部分，Java平台由Java语言、Java API和Java虚拟机组成。Java虚拟机的主要作用是将Java字节码转换为机器代码&#x…...

编程新知 2025/9/13 18:20:34

tauri项目，如何在rust端读取电脑环境变量

如果想在前端通过调用来获取环境变量的值&#xff0c;可以通过标准的依赖&#xff1a; std::env::var(name).ok() 想在前端通过调用来获取&#xff0c;可以写一个command函数&#xff1a; #[tauri::command] pub fn get_env_var(name: String) -> Result<String, Stri…...

编程新知 2026/2/6 6:05:11

GraphQL 实战篇：Apollo Client 配置与缓存

GraphQL 实战篇&#xff1a;Apollo Client 配置与缓存 上一篇&#xff1a;GraphQL 入门篇&#xff1a;基础查询语法 依旧和上一篇的笔记一样&#xff0c;主实操&#xff0c;没啥过多的细节讲解&#xff0c;代码具体在&#xff1a; https://github.com/GoldenaArcher/graphql…...

编程新知 2026/2/6 5:45:36

华为OD机考- 简单的自动曝光/平均像素

import java.util.Arrays; import java.util.Scanner;public class DemoTest4 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseint[] arr Array…...

编程新知 2026/2/3 15:25:15