当前位置： 首页 > news >正文

从零开始实现大语言模型（五）：缩放点积注意力机制

news 2025/9/12 3:30:02

1. 前言

缩放点积注意力机制(scaled dot-product attention)是OpenAI的GPT系列大语言模型所使用的多头注意力机制(multi-head attention)的核心，其目标与前文所述简单自注意力机制完全相同，即输入向量序列 x 1 , x 2 , ⋯   , x n x_1, x_2, \cdots, x_n x

相关文章：

从零开始实现大语言模型（五）：缩放点积注意力机制

1. 前言 缩放点积注意力机制(scaled dot-product attention)是OpenAI的GPT系列大语言模型所使用的多头注意力机制(multi-head attention)的核心，其目标与前文所述简单自注意力机制完全相同，即输入向量序列 x 1 , x 2 , ⋯   , x n x_1, x_2, \cdots, x_n x...

编程日记 2024/7/14 21:06:27

PTA 7-15 希尔排序

本题目要求读入N个整数，采用希尔排序法进行排序，采用增量序列{5，3，1}，输出完成增量5和增量3后的5子排序和3子排序结果。 输入格式: 输入不超过100的正整数N和N个整数（空格分隔）。 输出格式: …...

编程日记 2024/7/14 21:04:24

【密码学】分组密码的设计原则

分组密码设计的目标是在密钥控制下，从一个巨大的置换集合中高效地选取一个置换，用于加密给定的明文块。 一、混淆原则 混淆原则是密码学中一个至关重要的概念，由克劳德香农提出。混淆原则就是将密文、明文、密钥三者之间的统计关系和代数关系…...

编程日记 2024/7/14 21:03:23

深入解析【C++ list 容器】：高效数据管理的秘密武器

目录 1. list 的介绍及使用 1.1 list 的介绍 知识点： 小李的理解： 1.2 list 的使用 1.2.1 list 的构造 知识点： 小李的理解： 代码示例： 1.2.2 list 迭代器的使用 知识点： 小李的理解&#xff1…...

编程日记 2024/7/14 20:59:20

NFS服务器、autofs自动挂载综合实验

综合实验 现有主机 node01 和 node02，完成如下需求： 1、在 node01 主机上提供 DNS 和 WEB 服务 2、dns 服务提供本实验所有主机名解析 3、web服务提供 www.rhce.com 虚拟主机 4、该虚拟主机的documentroot目录在 /nfs/rhce 目录 5、该目录由 node02 主机…...

编程日记 2024/7/14 20:51:13

自动驾驶事故频发，安全痛点在哪里？

大数据产业创新服务媒体 ——聚焦数据 改变商业 近日，武汉城市留言板上出现了多条关于萝卜快跑的投诉，多名市民反映萝卜快跑出现无故停在马路中间、高架上占最左道低速行驶、转弯卡着不动等情况，导致早晚高峰时段出现拥堵。萝卜快跑是百度 A…...

编程日记 2024/7/14 20:49:11

SpringSecurity框架【认证】

目录 一. 快速入门 二. 认证 2.1 登陆校验流程 2.2 原理初探 2.3 解决问题 2.3.1 思路分析 2.3.2 准备工作 2.3.3 实现 2.3.3.1 数据库校验用户 2.3.3.2 密码加密存储 2.3.3.3 登录接口 2.3.3.4 认证过滤器 2.3.3.5 退出登录 Spring Security是Spring家族中的一个…...

编程日记 2024/7/14 20:45:05

python安全脚本开发简单思路

文章目录 为什么选择python作为安全脚本开发语言如何编写人生第一个安全脚本开发后续学习 为什么选择python作为安全脚本开发语言 易读性和易维护性：Python以其简洁的语法和清晰的代码结构著称，这使得它非常易于阅读和维护。在安全领域，代码…...

编程日记 2024/7/14 20:44:04

WPF学习(4) -- 数据模板

一、DataTemplate 在WPF（Windows Presentation Foundation）中，DataTemplate 用于定义数据的可视化呈现方式。它允许你自定义如何展示数据对象，从而实现更灵活和丰富的用户界面。DataTemplate 通常用于控件（如ListBox、…...

编程日记 2024/7/14 20:43:03

GuLi商城-商品服务-API-品牌管理-JSR303分组校验

注解：@Validated 实体类： package com.nanjing.gulimall.product.entity;import com.baomidou.mybatisplus.annotation.TableId; import com.baomidou.mybatisplus.annotation.TableName; import com.nanjing.common.valid.ListValue; import com.nanjing.common.valid.Updat…...

编程日记 2024/7/14 20:37:57

PyTorch DataLoader 学习

1. DataLoader的核心概念 DataLoader是PyTorch中一个重要的类，用于将数据集（dataset）和数据加载器（sampler）结合起来，以实现批量数据加载和处理。它可以高效地处理数据加载、多线程加载、批处理和数据增强…...

编程日记 2024/7/14 20:36:56

TCP传输控制协议二

TCP 是 TCP/IP 模型中的传输层一个最核心的协议，不仅如此，在整个 4 层模型中，它都是核心的协议，要不然模型怎么会叫做 TCP/IP 模型呢。 它向下使用网络层的 IP 协议，向上为 FTP、SMTP、POP3、SSH、Telnet、HTTP 等应用…...

编程日记 2024/7/14 20:33:54

【学习笔记】无人机（UAV）在3GPP系统中的增强支持(五)-同时支持无人机和eMBB用户数据传输的用例

引言 本文是3GPP TR 22.829 V17.1.0技术报告，专注于无人机（UAV）在3GPP系统中的增强支持。文章提出了多个无人机应用场景，分析了相应的能力要求，并建议了新的服务级别要求和关键性能指标（KPIs）。…...

编程日记 2024/7/14 20:32:52

使用F1C200S从零制作掌机之debian文件系统完善NES

一、模拟器源码 源码：https://files.cnblogs.com/files/twzy/arm-NES-linux-master.zip 二、文件系统 文件系统：debian bullseye 使用builtroot2018构建的文件系统，使用InfoNES模拟器存在bug，搞不定，所以放弃&…...

编程日记 2024/7/14 20:31:51

Vue 3 与 TypeScript：最佳实践详解

大家好，我是CodeQi！ 很多人问我为什么要用TypeScript？ 因为 Vue3 喜欢它！ 开个玩笑... 在我们开始探索 Vue 3 和 TypeScript 最佳实践之前，让我们先打个比方。 如果你曾经尝试过在没有 GPS 的情况下开车到一个陌生的地方，你可能会知道那种迷失方向的感觉。 而 Typ…...

编程日记 2024/7/14 20:30:50

PyMysql error : Packet Sequence Number Wrong - got 1 expected 0

文章目录 错误一错误原因解决方案 错误二原因解决方案 我自己知道的，这类问题有两类原因，两种解决方案。 错误一 错误原因 pymysql的主进程启动的connect无法给子进程中使用，所以读取大批量数据时最后容易出现了此类问题。 解决方案 换成…...

编程日记 2024/7/14 20:26:46

MVC 生成验证码

在mvc 出现之前 生成验证码思路 在一个html页面上&#xff0c;生成一个验证码&#xff0c;在把这个页面嵌入到需要验证码的页面中。 JS生成验证码 <script type"text/javascript">jQuery(function ($) {/**生成一个随机数**/function randomNum(min, max) {…...

编程日记 2024/7/14 20:25:45

OSPF.综合实验

1、首先将各个网段基于172.16.0.0 16 进行划分 1.1、划分为4个大区域 172.16.0.0 18 172.16.64.0 18 172.16.128.0 18 172.16.192.0 18 四个网段 划分R4 划分area2 划分area3 划分area1 2、进行IP配置 如图使用配置指令进行配置 ip address x.x.x.x /x 并且将缺省路由…...

编程日记 2024/7/14 20:24:45

云计算【第一阶段（29）】远程访问及控制

一、ssh远程管理 1.1、ssh (secureshell)协议 是一种安全通道协议对通信数据进行了加密处理&#xff0c;用于远程管理功能SSH 协议对通信双方的数据传输进行了加密处理&#xff0c;其中包括用户登录时输入的用户口令&#xff0c;建立在应用层和传输层基础上的安全协议。SSH客…...

编程日记 2024/7/14 20:19:39

2024前端面试真题【CSS篇】

盒子模型 盒子模型&#xff1a;box-sizing&#xff0c;描述了文档中的元素如何生成矩形盒子&#xff0c;并通过这些盒子的布局来组织和设计网页。包含content、padding、margin、border四个部分。 分类 W3C盒子模型&#xff08;content-box&#xff09;&#xff1a;标准盒子模…...

编程日记 2024/7/14 20:17:37

7.4.分块查找

一.分块查找的算法思想&#xff1a; 1.实例&#xff1a; 以上述图片的顺序表为例&#xff0c; 该顺序表的数据元素从整体来看是乱序的&#xff0c;但如果把这些数据元素分成一块一块的小区间&#xff0c; 第一个区间[0,1]索引上的数据元素都是小于等于10的&#xff0c; 第二…...

编程新知 2025/9/2 17:00:34

LLM基础1_语言模型如何处理文本

基于GitHub项目&#xff1a;https://github.com/datawhalechina/llms-from-scratch-cn 工具介绍 tiktoken&#xff1a;OpenAI开发的专业"分词器" torch&#xff1a;Facebook开发的强力计算引擎&#xff0c;相当于超级计算器 理解词嵌入&#xff1a;给词语画"…...

编程新知 2025/9/1 17:51:59

【JavaWeb】Docker项目部署

引言 之前学习了Linux操作系统的常见命令&#xff0c;在Linux上安装软件&#xff0c;以及如何在Linux上部署一个单体项目&#xff0c;大多数同学都会有相同的感受&#xff0c;那就是麻烦。 核心体现在三点&#xff1a; 命令太多了&#xff0c;记不住 软件安装包名字复杂&…...

编程新知 2025/9/3 18:42:09

Unsafe Fileupload篇补充-木马的详细教程与木马分享（中国蚁剑方式）

在之前的皮卡丘靶场第九期Unsafe Fileupload篇中我们学习了木马的原理并且学了一个简单的木马文件 本期内容是为了更好的为大家解释木马&#xff08;服务器方面的&#xff09;的原理&#xff0c;连接&#xff0c;以及各种木马及连接工具的分享 文件木马&#xff1a;https://w…...

编程新知 2025/9/2 17:47:20

Java求职者面试指南：Spring、Spring Boot、MyBatis框架与计算机基础问题解析

Java求职者面试指南&#xff1a;Spring、Spring Boot、MyBatis框架与计算机基础问题解析 一、第一轮提问&#xff08;基础概念问题&#xff09; 1. 请解释Spring框架的核心容器是什么&#xff1f;它在Spring中起到什么作用&#xff1f; Spring框架的核心容器是IoC容器&#…...

编程新知 2025/6/16 22:53:40

JVM虚拟机：内存结构、垃圾回收、性能优化

1、JVM虚拟机的简介 Java 虚拟机（Java Virtual Machine 简称：JVM）是运行所有 Java 程序的抽象计算机，是 Java 语言的运行环境，实现了 Java 程序的跨平台特性。JVM 屏蔽了与具体操作系统平台相关的信息，使得 Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以…...

编程新知 2025/9/8 17:59:06

JavaScript 数据类型详解

JavaScript 数据类型详解 JavaScript 数据类型分为 原始类型&#xff08;Primitive&#xff09; 和 对象类型&#xff08;Object&#xff09; 两大类&#xff0c;共 8 种&#xff08;ES11&#xff09;&#xff1a; 一、原始类型&#xff08;7种&#xff09; 1. undefined 定…...

编程新知 2025/7/8 3:08:09

【Linux】Linux 系统默认的目录及作用说明

博主介绍&#xff1a;✌全网粉丝23W&#xff0c;CSDN博客专家、Java领域优质创作者&#xff0c;掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域✌ 技术范围&#xff1a;SpringBoot、SpringCloud、Vue、SSM、HTML、Nodejs、Python、MySQL、PostgreSQL、大数据、物…...

编程新知 2025/9/5 16:57:18

苹果AI眼镜：从“工具”到“社交姿态”的范式革命——重新定义AI交互入口的未来机会

在2025年的AI硬件浪潮中，苹果AI眼镜（Apple Glasses）正在引发一场关于“人机交互形态”的深度思考。它并非简单地替代AirPods或Apple Watch，而是开辟了一个全新的、日常可接受的AI入口。其核心价值不在于功能的堆叠，而在于如何通过形态设计打破社交壁垒，成为用户“全天佩戴…...

编程新知 2025/7/13 23:45:42

Cilium动手实验室: 精通之旅---13.Cilium LoadBalancer IPAM and L2 Service Announcement

Cilium动手实验室: 精通之旅---13.Cilium LoadBalancer IPAM and L2 Service Announcement 1. LAB环境2. L2公告策略2.1 部署Death Star2.2 访问服务2.3 部署L2公告策略2.4 服务宣告 3. 可视化 ARP 流量3.1 部署新服务3.2 准备可视化3.3 再次请求 4. 自动IPAM4.1 IPAM Pool4.2 …...

编程新知 2025/9/9 10:08:39