当前位置： 首页 > news >正文

从零开始实现大语言模型（五）：缩放点积注意力机制

news 2026/5/24 13:46:22

1. 前言

缩放点积注意力机制(scaled dot-product attention)是OpenAI的GPT系列大语言模型所使用的多头注意力机制(multi-head attention)的核心，其目标与前文所述简单自注意力机制完全相同，即输入向量序列 x 1 , x 2 , ⋯   , x n x_1, x_2, \cdots, x_n x

相关文章：

从零开始实现大语言模型（五）：缩放点积注意力机制

1. 前言 缩放点积注意力机制(scaled dot-product attention)是OpenAI的GPT系列大语言模型所使用的多头注意力机制(multi-head attention)的核心，其目标与前文所述简单自注意力机制完全相同，即输入向量序列 x 1 , x 2 , ⋯   , x n x_1, x_2, \cdots, x_n x...

编程日记 2024/7/14 21:06:27

PTA 7-15 希尔排序

本题目要求读入N个整数，采用希尔排序法进行排序，采用增量序列{5，3，1}，输出完成增量5和增量3后的5子排序和3子排序结果。 输入格式: 输入不超过100的正整数N和N个整数（空格分隔）。 输出格式: …...

编程日记 2024/7/14 21:04:24

【密码学】分组密码的设计原则

分组密码设计的目标是在密钥控制下，从一个巨大的置换集合中高效地选取一个置换，用于加密给定的明文块。 一、混淆原则 混淆原则是密码学中一个至关重要的概念，由克劳德香农提出。混淆原则就是将密文、明文、密钥三者之间的统计关系和代数关系…...

编程日记 2024/7/14 21:03:23

深入解析【C++ list 容器】：高效数据管理的秘密武器

目录 1. list 的介绍及使用 1.1 list 的介绍 知识点： 小李的理解： 1.2 list 的使用 1.2.1 list 的构造 知识点： 小李的理解： 代码示例： 1.2.2 list 迭代器的使用 知识点： 小李的理解&#xff1…...

编程日记 2024/7/14 20:59:20

NFS服务器、autofs自动挂载综合实验

综合实验 现有主机 node01 和 node02，完成如下需求： 1、在 node01 主机上提供 DNS 和 WEB 服务 2、dns 服务提供本实验所有主机名解析 3、web服务提供 www.rhce.com 虚拟主机 4、该虚拟主机的documentroot目录在 /nfs/rhce 目录 5、该目录由 node02 主机…...

编程日记 2024/7/14 20:51:13

自动驾驶事故频发，安全痛点在哪里？

大数据产业创新服务媒体 ——聚焦数据 改变商业 近日，武汉城市留言板上出现了多条关于萝卜快跑的投诉，多名市民反映萝卜快跑出现无故停在马路中间、高架上占最左道低速行驶、转弯卡着不动等情况，导致早晚高峰时段出现拥堵。萝卜快跑是百度 A…...

编程日记 2024/7/14 20:49:11

SpringSecurity框架【认证】

目录 一. 快速入门 二. 认证 2.1 登陆校验流程 2.2 原理初探 2.3 解决问题 2.3.1 思路分析 2.3.2 准备工作 2.3.3 实现 2.3.3.1 数据库校验用户 2.3.3.2 密码加密存储 2.3.3.3 登录接口 2.3.3.4 认证过滤器 2.3.3.5 退出登录 Spring Security是Spring家族中的一个…...

编程日记 2024/7/14 20:45:05

python安全脚本开发简单思路

文章目录 为什么选择python作为安全脚本开发语言如何编写人生第一个安全脚本开发后续学习 为什么选择python作为安全脚本开发语言 易读性和易维护性：Python以其简洁的语法和清晰的代码结构著称，这使得它非常易于阅读和维护。在安全领域，代码…...

编程日记 2024/7/14 20:44:04

WPF学习(4) -- 数据模板

一、DataTemplate 在WPF（Windows Presentation Foundation）中，DataTemplate 用于定义数据的可视化呈现方式。它允许你自定义如何展示数据对象，从而实现更灵活和丰富的用户界面。DataTemplate 通常用于控件（如ListBox、…...

编程日记 2024/7/14 20:43:03

GuLi商城-商品服务-API-品牌管理-JSR303分组校验

注解：@Validated 实体类： package com.nanjing.gulimall.product.entity;import com.baomidou.mybatisplus.annotation.TableId; import com.baomidou.mybatisplus.annotation.TableName; import com.nanjing.common.valid.ListValue; import com.nanjing.common.valid.Updat…...

编程日记 2024/7/14 20:37:57

PyTorch DataLoader 学习

1. DataLoader的核心概念 DataLoader是PyTorch中一个重要的类，用于将数据集（dataset）和数据加载器（sampler）结合起来，以实现批量数据加载和处理。它可以高效地处理数据加载、多线程加载、批处理和数据增强…...

编程日记 2024/7/14 20:36:56

TCP传输控制协议二

TCP 是 TCP/IP 模型中的传输层一个最核心的协议，不仅如此，在整个 4 层模型中，它都是核心的协议，要不然模型怎么会叫做 TCP/IP 模型呢。 它向下使用网络层的 IP 协议，向上为 FTP、SMTP、POP3、SSH、Telnet、HTTP 等应用…...

编程日记 2024/7/14 20:33:54

【学习笔记】无人机（UAV）在3GPP系统中的增强支持(五)-同时支持无人机和eMBB用户数据传输的用例

引言 本文是3GPP TR 22.829 V17.1.0技术报告，专注于无人机（UAV）在3GPP系统中的增强支持。文章提出了多个无人机应用场景，分析了相应的能力要求，并建议了新的服务级别要求和关键性能指标（KPIs）。…...

编程日记 2024/7/14 20:32:52

使用F1C200S从零制作掌机之debian文件系统完善NES

一、模拟器源码 源码：https://files.cnblogs.com/files/twzy/arm-NES-linux-master.zip 二、文件系统 文件系统：debian bullseye 使用builtroot2018构建的文件系统，使用InfoNES模拟器存在bug，搞不定，所以放弃&…...

编程日记 2024/7/14 20:31:51

Vue 3 与 TypeScript：最佳实践详解

大家好，我是CodeQi！ 很多人问我为什么要用TypeScript？ 因为 Vue3 喜欢它！ 开个玩笑... 在我们开始探索 Vue 3 和 TypeScript 最佳实践之前，让我们先打个比方。 如果你曾经尝试过在没有 GPS 的情况下开车到一个陌生的地方，你可能会知道那种迷失方向的感觉。 而 Typ…...

编程日记 2024/7/14 20:30:50

PyMysql error : Packet Sequence Number Wrong - got 1 expected 0

文章目录 错误一错误原因解决方案 错误二原因解决方案 我自己知道的，这类问题有两类原因，两种解决方案。 错误一 错误原因 pymysql的主进程启动的connect无法给子进程中使用，所以读取大批量数据时最后容易出现了此类问题。 解决方案 换成…...

编程日记 2024/7/14 20:26:46

MVC 生成验证码

在mvc 出现之前 生成验证码思路 在一个html页面上&#xff0c;生成一个验证码&#xff0c;在把这个页面嵌入到需要验证码的页面中。 JS生成验证码 <script type"text/javascript">jQuery(function ($) {/**生成一个随机数**/function randomNum(min, max) {…...

编程日记 2024/7/14 20:25:45

OSPF.综合实验

1、首先将各个网段基于172.16.0.0 16 进行划分 1.1、划分为4个大区域 172.16.0.0 18 172.16.64.0 18 172.16.128.0 18 172.16.192.0 18 四个网段 划分R4 划分area2 划分area3 划分area1 2、进行IP配置 如图使用配置指令进行配置 ip address x.x.x.x /x 并且将缺省路由…...

编程日记 2024/7/14 20:24:45

云计算【第一阶段（29）】远程访问及控制

一、ssh远程管理 1.1、ssh (secureshell)协议 是一种安全通道协议对通信数据进行了加密处理&#xff0c;用于远程管理功能SSH 协议对通信双方的数据传输进行了加密处理&#xff0c;其中包括用户登录时输入的用户口令&#xff0c;建立在应用层和传输层基础上的安全协议。SSH客…...

编程日记 2024/7/14 20:19:39

2024前端面试真题【CSS篇】

盒子模型 盒子模型&#xff1a;box-sizing&#xff0c;描述了文档中的元素如何生成矩形盒子&#xff0c;并通过这些盒子的布局来组织和设计网页。包含content、padding、margin、border四个部分。 分类 W3C盒子模型&#xff08;content-box&#xff09;&#xff1a;标准盒子模…...

编程日记 2024/7/14 20:17:37

ubuntu个人开发者如何利用taotoken token plan降低ai实验成本

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 Ubuntu 个人开发者如何利用 Taotoken Token Plan 降低 AI 实验成本 对于在 Ubuntu 环境下进行 AI 实验与原型开发的个人开发者而言…...

编程新知 2026/5/24 13:24:10

终极指南：如何将STL文件快速转换为STEP格式（免费工具完整教程）

终极指南&#xff1a;如何将STL文件快速转换为STEP格式&#xff08;免费工具完整教程&#xff09; 【免费下载链接】stltostp Convert stl files to STEP brep files 项目地址: https://gitcode.com/gh_mirrors/st/stltostp 在现代3D设计与制造流程中&#xff0c;STL到S…...

编程新知 2026/5/24 12:32:02

2026年腾讯云OpenClaw/Hermes Agent配置Token Plan搭建详细攻略

2026年腾讯云OpenClaw/Hermes Agent配置Token Plan搭建详细攻略。OpenClaw是开源的个人AI助手&#xff0c;Hermes Agent则是一个能自我进化的AI智能体框架。阿里云提供计算巢、轻量服务器及无影云电脑三种部署OpenClaw 与 Hermes Agent的方案、百炼Token Plan兼容主流 AI 工具&…...

编程新知 2026/5/24 11:13:52

ScienceDecrypting：终极PDF文档解密教程，永久解除CAJViewer时间限制

ScienceDecrypting&#xff1a;终极PDF文档解密教程&#xff0c;永久解除CAJViewer时间限制 【免费下载链接】ScienceDecrypting 破解CAJViewer带有效期的文档&#xff0c;支持破解科学文库、标准全文数据库下载的文档。无损破解&#xff0c;保留文字和目录&#xff0c;解除有效…...

编程新知 2026/5/24 11:09:39

5分钟快速掌握ViGEmBus：Windows虚拟游戏控制器驱动完整指南

5分钟快速掌握ViGEmBus&#xff1a;Windows虚拟游戏控制器驱动完整指南 【免费下载链接】ViGEmBus Windows kernel-mode driver emulating well-known USB game controllers. 项目地址: https://gitcode.com/gh_mirrors/vi/ViGEmBus 你是否曾经遇到过这样的困扰&#xf…...

编程新知 2026/5/24 8:17:20

使用C#代码在Excel中插入行和列的操作指南

在处理 Excel 电子表格时&#xff0c;随着数据量的增加或项目范围的扩大&#xff0c;通常需要添加新的行或列。通过插入行和列&#xff0c;你可以快速调整工作表的结构&#xff0c;以容纳新的信息。本文将介绍如何使用 Spire.XLS for .NET 在 C# 中实现 Excel 行和列的插入操作…...

编程新知 2026/5/24 7:00:34

在线机器学习在时序异常检测中的应用：OML-AD原理与工程实践

1. 项目概述&#xff1a;当异常检测遇上实时数据流在运维监控、金融风控或物联网传感器分析中&#xff0c;我们常常需要盯着一条条不断涌出的时间序列数据&#xff0c;从中揪出那些“不对劲”的点——也就是异常。传统的玩法&#xff0c;比如训练一个SARIMA或者Prophet模型&…...

编程新知 2026/5/24 6:29:44

[智能体-29]：Chatbox 一款开源、跨平台的「AI 客户端聚合工具」，它本身不提供 AI 模型，而是帮你统一接入 ChatGPT、DeepSeek、Ollama 等几乎所有主流大模

Chatbox 是一款开源、跨平台的「AI 客户端聚合工具」&#xff0c;它本身不提供 AI 模型&#xff0c;而是帮你统一接入 ChatGPT、Claude、Gemini、DeepSeek、Ollama 等几乎所有主流大模型&#xff0c;提供一个隐私优先、功能丰富的统一交互界面。一、核心定位与本质你可以把 Cha…...

编程新知 2026/5/24 6:06:19

meent开源库实战：RCWA/TMM原理、实现与超表面优化避坑指南

1. 项目概述与核心价值如果你正在设计光子晶体、超表面或者任何带有周期性微纳结构的光学器件&#xff0c;那么“仿真”这一步几乎是绕不开的。无论是想优化一个光栅耦合器的耦合效率&#xff0c;还是设计一个能将特定波长光高效偏转的衍射元件&#xff0c;你都需要一个可靠的工…...

编程新知 2026/5/24 4:29:37

别再只懂ls -l了！手把手教你用getfattr/setfattr玩转Linux文件隐藏属性

别再只懂ls -l了&#xff01;手把手教你用getfattr/setfattr玩转Linux文件隐藏属性 在Linux系统中&#xff0c;文件权限和属性管理是每个开发者和管理员的必修课。大多数人熟悉 ls -l 展示的基础权限&#xff0c;但很少有人深入探索文件系统中那些不为人知的"隐藏技能&q…...

编程新知 2026/5/24 2:35:01