deepseek核心技术：MLA架构-多头潜在注意力
deepseek核心技术：MLA架构-多头潜在注意力
MLA架构即Multi-Head Latent Attention（多头潜在注意力）架构，是一种优化后的注意力机制。以下是对其及相关示例的具体介绍：
- 工作原理
- 输入嵌入：将输入序列中的每个元素转换为向量表示，即嵌入向量。例如在处理文本时，将文本中的每个词转换为对应的向量，假设输入序列是一句话“我喜欢自然语言处理”，每个词都会被转为一个特定维度的向量，形成一个向量序列。
- 潜在变量生成：将输入通过线性变换得到查询矩阵Q和键矩阵K，再通过可学习的参数矩阵将Q映射到潜在变量空间得到潜在变量Z，Z是对输入序列的“压缩”表示，保留了关键信息。比如在对上述句子进行处理时，通过这些变换，会把句子中词的向量表示压缩成更紧凑的潜在变量表示，只保留关键语义信息，如“自然语言处理”可能被压缩成一个代表其核心概念的潜在变量。
- 注意力权重计算：在潜在变量空间中，计算Z与K之间的相似度得到注意力权重。例如计算“我喜欢”与“自然语言处理”之间的关联程度，得出它们在语义上的注意力权重，
相关文章：
deepseek核心技术：MLA架构-多头潜在注意力
deepseek核心技术：MLA架构-多头潜在注意力 MLA架构即Multi-Head Latent Attention（多头潜在注意力）架构，是一种优化后的注意力机制。以下是对其及相关示例的具体介绍： 工作原理 输入嵌入：将输入序列中的每个元素转换为向量表示，即嵌入向量。例如在处理文本时，将文本中…...
讯飞星火大模型API使用Python调用
本文仅仅为简单API调用，更多复杂使用方法请参见接口文档 先在科大讯飞开放平台注册账号，点击控制台，在我的应用中创建新应用，新应用的名称可以自定义，这里我写的是ai对话： 在这里我们使用的模型为Speak Ul…...
C#面试常考随笔7:什么是匿名⽅法？还有Lambda表达式？
匿名方法本质上是一种没有显式名称的方法，它可以作为参数传递给需要委托类型的方法，常用于事件处理、回调函数等场景，能够让代码更加简洁和紧凑。 使用场景 事件处理：在处理事件时，不需要为每个事件处理程序单独定义…...
Elasticsearch：如何搜索含有复合词的语言
作者：来自 Elastic Peter Straer 复合词在文本分析和标记过程中给搜索引擎带来挑战，因为它们会掩盖词语成分之间的有意义的联系。连字分解器标记过滤器等工具可以通过解构复合词来帮助解决这些问题。 德语以其长复合词而闻名：Rindfleischetik…...
【Numpy核心编程攻略：Python数据处理、分析详解与科学计算】1.25 视觉风暴：NumPy驱动数据可视化
1.25 视觉风暴：NumPy驱动数据可视化 目录 #mermaid-svg-i3nKPm64ZuQ9UcNI {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-i3nKPm64ZuQ9UcNI .error-icon{fill:#552222;}#mermaid-svg-i3nKPm64ZuQ9UcNI …...
idea maven本地有jar包，但还要从远程下载
idea 中，java 工程执行 maven reimport，报jar报无法下载。 我奇了个怪，我明明在本地仓库有啊，你非得从远程下载？ 我从供应商那里拿来的，远程当然没有了。 这太奇葩了吧，折腾好久不行。 后来…...
C++编程语言：抽象机制：模板(Bjarne Stroustrup)
目录 23.1 引言和概观(Introduction and Overview) 23.2 一个简单的字符串模板(A Simple String Template) 23.2.1 模板的定义(Defining a Template) 23.2.2 模板实例化(Template Instantiation) 23.3 类型检查(Type Checking) 23.3.1 类型等价(Type Equivalence) …...
深入解析 Linux 内核中的页面错误处理机制
在现代操作系统中，页面错误（Page Fault）是内存管理的重要组成部分。当程序试图访问未映射到物理内存的虚拟内存地址时，CPU 会触发页面错误异常。Linux 内核通过一系列复杂的机制来处理这些异常，确保系统的稳定性和性能。本文将深入解析 Linux 内核中处理页面错误的核心代码…...
【AIGC专栏】AI在自然语言中的应用场景
ChatGPT出来以后，突然间整个世界都非常的为之一惊。很多人大喊AI即将读懂人类，虽然这是一句夸大其词的话，但是经过未来几十年的迭代，ChatGPT会变成什么样我们还真的很难说。在当前生成式内容来说，ChatGPT毫无疑问在当前…...
Ubuntu 20.04安装Protocol Buffers 2.5.0
个人博客地址：Ubuntu 20.04安装Protocol Buffers 2.5.0 | 一张假钞的真实世界 安装过程 Protocol Buffers 2.5.0源码下载：https://github.com/protocolbuffers/protobuf/tree/v2.5.0。下载并解压。 将autogen.sh文件中以下内容： curl htt…...
 深度爬虫与requests进阶之路)
解锁豆瓣高清海报(一) 深度爬虫与requests进阶之路
前瞻 PosterBandit 这个脚本能够根据用户指定的日期，爬取你看过的影视最高清的海报，然后使用 PixelWeaver.py 自动拼接成指定大小的长图。 你是否发现直接从豆瓣爬取下来的海报清晰度很低？ 使用 .pic .nbg img CSS 选择器，在 我…...
计算机组成原理——数据运算与运算器（二）
生活就像一条蜿蜒的河流，有时平静，有时湍急。我们在这条河流中前行，会遇到风雨，也会遇见阳光。重要的是，无论遇到什么，都要保持内心的平静与坚定。每一次的挫折，都是让我们成长的机会࿱…...
SpringBoot+Vue的理解（含axios/ajax）-前后端交互前端篇
文章目录 引言SpringBootThymeleafVueSpringBootSpringBootVue（前端）axios/ajaxVue作用响应式动态绑定单页面应用SPA前端路由 前端路由URL和后端API URL的区别前端路由的数据从哪里来的 Vue和只用三件套axios区别 关于地址栏url和axios请求不一致VueJSPS…...
【AI】DeepSeek 概念/影响/使用/部署
在大年三十那天，不知道你是否留意到，“deepseek”这个词出现在了各大热搜榜单上。这引起了我的关注，出于学习的兴趣，我深入研究了一番，才有了这篇文章的诞生。 概念 那么，什么是DeepSeek？首先百…...
javascript-es6 （二）
函数进阶 函数提升 函数提升与变量提升比较类似，是指函数在声明之前即可被调用 好处：能够使函数的声明调用更灵活 函数提升出现在 相同作用域 当中 //可调用函数 fn()//后声明函数 function fn() {console.log(可先调用再声明) } 注意：函数表…...
供应链系统设计-供应链中台系统设计（十四）- 清结算中心设计篇（三）
关于清结算中心的设计，我们之前的两篇文章中，对于业务诉求的好的标准进行了初步的描述，如果没有看的同学可以参考一下两篇文章进行了解，这样更有利于理解本篇的内容。链接具体如下： 供应链系统设计-供应链中台系统设计…...
【自学笔记】MySQL的重点知识点-持续更新
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 MySQL重点知识点MySQL知识点总结一、数据库基础二、MySQL的基本使用三、数据类型四、触发器（Trigger）五、存储引擎六、索引七、事务处理八、…...
X86路由搭配rtl8367s交换机
x86软路由，买双网口就好。或者单网口主板，外加一个pcie千兆。 华硕h81主板戴尔i350-T2双千兆，做bridge下载，速度忽高忽低。 今天交换机到货，poe供电，还是网管，支持Qvlan及IGMP Snooping…...
Linux环境基础开发工具的使用(apt, vim, gcc, g++, gbd, make/Makefile)
目录 什么是软件包 Linux 软件包管理器 apt 认识apt 查找软件包 安装软件 如何实现本地机器和云服务器之间的文件互传 卸载软件 Linux编辑器 - vim vim的基本概念 vim下各模式的切换 vim命令模式下各指令汇总 vim底行模式个指令汇总 Linux编译器 - gcc/g gcc/g的作…...
多模态论文笔记——ViViT
大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本文详细解读多模态论文《ViViT: A Video Vision Transformer》，2021由google 提出用于视频处理的视觉 Transformer 模型，在视频多模态领域有…...
云计算——弹性云计算器（ECS）
弹性云服务器：ECS 概述 云计算重构了ICT系统，云计算平台厂商推出使得厂家能够主要关注应用管理而非平台管理的云平台，包含如下主要概念。 ECS（Elastic Cloud Server）：即弹性云服务器，是云计算…...
2021-03-15 iview一些问题
1.iview 在使用tree组件时，发现没有set类的方法，只有get，那么要改变tree值，只能遍历treeData，递归修改treeData的checked，发现无法更改，原因在于check模式下，子元素的勾选状态跟父节…...
数据库分批入库
今天在工作中，遇到一个问题，就是分批查询的时候，由于批次过大导致出现了一些问题，一下是问题描述和解决方案： 示例： // 假设已有数据列表 dataList 和 PreparedStatement pstmt int batchSize 1000; // …...
Xen Server服务器释放磁盘空间
disk.sh #!/bin/bashcd /run/sr-mount/e54f0646-ae11-0457-b64f-eba4673b824c # 全部虚拟机物理磁盘文件存储 a$(ls -l | awk {print $NF} | cut -d. -f1) # 使用中的虚拟机物理磁盘文件 b$(xe vm-disk-list --multiple | grep uuid | awk {print $NF})printf "%s\n"…...
解决：Android studio 编译后报错\app\src\main\cpp\CMakeLists.txt‘ to exist
现象： android studio报错： [CXX1409] D:\GitLab\xxxxx\app.cxx\Debug\3f3w4y1i\arm64-v8a\android_gradle_build.json : expected buildFiles file ‘D:\GitLab\xxxxx\app\src\main\cpp\CMakeLists.txt’ to exist 解决： 不要动CMakeLists.…...
GAN模式奔溃的探讨论文综述（一）
简介 简介：今天带来一篇关于GAN的，对于模式奔溃的一个探讨的一个问题，帮助大家更好的解决训练中遇到的一个难题。 论文题目：An in-depth review and analysis of mode collapse in GAN 期刊：Machine Learning 链接：...
深入理解 React 样式方案
React 的样式方案较多，在应用开发初期，开发者需要根据项目业务具体情况选择对应样式方案。React 样式方案主要有： 1. 内联样式 2. module css 3. css in js 4. tailwind css 这些方案中，均有各自的优势和缺点。 1. 方案优劣势 1. 内联样式: 简单直观，适合动态样式和…...
Win系统权限提升篇UAC绕过DLL劫持未引号路径可控服务全检项目
应用场景： 1、常规某个机器被钓鱼后门攻击后，我们需要做更高权限操作或权限维持等。 2、内网域中某个机器被钓鱼后门攻击后，我们需要对后续内网域做安全测试。 #Win10&11-BypassUAC自动提权-MSF&UACME 为了远程执行目标的exe或者b…...
鸿蒙Navigation路由导航-基本使用介绍
1. Navigation介绍 Navigation组件是路由导航的根视图容器，一般作为Page页面的根容器使用，其内部默认包含了标题栏、内容区和工具栏，其中内容区默认首页显示导航内容（Navigation的子组件）或非首页显示（Nav…...
HTML版英语学习系统
HTML版英语学习系统 这是一个完全免费、无需安装、功能完整的英语学习工具，使用HTML CSS JavaScript实现。 功能 文本朗读练习 - 输入英文文章，系统朗读帮助练习听力和发音，适合跟读练习，模仿学习；实时词典查询 - 双…...