当前位置： 首页 > news >正文

[论文笔记] chatgpt系列 SparseMOE—GPT4的MOE结构

news 2026/5/13 18:53:22

SparseMOE: 稀疏激活的MOE

        Swtich MOE，所有token要在K个专家网络中，选择一个专家网络。

        显存增加。

        

 

Experts Choice：路由MOE：​​​​​​​

        由专家选择token。这样不同的专家都选择到某个token，也可以不选择该token。

        由于FFN层的时间复杂度和attention层不同，FFN层的时间复杂度在O(N*d)，N是输入长度，d是隐层纬度。attention层的时间复杂度在O(N^2*d)。

        所以这样操作没能减小计算量。参数量也是多了几个Expert的参数量。

        论文里的效果比SparseMOE更好。显存增加。

Tokens Choice：路由MOE：​​​​​​​

         由token选择专家。每个token只能进到一个专家里。没有t

相关文章：

[论文笔记] chatgpt系列 SparseMOE—GPT4的MOE结构

SparseMOE: 稀疏激活的MOE Swtich MOE，所有token要在K个专家网络中，选择一个专家网络。 显存增加。 Experts Choice：路由MOE：​​​​​​​ 由专家选择token。这样不同的专家都选择到某个token，也可以不选择该token。 由于FFN层的时间复杂度和attention层不同，FFN层的时…...

编程日记 2023/12/16 10:50:56

C# WPF上位机开发（键盘绘图控制）

【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing 163.com】 在软件开发中，如果存在canvas图像的话，一般有几种控制方法。一种是鼠标控制；一种是键盘控制；还有一…...

编程日记 2023/12/16 10:44:51

《地理信息系统原理》笔记/期末复习资料（10. 空间数据挖掘与空间决策支持系统）

目录 10. 空间数据挖掘与空间决策支持系统 10.1. 空间数据挖掘 10.1.1. 空间数据挖掘的概念 10.1.2. 空间数据挖掘的方法与过程 10.1.3. 空间数据挖掘的应用 10.2. 空间决策支持系统 10.2.1. 空间决策支持系统的概念 10.2.2. 空间决策支持系统的结构 10.2.3. 空间决策…...

编程日记 2023/12/16 10:43:50

uniapp播放 m3u8格式视频 兼容pc和移动端

支持全自动播放、设置参数 自己摸索出来的，花了一天时间，给点订阅支持下，订阅后，不懂的地方可以私聊我。 代码实现 代码实现 1.安装dplayer组件 npm i dplayer2. static/index.html下引入 hls 引入hls.min.js 可以存放在static项目hls下面<script src="/static…...

编程日记 2023/12/16 10:42:50

产品经理之Axure的元件库使用详细案例

⭐⭐ 产品经理专栏&#xff1a;产品专栏 ⭐⭐ 个人主页&#xff1a;个人主页 ​ 目录 前言 一.Axure的元件库的使用 1.1 元件介绍 1.2 基本元件的使用 1.2.1 矩形、按钮、标题的使用 1.2.2 图片及热区的使用 1.3 表单元件及表格元件的使用 1.3.1表单元件的使用 1.3.…...

编程日记 2023/12/16 10:39:46

数字化转型对企业有什么好处？

引言 数字化转型已经成为当今商业领域中的一股强大力量&#xff0c;它不仅仅是简单的技术更新&#xff0c;更是企业发展的重要战略转变。随着科技的迅猛发展和全球化竞争的加剧&#xff0c;企业们正在积极探索如何将数字化的力量融入到他们的运营和战略中。 数字化转型不仅是传…...

编程日记 2023/12/16 10:38:45

微信小程序：按钮禁用，避免按钮重复提交

wxml <view class"modal-buttons"><view class"one_btn" bindtap"submit">确认</view><view class"two_btn" bindtap"cancel">取消</view> </view> wxss /* 按钮 */ .modal-buttons…...

编程日记 2023/12/16 10:34:41

JAVA 异常分类及处理

JAVA 异常分类及处理 概念 如果某个方法不能按照正常的途径完成任务&#xff0c;就可以通过另一种路径退出方法。在这种情况下会抛出一个封装了错误信息的对象。此时&#xff0c;这个方法会立刻退出同时不返回任何值。另外&#xff0c;调用这个方法的其他代码也无法继续执行&…...

编程日记 2023/12/16 10:33:40

C语言--求数组的最大值和最小值【两种方法】

&#x1f357;方法一&#xff1a;用for循环遍历数组&#xff0c;找出最大值与最小值 &#x1f357;方法二&#xff1a;用qsort排序&#xff0c;让数组成为升序的有序数组&#xff0c;第一个值就是最小值&#xff0c;最后一个是最大值 完整代码&#xff1a; 方法一&#xff1a; …...

编程日记 2023/12/16 10:32:39

ES-组合与聚合

ES组合查询 1 must 满足两个match才会被命中 GET /mergeindex/_search {"query": {"bool": {"must": [{"match": {"name": "liyong"}},{"match_phrase": {"desc": "liyong"}}]}}…...

编程日记 2023/12/16 10:30:37

在 Spring Boot 中发送邮件简单实现

Spring Boot 对于发送邮件这种常用功能也提供了开箱即用的 Starter&#xff1a;spring-boot-starter-mail。 通过这个 starter&#xff0c;只需要简单的几行配置就可以在 Spring Boot 中实现邮件发送&#xff0c;可用于发送验证码、账户激活等等业务场景。 本文将通过实际的案…...

编程日记 2023/12/16 10:27:35

深入理解网络 I/O：单 Selector 多线程｜单线程模型

&#x1f52d; 嗨&#xff0c;您好 &#x1f44b; 我是 vnjohn&#xff0c;在互联网企业担任 Java 开发&#xff0c;CSDN 优质创作者 &#x1f4d6; 推荐专栏&#xff1a;Spring、MySQL、Nacos、Java&#xff0c;后续其他专栏会持续优化更新迭代 &#x1f332;文章所在专栏&…...

编程日记 2023/12/16 10:22:31

Kafka Avro序列化之三：使用Schema Register实现

为什么需要Schema Register 注册表 无论是使用传统的Avro API自定义序列化类和反序列化类 还是 使用Twitter的Bijection类库实现Avro的序列化与反序列化，这两种方法都有一个缺点：在每条Kafka记录里都嵌入了schema，这会让记录的大小成倍地增加。但是不管怎样，在读取记录时…...

编程日记 2023/12/16 10:21:30

EasyExcel

概述 GitHub - alibaba/easyexcel: 快速、简洁、解决大文件内存溢出的java处理Excel工具 EasyExcel官方文档 - 基于Java的Excel处理工具 | Easy Excel EasyExcel是一个基于Java的、快速、简洁、解决大文件内存溢出的Excel处理工具。 他能让你在不用考虑性能、内存的等因素的…...

编程日记 2023/12/16 10:20:29

java 探针两种模式实战

分为两种 程序运行前的agent&#xff1a;premain 程序运行中的agent&#xff1a;agentmain 在程序运行前的agent javaagent是java命令的一个参数&#xff0c;所以需要通过-javaagent 来指定一个jar包&#xff08;就是我们要做的代理包&#xff09;能够实现在主程序运行前来执行…...

编程日记 2023/12/16 10:14:24

uniGUI之MASK遮罩

在页面进行后台数据库操作的时候&#xff0c;不想 用户再进行 页面上的 其他操作&#xff0c;这时候就要 将页面 遮罩。例如UniDBGrid有LoadMask属性。 1]使用ScreenMask函数 2]JS调用 3]一个控件控制遮罩另一个控件(如Button遮罩UniDBGrid) //很简单&#xff0c;本例子就是告…...

编程日记 2023/12/16 10:04:17

DevOps云原生创建devops流水线（微服务项目上传git，打包镜像，部署k8s）

开发和运维人员的解决方案 一、中间件的部署&#xff08;Sentinel/MongoDB/MySQL&#xff09; 二、创建DevOps工程 邀请成员 三、创建流水线 四、编辑流水线 ①、拉取代码&#xff08;若失败&#xff0c;则将制定容器改为maven&#xff09; 若失败&#xff0c;则将命令改…...

编程日记 2023/12/16 10:01:14

【vim 学习系列文章 13.1 -- 自动命令autocmd 根据文件类型设置vim参数】

文章目录 autocmd 根据文件类型配置vim参数vim 文本类型 autocmd 根据文件类型配置vim参数 在 Vim 中&#xff0c;你可以使用 autocmd &#xff08;自动命令&#xff09;来根据文件类型自动执行特定的函数。首先&#xff0c;你需要定义这些函数&#xff0c;然后使用 autocmd 与…...

编程日记 2023/12/16 10:00:13

算法基础概念之数据结构

邻接表 每个点作为头节点接一条链表 链表中元素均为该头节点指向的点 优先队列 参数: ①储存元素类型 ②底层使用的存储结构(一般为vector) ③比较方式(默认小于)...

编程日记 2023/12/16 9:59:12

解决ES伪慢查询

一、问题现象 服务现象 服务接口的TP99性能降低 ES现象 YGC&#xff1a;耗时极其不正常, 峰值200次&#xff0c;耗时7sFULL GC&#xff1a;不正常,次数为1但是频繁&#xff0c;STW 5s慢查询&#xff1a;存在慢查询5 二 解决过程 1、去除干扰因素 从现象上看应用是由于某种…...

编程日记 2023/12/16 9:53:08

初创公司如何利用 Taotoken 低成本接入多种大模型能力

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 初创公司如何利用 Taotoken 低成本接入多种大模型能力 对于资源有限的初创技术团队而言&#xff0c;在产品开发初期集成人工智能能…...

编程新知 2026/5/13 18:12:40

仅限内部测试者知晓：Midjourney未公开的--detail boost隐式指令（实测使睫毛/织物/金属反光细节识别率提升3.2倍）

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;Midjourney图像放大与细节增强 Midjourney v6 及后续版本原生支持高分辨率图像生成与智能细节增强&#xff0c;其核心能力不仅依赖于模型权重&#xff0c;更通过 --zoom 2、--style raw 和 --s 750 等参…...

编程新知 2026/5/13 17:36:30

从NASA航天电子设计看高可靠性电源与模拟电路工程实践

1. 从太空迷到电子工程师&#xff1a;我的技术启蒙之路我是一名不折不扣的太空迷。这个身份的烙印&#xff0c;始于童年时守在电视机前&#xff0c;目睹第一艘“水星号”载人飞船发射升空的那一天。沃尔特克朗凯特在新闻中从各个科学角度进行的详尽报道&#xff0c;让我整整一天…...

编程新知 2026/5/13 16:58:21

基于多智能体架构的AI股票分析系统PRISM-INSIGHT部署与实战

1. 项目概述&#xff1a;一个由13个AI智能体驱动的股票分析与交易系统如果你对AI如何应用于金融投资感兴趣&#xff0c;或者正在寻找一个能自动分析市场、生成专业报告甚至执行交易的开源工具&#xff0c;那么PRISM-INSIGHT值得你花时间深入了解。这不是一个简单的数据可视化工…...

编程新知 2026/5/13 15:55:06

开源AI投资情报工具MacroClaw：从数据抓取到智能分析的完整实践

1. 项目概述&#xff1a;一个实时投资情报的AI智能体如果你和我一样&#xff0c;每天需要花大量时间在财经新闻、大宗商品价格和地缘政治动态上&#xff0c;试图从海量信息中提炼出对投资决策有用的信号&#xff0c;那你一定明白这有多耗时耗力。传统的资讯平台要么信息滞后&am…...

编程新知 2026/5/13 15:13:42

从原理图到PCB：手把手教你搞定PCIE X4接口的完整电路设计（附时钟、电源、热插拔信号详解）

从原理图到PCB&#xff1a;手把手教你搞定PCIE X4接口的完整电路设计 在高速数字电路设计中&#xff0c;PCIE接口因其出色的带宽和稳定性&#xff0c;已成为现代计算机系统中不可或缺的组成部分。无论是主板设计、显卡开发还是各类扩展卡&#xff0c;PCIE接口的正确实现直接关…...

编程新知 2026/5/13 14:13:02

收藏！AI时代程序员的“避坑指南“与“财富密码“，小白也能轻松逆袭大模型开发！

文章反驳了AI将取代程序员的论调&#xff0c;指出程序员面临的是结构性冲击&#xff0c;初级岗位收缩但中高端岗位爆发式增长。AI将替代重复劳动&#xff0c;促使程序员向上迁移至系统架构设计等高价值岗位。AI岗位薪资远超行业平均水平&#xff0c;程序员通过拥抱AI技术&#…...

编程新知 2026/5/13 13:01:01

告别转矩脉动：用Matlab/Simulink手把手搭建三电平SVPWM异步电机DTC仿真模型

三电平SVPWM异步电机DTC仿真&#xff1a;从零搭建到性能优化的Matlab实战指南 在电机控制领域&#xff0c;直接转矩控制(DTC)因其结构简单、动态响应快等优势&#xff0c;已成为交流调速系统的重要技术路线。然而传统两电平DTC系统存在的转矩脉动大、电流谐波高等问题&#xff…...

编程新知 2026/5/13 12:11:04

从火箭背包到现代VTOL飞行器：FPGA飞控与传感器融合技术解析

1. 从科幻到现实&#xff1a;个人喷气背包的工程梦想每次看到老式喷气背包的影像&#xff0c;比如那些在早期007电影里出现的、两侧喷着火焰的装置&#xff0c;心里总会涌起一股混合着兴奋与敬畏的复杂情绪。那种感觉&#xff0c;就像小时候第一次拆开收音机&#xff0c;既惊叹…...

编程新知 2026/5/13 11:38:57

从DICOM到NIfTI：3D Slicer中医学图像坐标转换的完整避坑指南（附Python代码片段）

从DICOM到NIfTI&#xff1a;3D Slicer中医学图像坐标转换的完整避坑指南&#xff08;附Python代码片段&#xff09; 医学影像处理中&#xff0c;数据格式和坐标系的差异常常成为工程师和研究员们的"隐形杀手"。想象一下&#xff0c;你花了三天三夜训练的深度学习模型…...

编程新知 2026/5/13 11:34:10