当前位置：首页 > news >正文

LLM的MoE由什么构成：门控网络，专家网络

news 2026/5/20 10:28:59

LLM的MoE由什么构成：门控网络，专家网络

专家网络

定义与特点：是一组独立的模型，每个模型都负责处理某个特定的子任务或学习输入空间的特定部分。这些专家可以是简单的线性回归模型、决策树，也可以是复杂的神经网络如多层感知机（MLP）、Transformer等。在不同的应用场景中，专家网络会根据具体任务进行定制。
举例：在图像识别任务中，对于不同类型的图像场景或物体类别，可以设置不同的专家网络。如一个专家网络专门负责识别自然风景图像，擅长提取和处理自然风景中的颜色、纹理等特征；另一个专家网络则专注于识别人物图像，对人物的面部特征、肢体动作等有更深入的学习和理解。

门控网络

定义与作用：负责根据输入数据的特征，动态地决定哪个专家模型应该被激活以生成最佳预测，并计算每个专家的贡献权重。门控网络自身也是通过学习得到的，它可以根据输入的特征来决定最佳的专家组合方式。
举例

LLM的MoE由什么构成：门控网络，专家网络

LLM的MoE由什么构成：门控网络，专家网络目录 LLM的MoE由什么构成：门控网络，专家网络专家网络门控网络MoE在联邦学习中的使用及原理专家网络定义与特点：是一组独立的模型，每个模型都负责处理某个特定的子任务或学习输入空间的特定部分。这些专家可以是简单的线性回归模型…...

编程日记 2025/1/11 21:18:21

HTML-多媒体标签

除了图像，网页还可以放置视频和音频。 1.<video> <video>标签是一个块级元素，用于放置视频。如果浏览器支持加载的视频格式，就会显示一个播放器，否则显示<video>内部的子元素。 <video src"example.…...

编程日记 2025/1/11 21:15:18

Day2 1.where (1)关系运算符 select * from info where id>1; select * from info where id1; select * from info where id>1; select * from info where id!1;(2)逻辑运算符 select * from info where name"吴佩奇" and age19; select * from info wh…...

编程日记 2025/1/11 21:11:13

stm32week3

stm32学习二.外设 8.TIM输出比较 OC(output compare)输出比较输出比较可以通过比较CNT与CCR寄存器值的关系，来对输出电平进行置1、置0、翻转操作，用于输出一定频率和占空比的PWM波形每个高级定时器和通用定时器都拥有4个输出比较通道高级定时器的…...

编程日记 2025/1/11 21:09:08

uniapp 的uni.getRecorderManager() 录音功能小记

官网上明确说的是全局唯一并且只是获取对象，所以会导致一个问题就是，当你多个页面要用到这个对象的时候，会发现 onStop 方法会被覆盖，导致调用结果不是自己想要的解决办法也简单粗暴，在需要用到的界面重新覆盖onStop…...

编程日记 2025/1/11 21:07:04

【面试题】技术场景 4、负责项目时遇到的棘手问题及解决方法

工作经验一年以上程序员必问问题面试题概述问题为在负责项目时遇到的棘手问题及解决方法，主要考察开发经验与技术水平，回答不佳会影响面试印象。提供四个回答方向，准备其中一个方向即可。 1、设计模式应用方向以登录为例，未…...

编程日记 2025/1/11 21:04:53

RT-DETR代码详解（官方pytorch版）——参数配置（1）

前言 RT-DETR虽然是DETR系列，但是它的代码结构和之前的DETR系列代码不一样。它是通过很多的yaml文件进行参数配置，和之前在train.py的parser argparse.ArgumentParser()去配置所有参数不同，所以刚开始不熟悉代码的时候可能不知道在哪儿修…...

编程日记 2025/1/11 21:01:50

腾讯云AI代码助手编程挑战赛-凯撒密码解码编码器

作品简介在CTFer选手比赛做crypto的题目时，一些题目需要自己去解密，但是解密的工具大部分在线上，而在比赛过程中大部分又是无网环境，所以根据要求做了这个工具技术架构 python语言的tk库来完成的GUI页面设计，通过…...

编程日记 2025/1/11 20:59:44

搭建docker私有化仓库Harbor

Docker私有仓库概述 Docker私有仓库介绍 Docker私有仓库是个人、组织或企业内部用于存储和管理Docker镜像的存储库。Docker默认会有一个公共的仓库Docker Hub，而与Docker Hub不同，私有仓库是受限访问的，只有授权用户才能够上传、下载和管理其中的镜像。这种私有仓库可以部…...

编程日记 2025/1/11 20:58:39

【Vim Masterclass 笔记09】S06L22：Vim 核心操作训练之 —— 文本的搜索、查找与替换操作（第一部分）

文章目录 S06L22 Search, Find, and Replace - Part One1 从光标位置起，正向定位到当前行的首个字符 b2 从光标位置起，反向查找某个字符3 重复上一次字符查找操作4 定位到目标字符的前一个字符5 单字符查找与 Vim 命令的组合6 跨行查找某字符串7 Vim 的增…...

编程日记 2025/1/11 20:56:34

GIC中断分组介绍（IMX6ull为例）

一、Cortex-A7内核中断 Cortex-A7内核具有多个中断类型，但其中最重要的是复位中断和IRQ（普通中断请求）中断。对于IMX6ULL而言，主要关注的是IRQ中断，因为外部设备和内部事件通常都会触发这类中断。从左到右中断控制…...

编程日记 2025/1/11 20:55:30

计算机网络期末复习（知识点）

概念题在实际复习之前，可以看一下这个视频将网络知识串一下，以便更好地复习：【你管这破玩意叫网络？】网络规模的分类 PAN（个人区域网络）：用于个人设备间的连接，如手机与蓝牙耳机…...

编程日记 2025/1/11 20:53:23

Apache XMLBeans 一个强大的 XML 数据处理框架

Apache XMLBeans 是一个用于处理 XML 数据的 Java 框架，它提供了一种方式将 XML Schema (XSD) 映射到 Java 类，从而使得开发者可以通过强类型化的 Java 对象来访问和操作 XML 文档。下面将以一个简单的案例说明如何使用 Apache XMLBeans 来解析、生成和验…...

编程日记 2025/1/11 20:52:22

飞凌嵌入式i.MX8M Mini核心板已支持Linux6.1

飞凌嵌入式FETMX8MM-C核心板现已支持Linux6.1系统，此次升级不仅使系统功能更加丰富，还通过全新BSP实现了内存性能的显著提升。基于NXP i.MX8M Mini处理器设计开发的飞凌嵌入式FETMX8MM-C核心板，拥有4个Cortex-A53高性能核和1个Cortex-M4实时…...

编程日记 2025/1/11 20:51:20

【数据链电台】洛克希德·马丁（Lockheed Martin）

洛克希德马丁公司（Lockheed Martin）是全球领先的航空航天、国防、先进技术和安全领域的供应商之一。公司为美军及盟国军队提供了广泛的通信系统，包括数据链电台和相关的通信系统。洛克希德马丁的许多产品用于战术通信、卫星通信、电子战、…...

编程日记 2025/1/11 20:49:17

python关键字(保留字)用法、保留的标识符类（1）

python关键字(保留字)用法、保留的标识符类（1） 一、python保留字(关键字) 1.1、python关键字以下标识符为保留字，或称关键字，不可用于普通标识符，即我们不能把它们用作任何标识符名称。 python 保留字(关键字) 关键…...

编程日记 2025/1/11 20:48:15

Ubuntu平台虚拟机软件学习笔记

Ubuntu平台上常见虚拟机软件 VirtualBox [Download]KVM/QEMU 1. VirtualBox 1.1 查看安装版本 VBoxManage -V2. KVM/QEMU KVM: Kernel-based Virtual Machine QEMU: Quick EMUlator 通义千问： virt-manager 既不是QEMU也不是KVM，而是用于管理和创建…...

编程日记 2025/1/11 20:44:11