当前位置： 首页 > news >正文

Deepseek中的MoE架构的改造：动态可变参数激活的MoE混合专家架构(DVPA-MoE)的考虑

news 文章来源：https://blog.csdn.net/weixin_42878111/article/details/146029453 2025/5/17 20:21:46

大家好，我是微学AI，今天给大家介绍一下动态可变参数激活MoE架构（Dynamic Variable Parameter-Activated MoE, DVPA-MoE）的架构与实际应用，本架构支持从7B到32B的等多档参数动态激活。该架构通过细粒度难度评估和分层专家路由，实现“小问题用小参数，大问题用大参数”的精准资源分配。
在这里插入图片描述

文章目录

      • 背景介绍
      • 1. 核心设计目标
      • 2. 架构设计总览
      • 3. 核心模块详解
        • 3.1 连续难度评估模块
        • 3.2 动态路由控制器
        • 3.3 分层参数共享的专家组
      • 4. 动态计算流程
      • 5. 关键技术细节
        • 5.1 难度-参数档位映射优化
        • 5.2 门控网络设计
        • 5.3 渐进式训练策略
      • 6. 性能优化设计
        • 6.1 计算加速
        • 6.2 内存优化
      • 7. 评估与调优
        • 7.1 核心指标
        • 7.2 调优策略
      • 8. 部署架构
      • 9. 异常处理机制

背景介绍

随着大语言模型这几年飞速发展，大模型应用逐步落地，对于用户在实际使用大模型过程中，对于普通用户来说会问一些简单问题，问不出比较有含金量的问题，具有含金量的问题需要设计相应的prompt模板进行提问，而大部分使用者的问题往往是简单回答即可，由于用户输入的问题有简单、中等、复杂区分，大部分普通用户输入的问题难度不高，也不会使用prompt模板，低参数的模型足够回答用户的问题，甚至很多开发者批量执行简单的小任务，例如实体抽取，文本分类等小任务。如果每次小问题都用启用高参数的专家模型，像是“杀鸡焉用宰牛刀”，会导致大量推理算力的浪费，因为对于简单问

相关文章：

Deepseek中的MoE架构的改造：动态可变参数激活的MoE混合专家架构(DVPA-MoE)的考虑

大家好，我是微学AI，今天给大家介绍一下动态可变参数激活MoE架构（Dynamic Variable Parameter-Activated MoE, DVPA-MoE）的架构与实际应用，本架构支持从7B到32B的等多档参数动态激活。该架构通过细粒度难度评估和分层专家路由，实现“小问题用小参数，大问题用大参数”的精…...

编程日记 2025/3/7 18:24:14

NodeJS学习笔记

NodeJS软件安装 node环境安装： https://nodejs.org 安装好后的node通常在C:\Program Files\nodejs验证安装是否成功 node -v npm -v 进入REPL模式命令行模式 nodeNodeJS在REPL模式和编辑器使用 windos在dos下常用命令 windos命令： 1、cmd dos系统2、…...

编程日记 2025/3/7 18:23:13

【交通网络拓扑图实现原理深度解析】

交通网络拓扑图实现原理深度解析 简易demo地址 背景故事：交通网络调度可视化的演进 1. 项目背景 在现代城市轨道交通系统中，交通网络线路的可视化展示一直是一个重要而复杂的问题。传统的交通网络线路图往往采用静态图片方式展示，这种方式…...

编程日记 2025/3/7 18:21:11

【极客时间】浏览器工作原理与实践-2 宏观视角下的浏览器 (6讲) - 2.6 渲染流程（下）：HTML、CSS和JavaScript，是如何变成页面的？

https://time.geekbang.org/column/article/118826 2.6 渲染流程（下）：HTML、CSS和JavaScript，是如何变成页面的？ 2.5介绍了渲染流水线中的 DOM 生成、样式计算和布局三个阶段，2.6讲解渲染流水线后面的阶段…...

编程日记 2025/3/7 18:20:10

NO2.C++语言基础|C++和Java|常量|重载重写重定义|构造函数|强制转换|指针和引用|野指针和悬空指针|const修饰指针|函数指针(C++)

6. C 和 Java 区别（语⾔特性，垃圾回收，应⽤场景等） 指针： Java 语⾔让程序员没法找到指针来直接访问内存，没有指针的概念，并有内存的⾃动管理功能，从⽽有效的防⽌了 C 语⾔中的指针…...

编程日记 2025/3/7 18:17:07

【CSS】---- 纯 CSS 实现无限滚动轮播

1. 前言 仅使用 CSS 创建一个具有无限滚动轮播的动画，无需 JavaScript。首先是无限滚动轮播动画效果在我们常见的开发中都是借用 JavaScript 实现，如果纯粹使用 CSS，我觉得还是一个比较有趣的。 2. 效果预览 3. 效果分析 一屏展示了三个图片元素；动画依次向左移动；三个图…...

编程日记 2025/3/7 18:15:03

软考架构师笔记-计算机网络

1.9 计算机网络 OSI/RM 七层模型 物理层 二进制传输(中继器、集线器) (typedef) 数据链路层 传送以帧为单位的信息(网桥、交换机、网卡) 网络层 分组传输和路由选择(三层交换机、路由器)ARP/RARP/IGMP/ICMP/IP 传输层 端到端的连接(TCP/UDP)在前向纠错系统中，当接…...

编程日记 2025/3/7 18:13:02

Spring MVC 页面重定向返回后通过nginx代理 丢失端口号问题处理

Spring MVC页面重定向通过Nginx代理后出现端口丢失问题，通常由以下原因及解决方案构成： #‌# 一、Nginx配置问题（核心原因）‌ ‌1. Host头传递不完整‌ Nginx默认未将原始请求的端口信息传递给后端，导致应用生成重定向…...

编程日记 2025/3/7 18:10:59

道可云人工智能每日资讯｜亚马逊云业务部门成立智能体人工智能团队

道可云元宇宙每日简报（2025年3月6日）讯，今日元宇宙新鲜事有： 《杭州市富阳区未来产业培育行动计划(2025-2026年)》发布 3月3日，杭州市富阳区经信局正式发布了《杭州市富阳区未来产业培育行动计划(2025-2026年)》&…...

编程日记 2025/3/7 18:06:55

算力100问☞第72问：算力与算法、数据的关系是什么？

目录 1、数据是基础 2、算法是核心 3、算力是保障 4、三者的关系 5、实际应用中的体现 算力、算法和数据是人工智能和计算机科学领域的三个核心要素，它们之间相互依赖、相互促进，共同构成了现代计算系统的基础。以下是它们之间的关系： 1、数据是基础 定义：数据是信息…...

编程日记 2025/3/7 18:05:54

AI-Ollama本地大语言模型运行框架与Ollama javascript接入

1.Ollama Ollama 是一个开源的大型语言模型（LLM）平台，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。 Ollama 提供了一个简单的方式来加载和使用各种预训练的语言模型，支持文本生成、翻译、代码编写、问答等多种…...

编程日记 2025/3/7 18:04:52

Java开发的AI应用框架简述——LangChain4j、Spring AI、Agent-Flex

LangChain4j LangChain4j官网 star很多，文档齐全，在AI服务中，提供了丰富的功能，示例代码丰富。 简介 是一个功能丰富、易于使用的Java AI开发框架，特别适合需要快速集成和使用大型语言模型的Java开发者。 项目特点 …...

编程日记 2025/3/7 18:01:49

【算法day2】无重复字符的最长子串 两数之和

无重复字符的最长子串 给定一个字符串 s ，请你找出其中不含有重复字符的 最长 子串 的长度。 https://leetcode.cn/problems/longest-substring-without-repeating-characters/ class Solution { public:int lengthOfLongestSubstring(string s) {int sub_length …...

编程日记 2025/3/7 18:00:47

HarmonyOS：基于hmrouter实现Page的生命周期监听

前言：在使用ArkTs语言写鸿蒙的App中，我们发现Page的生命周期函数，如下： 页面的生命周期(32) onPageShow:页面显示触发(页面特有) onPageHide：页面隐藏触发(页面特有) onBackPress：当用户点击返回按钮时…...

编程日记 2025/3/7 17:58:45

DeepSeek + 飞书多维表格搭建你的高效工作流

众所周知，大模型DeepSeek擅长于处理大规模语言模型推理任务，特别是在成本降低和思维链推理方面表现出色‌，我们一般把大模型必做我们的大脑，但是一个人不能只有大脑，还需要其他输入输出以及操作支配的眼耳鼻嘴手足等。…...

编程日记 2025/3/7 17:55:42

uniapp+＜script setup lang=“ts“＞使用 uni.$emit和uni.$on全局传递数据

注意： 在A页面直接使用 uni.$emit(changeCategoryKey, childCategory)传递，在B页面使用 uni.$on(changeCategoryKey, (val) > {console.log(val, 取值);});只在组件传递有效，页面跳转后是无效的 跳转页面使用的传递数据的方法如下&…...

编程日记 2025/3/7 17:50:36

综合使用pandas、numpy、matplotlib、seaborn库做数据分析、挖掘、可视化项目

目录 1.结构化数据挖掘 1.1依赖库导入和数据读取 1.2各品牌机型及售价统计 1.3视频录制规格与价格关联性分析 2.结构化数据预处理 2.1筛选特征 2.2特征标签归一化及编码 1.结构化数据挖掘 1.1依赖库导入和数据读取 导入必要的依赖库，读取 csv 格式数据集转化为 Data…...

编程日记 2025/3/7 17:46:31

docker中kibana启动后，通过浏览器访问，出现server is not ready yet

问题：当我在浏览器访问kibana时，浏览器给我报了server is not ready yet. 在网上试了很多方法，都未能解决，下面是我的方法： 查看kibana日志： docker logs -f kibana从控制台打印的日志可以发现&#xff…...

编程日记 2025/3/7 17:44:29

十、Redis 主从复制：原理解析、配置实践与优化策略

Redis 主从复制：原理解析、配置实践与优化策略 Redis 作为高性能的 NoSQL 数据库，主从复制（Master-Slave Replication） 是其核心特性之一。主从复制用于数据冗余、读负载分担、故障恢复，是 Redis 构建高可用架构的基础。本文将深入解析 Redis 主从复制的配置方法、复制机…...

编程日记 2025/3/7 17:42:25

使用JMeter(组件详细介绍+使用方式及步骤)

JSON操作符 在我们使用请求时,经常会遇到JSON格式的请求体,所以在介绍组件之前我会将介绍部分操作符,在进行操作时是很重要的 Operator Description $ 表示根元素 当前元素 * 通配符,所有节点 .. 选择所有符合条件的节点 .name 子元素,name是子元素名称 [start:e…...

编程日记 2025/3/7 17:39:21

lamp平台的应用

一.lamp介绍 网站： 静态网站 动态网站 【php语言 .php结尾的文件】 作用：运行php语言编写的动态网站应用 lamp LinuxApache【负责解析静态资源】MySQL【负责存储网站产生的数据】PHP【负责解析动态资源】 如上图所示，是lamp平台中三…...

编程日记 2025/3/7 17:38:20

蓝桥杯4T平台（串口打印电压值）

知识点：串口(单片机发送数据)按键ADC 题目 配置 代码 adc.c uint16_t getadc2(void) {uint16_t adc0;HAL_ADC_Start(&hadc2);adcHAL_ADC_GetValue(&hadc2);return adc; } adc.h uint16_t getadc2(void); main.c #include "lcd.h" #include…...

编程日记 2025/3/7 17:37:18

使用ASIWebPageRequest库编写Objective-C下载器程序

使用 ASIWebPageRequest 库编写 Objective-C 下载器程序是一个简单且高效的方式来处理 HTTP 请求。在 ASIHTTPRequest 和 ASIWebPageRequest 中，ASIWebPageRequest 是专门用于下载网页及其资源的库。 1. 安装 ASIWebPageRequest 首先，你需要安装 ASIHT…...

编程日记 2025/3/7 17:36:17

代码随想录算法训练营 | 图论 | 孤岛总面积、沉没孤岛

101. 孤岛的总面积//思路大概是先计算面积&#xff0c;然后如果有接触路面就返回false。可能稍微多余算了太多无用面积。 #include<bits/stdc.h> using namespace std; void sum(vector<vector<bool>>& finded,const vector<vector<int>>&a…...

编程日记 2025/3/7 17:34:14

迷你世界脚本出生点接口：Spawnport

出生点接口&#xff1a;Spawnport 彼得兔 更新时间: 2023-04-26 10:19:56 具体函数名及描述如下: 序号 函数名 函数描述 1 getSpawnPoint(...) 获取默认出生点 2 setSpawnPoint(...) 设置出生点位置 3 getChunkValidSpawnPos(...) 获取区块有效刷新点…...

编程日记 2025/3/7 17:33:13

双链路提升网络传输的可靠性扩展可用带宽

为了提升网络传输的可靠性或增加网络可用带宽&#xff0c; 通常使用双链路冗余备份或者双链路聚合的方式。 本文介绍几种双链路网络通信的案例。 5GWiFi冗余传输 双Socket绑定不同网络接口&#xff1a;通过Android的ConnectivityManager绑定5G蜂窝网络和WiFi的Socket连接&…...

编程日记 2025/3/7 17:29:08

Pytest测试用例执行跳过的3种方式

文章目录 1.前言2.使用 pytest.mark.skip 标记无条件跳过3.使用 pytest.mark.skipif 标记根据条件跳过4. 执行pytest.skip()方法跳过测试用例 1.前言 在实际场景中&#xff0c;我们可能某条测试用例没写完&#xff0c;代码执行时会报错&#xff0c;或者是在一些条件下不让某些…...

编程日记 2025/3/7 17:26:04

【蓝桥杯】每天一题，理解逻辑（3/90）【Leetcode 快乐数】

闲话系列&#xff1a;每日一题&#xff0c;秃头有我&#xff0c;Hello&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;,我是IF‘Maxue&#xff0c;欢迎大佬们来参观我写的蓝桥杯系列&#xff0c;我好久没有更新博客了&#xff0c;因为up猪我寒假用自己的劳动换了…...

编程日记 2025/3/7 17:22:59

深度学习Save Best、Early Stop

一、Save Best 今天的大模型&#xff0c;在训练过程中可能会终止&#xff0c;但是模型其实是可以接着练的&#xff0c;假设GPU挂了&#xff0c;可以接着训练&#xff0c;在原有的权重上&#xff0c;训练其实就是更新w&#xff0c;如果前面对w进行了存档&#xff0c;那么可以从…...

编程日记 2025/3/7 17:18:54

数据库与存储优化

一、MySQL深度优化 索引优化 B树索引结构 结构特点&#xff1a; 平衡多路搜索树&#xff0c;所有数据存储在叶子节点&#xff0c;非叶子节点仅存键值和指针。叶子节点通过双向链表连接&#xff0c;支持范围查询高效遍历。 优势&#xff1a; 减少磁盘IO&#xff08;高扇出&#…...

编程日记 2025/3/7 17:14:48