当前位置： 首页 > news >正文

Deepseek中的MoE架构的改造：动态可变参数激活的MoE混合专家架构(DVPA-MoE)的考虑

news 2026/5/18 3:47:29

大家好，我是微学AI，今天给大家介绍一下动态可变参数激活MoE架构（Dynamic Variable Parameter-Activated MoE, DVPA-MoE）的架构与实际应用，本架构支持从7B到32B的等多档参数动态激活。该架构通过细粒度难度评估和分层专家路由，实现“小问题用小参数，大问题用大参数”的精准资源分配。
在这里插入图片描述

文章目录

      • 背景介绍
      • 1. 核心设计目标
      • 2. 架构设计总览
      • 3. 核心模块详解
        • 3.1 连续难度评估模块
        • 3.2 动态路由控制器
        • 3.3 分层参数共享的专家组
      • 4. 动态计算流程
      • 5. 关键技术细节
        • 5.1 难度-参数档位映射优化
        • 5.2 门控网络设计
        • 5.3 渐进式训练策略
      • 6. 性能优化设计
        • 6.1 计算加速
        • 6.2 内存优化
      • 7. 评估与调优
        • 7.1 核心指标
        • 7.2 调优策略
      • 8. 部署架构
      • 9. 异常处理机制

背景介绍

随着大语言模型这几年飞速发展，大模型应用逐步落地，对于用户在实际使用大模型过程中，对于普通用户来说会问一些简单问题，问不出比较有含金量的问题，具有含金量的问题需要设计相应的prompt模板进行提问，而大部分使用者的问题往往是简单回答即可，由于用户输入的问题有简单、中等、复杂区分，大部分普通用户输入的问题难度不高，也不会使用prompt模板，低参数的模型足够回答用户的问题，甚至很多开发者批量执行简单的小任务，例如实体抽取，文本分类等小任务。如果每次小问题都用启用高参数的专家模型，像是“杀鸡焉用宰牛刀”，会导致大量推理算力的浪费，因为对于简单问

相关文章：

Deepseek中的MoE架构的改造：动态可变参数激活的MoE混合专家架构(DVPA-MoE)的考虑

大家好，我是微学AI，今天给大家介绍一下动态可变参数激活MoE架构（Dynamic Variable Parameter-Activated MoE, DVPA-MoE）的架构与实际应用，本架构支持从7B到32B的等多档参数动态激活。该架构通过细粒度难度评估和分层专家路由，实现“小问题用小参数，大问题用大参数”的精…...

编程日记 2025/3/7 18:24:14

NodeJS学习笔记

NodeJS软件安装 node环境安装： https://nodejs.org 安装好后的node通常在C:\Program Files\nodejs验证安装是否成功 node -v npm -v 进入REPL模式命令行模式 nodeNodeJS在REPL模式和编辑器使用 windos在dos下常用命令 windos命令： 1、cmd dos系统2、…...

编程日记 2025/3/7 18:23:13

【交通网络拓扑图实现原理深度解析】

交通网络拓扑图实现原理深度解析 简易demo地址 背景故事：交通网络调度可视化的演进 1. 项目背景 在现代城市轨道交通系统中，交通网络线路的可视化展示一直是一个重要而复杂的问题。传统的交通网络线路图往往采用静态图片方式展示，这种方式…...

编程日记 2025/3/7 18:21:11

【极客时间】浏览器工作原理与实践-2 宏观视角下的浏览器 (6讲) - 2.6 渲染流程（下）：HTML、CSS和JavaScript，是如何变成页面的？

https://time.geekbang.org/column/article/118826 2.6 渲染流程（下）：HTML、CSS和JavaScript，是如何变成页面的？ 2.5介绍了渲染流水线中的 DOM 生成、样式计算和布局三个阶段，2.6讲解渲染流水线后面的阶段…...

编程日记 2025/3/7 18:20:10

NO2.C++语言基础|C++和Java|常量|重载重写重定义|构造函数|强制转换|指针和引用|野指针和悬空指针|const修饰指针|函数指针(C++)

6. C 和 Java 区别（语⾔特性，垃圾回收，应⽤场景等） 指针： Java 语⾔让程序员没法找到指针来直接访问内存，没有指针的概念，并有内存的⾃动管理功能，从⽽有效的防⽌了 C 语⾔中的指针…...

编程日记 2025/3/7 18:17:07

【CSS】---- 纯 CSS 实现无限滚动轮播

1. 前言 仅使用 CSS 创建一个具有无限滚动轮播的动画，无需 JavaScript。首先是无限滚动轮播动画效果在我们常见的开发中都是借用 JavaScript 实现，如果纯粹使用 CSS，我觉得还是一个比较有趣的。 2. 效果预览 3. 效果分析 一屏展示了三个图片元素；动画依次向左移动；三个图…...

编程日记 2025/3/7 18:15:03

软考架构师笔记-计算机网络

1.9 计算机网络 OSI/RM 七层模型 物理层 二进制传输(中继器、集线器) (typedef) 数据链路层 传送以帧为单位的信息(网桥、交换机、网卡) 网络层 分组传输和路由选择(三层交换机、路由器)ARP/RARP/IGMP/ICMP/IP 传输层 端到端的连接(TCP/UDP)在前向纠错系统中，当接…...

编程日记 2025/3/7 18:13:02

Spring MVC 页面重定向返回后通过nginx代理 丢失端口号问题处理

Spring MVC页面重定向通过Nginx代理后出现端口丢失问题，通常由以下原因及解决方案构成： #‌# 一、Nginx配置问题（核心原因）‌ ‌1. Host头传递不完整‌ Nginx默认未将原始请求的端口信息传递给后端，导致应用生成重定向…...

编程日记 2025/3/7 18:10:59

道可云人工智能每日资讯｜亚马逊云业务部门成立智能体人工智能团队

道可云元宇宙每日简报（2025年3月6日）讯，今日元宇宙新鲜事有： 《杭州市富阳区未来产业培育行动计划(2025-2026年)》发布 3月3日，杭州市富阳区经信局正式发布了《杭州市富阳区未来产业培育行动计划(2025-2026年)》&…...

编程日记 2025/3/7 18:06:55

算力100问☞第72问：算力与算法、数据的关系是什么？

目录 1、数据是基础 2、算法是核心 3、算力是保障 4、三者的关系 5、实际应用中的体现 算力、算法和数据是人工智能和计算机科学领域的三个核心要素，它们之间相互依赖、相互促进，共同构成了现代计算系统的基础。以下是它们之间的关系： 1、数据是基础 定义：数据是信息…...

编程日记 2025/3/7 18:05:54

AI-Ollama本地大语言模型运行框架与Ollama javascript接入

1.Ollama Ollama 是一个开源的大型语言模型（LLM）平台，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。 Ollama 提供了一个简单的方式来加载和使用各种预训练的语言模型，支持文本生成、翻译、代码编写、问答等多种…...

编程日记 2025/3/7 18:04:52

Java开发的AI应用框架简述——LangChain4j、Spring AI、Agent-Flex

LangChain4j LangChain4j官网 star很多，文档齐全，在AI服务中，提供了丰富的功能，示例代码丰富。 简介 是一个功能丰富、易于使用的Java AI开发框架，特别适合需要快速集成和使用大型语言模型的Java开发者。 项目特点 …...

编程日记 2025/3/7 18:01:49

【算法day2】无重复字符的最长子串 两数之和

无重复字符的最长子串 给定一个字符串 s ，请你找出其中不含有重复字符的 最长 子串 的长度。 https://leetcode.cn/problems/longest-substring-without-repeating-characters/ class Solution { public:int lengthOfLongestSubstring(string s) {int sub_length …...

编程日记 2025/3/7 18:00:47

HarmonyOS：基于hmrouter实现Page的生命周期监听

前言：在使用ArkTs语言写鸿蒙的App中，我们发现Page的生命周期函数，如下： 页面的生命周期(32) onPageShow:页面显示触发(页面特有) onPageHide：页面隐藏触发(页面特有) onBackPress：当用户点击返回按钮时…...

编程日记 2025/3/7 17:58:45

DeepSeek + 飞书多维表格搭建你的高效工作流

众所周知，大模型DeepSeek擅长于处理大规模语言模型推理任务，特别是在成本降低和思维链推理方面表现出色‌，我们一般把大模型必做我们的大脑，但是一个人不能只有大脑，还需要其他输入输出以及操作支配的眼耳鼻嘴手足等。…...

编程日记 2025/3/7 17:55:42

uniapp+＜script setup lang=“ts“＞使用 uni.$emit和uni.$on全局传递数据

注意： 在A页面直接使用 uni.$emit(changeCategoryKey, childCategory)传递，在B页面使用 uni.$on(changeCategoryKey, (val) > {console.log(val, 取值);});只在组件传递有效，页面跳转后是无效的 跳转页面使用的传递数据的方法如下&…...

编程日记 2025/3/7 17:50:36

综合使用pandas、numpy、matplotlib、seaborn库做数据分析、挖掘、可视化项目

目录 1.结构化数据挖掘 1.1依赖库导入和数据读取 1.2各品牌机型及售价统计 1.3视频录制规格与价格关联性分析 2.结构化数据预处理 2.1筛选特征 2.2特征标签归一化及编码 1.结构化数据挖掘 1.1依赖库导入和数据读取 导入必要的依赖库，读取 csv 格式数据集转化为 Data…...

编程日记 2025/3/7 17:46:31

docker中kibana启动后，通过浏览器访问，出现server is not ready yet

问题：当我在浏览器访问kibana时，浏览器给我报了server is not ready yet. 在网上试了很多方法，都未能解决，下面是我的方法： 查看kibana日志： docker logs -f kibana从控制台打印的日志可以发现&#xff…...

编程日记 2025/3/7 17:44:29

十、Redis 主从复制：原理解析、配置实践与优化策略

Redis 主从复制：原理解析、配置实践与优化策略 Redis 作为高性能的 NoSQL 数据库，主从复制（Master-Slave Replication） 是其核心特性之一。主从复制用于数据冗余、读负载分担、故障恢复，是 Redis 构建高可用架构的基础。本文将深入解析 Redis 主从复制的配置方法、复制机…...

编程日记 2025/3/7 17:42:25

使用JMeter(组件详细介绍+使用方式及步骤)

JSON操作符 在我们使用请求时,经常会遇到JSON格式的请求体,所以在介绍组件之前我会将介绍部分操作符,在进行操作时是很重要的 Operator Description $ 表示根元素 当前元素 * 通配符,所有节点 .. 选择所有符合条件的节点 .name 子元素,name是子元素名称 [start:e…...

编程日记 2025/3/7 17:39:21

如何用PCL2启动器打造完美的Minecraft模组体验：从零到精通的完整指南

如何用PCL2启动器打造完美的Minecraft模组体验：从零到精通的完整指南 【免费下载链接】PCL Minecraft 启动器 Plain Craft Launcher（PCL）。 项目地址: https://gitcode.com/gh_mirrors/pc/PCL 你是否厌倦了每次启动Minecraft都要手动配…...

编程新知 2026/5/17 9:36:00

Applite：告别命令行！macOS软件管理的图形化终极解决方案

Applite：告别命令行！macOS软件管理的图形化终极解决方案 【免费下载链接】Applite User-friendly GUI macOS application for Homebrew Casks 项目地址: https://gitcode.com/gh_mirrors/ap/Applite 还在为Homebrew复杂的命令行操作而头疼吗&…...

编程新知 2026/5/17 9:29:04

基于Arduino与TSL2561的光照度测量系统：从硬件连接到软件调试

1. 项目概述：从园艺需求到嵌入式光测量方案最近在折腾一个园艺相关的项目，需要量化评估不同覆盖材料（比如遮阳网、塑料薄膜）对光线透射率的影响。说白了，就是想精确知道，盖上一层材料后，底下还能…...

编程新知 2026/5/17 8:28:10

OpenSpire：开源贡献者协作平台的设计理念与实战指南

1. 项目概述：一个面向开源贡献者的协作平台最近在和一些刚接触开源的朋友交流时，发现一个挺普遍的现象：很多人对参与开源项目充满热情，但第一步“如何找到合适的项目并上手”就卡住了。GitHub上项目浩如烟海，一个新手面…...

编程新知 2026/5/17 8:06:53

AI原生编程语言Reia：为LLM设计的编程范式变革

1. 项目概述：Reia，一个面向未来的AI原生编程语言最近在AI和编程语言交叉领域，一个名为Reia的项目引起了我的注意。它来自Quaint-Studios，定位是“AI原生”的编程语言。这听起来有点抽象，但简单来说，Reia试图…...

编程新知 2026/5/17 4:31:36

AI Agent无障碍审查：自动化集成WCAG标准与axe-core实践

1. 项目概述：一个为AI助手打造的“无障碍”审查官最近在折腾AI应用开发，特别是那些能自动处理任务的智能体（AI Agent），发现一个挺有意思但容易被忽略的问题：我们费尽心思让AI能写代码、分析数据、生成报告&…...

编程新知 2026/5/17 3:13:09

Python邮件自动化实战：基于mymailclaw的监控报警与Slack集成

1. 项目概述与核心价值最近在折腾邮件自动化处理的时候，发现了一个挺有意思的开源项目，叫psandis/mymailclaw。乍一看这个名字，你可能会联想到“邮件抓取”或者“邮件爬虫”。没错，它的核心定位就是一个用 Python 写的邮件客户端自…...

编程新知 2026/5/17 3:02:34

用Git和Markdown构建个人知识库：Wandercode项目实践指南

1. 项目概述：从“漫游代码”到个人知识管理系统的蜕变最近在GitHub上看到一个挺有意思的项目，叫“Wandercode”，直译过来就是“漫游代码”。乍一看这个标题，可能会让人联想到某种代码生成器或者自动化脚本工具。但当我深入探究其仓…...

编程新知 2026/5/17 2:41:03

Nexus：RAG 时代终结？编译器 AI 知识层来了

最近 Pinecone 发布了一个新东西：**Nexus。**最早我是在抖音上看到的，说实话，这种标题挺吓人的，低劣但有效，我都忍不住要点进去： RAG 时代终结了。向量数据库不够用了。Agent 需要 Knowledge Engine。因为…...

编程新知 2026/5/17 2:30:02

红外对射传感器实战指南：从原理到Arduino/CircuitPython应用

1. 项目概述红外对射传感器，也叫红外遮断传感器，是我在自动化项目和互动装置里用得最多的基础传感器之一。它原理简单直接，但用好了能解决很多实际问题，比如统计人流、检测传送带上的物品、制作一个简单的防盗报警器，或…...

编程新知 2026/5/17 1:41:28