当前位置： 首页 > news >正文

Deepseek中的MoE架构的改造：动态可变参数激活的MoE混合专家架构(DVPA-MoE)的考虑

news 2025/7/8 12:38:26

大家好，我是微学AI，今天给大家介绍一下动态可变参数激活MoE架构（Dynamic Variable Parameter-Activated MoE, DVPA-MoE）的架构与实际应用，本架构支持从7B到32B的等多档参数动态激活。该架构通过细粒度难度评估和分层专家路由，实现“小问题用小参数，大问题用大参数”的精准资源分配。
在这里插入图片描述

文章目录

      • 背景介绍
      • 1. 核心设计目标
      • 2. 架构设计总览
      • 3. 核心模块详解
        • 3.1 连续难度评估模块
        • 3.2 动态路由控制器
        • 3.3 分层参数共享的专家组
      • 4. 动态计算流程
      • 5. 关键技术细节
        • 5.1 难度-参数档位映射优化
        • 5.2 门控网络设计
        • 5.3 渐进式训练策略
      • 6. 性能优化设计
        • 6.1 计算加速
        • 6.2 内存优化
      • 7. 评估与调优
        • 7.1 核心指标
        • 7.2 调优策略
      • 8. 部署架构
      • 9. 异常处理机制

背景介绍

随着大语言模型这几年飞速发展，大模型应用逐步落地，对于用户在实际使用大模型过程中，对于普通用户来说会问一些简单问题，问不出比较有含金量的问题，具有含金量的问题需要设计相应的prompt模板进行提问，而大部分使用者的问题往往是简单回答即可，由于用户输入的问题有简单、中等、复杂区分，大部分普通用户输入的问题难度不高，也不会使用prompt模板，低参数的模型足够回答用户的问题，甚至很多开发者批量执行简单的小任务，例如实体抽取，文本分类等小任务。如果每次小问题都用启用高参数的专家模型，像是“杀鸡焉用宰牛刀”，会导致大量推理算力的浪费，因为对于简单问

相关文章：

Deepseek中的MoE架构的改造：动态可变参数激活的MoE混合专家架构(DVPA-MoE)的考虑

大家好，我是微学AI，今天给大家介绍一下动态可变参数激活MoE架构（Dynamic Variable Parameter-Activated MoE, DVPA-MoE）的架构与实际应用，本架构支持从7B到32B的等多档参数动态激活。该架构通过细粒度难度评估和分层专家路由，实现“小问题用小参数，大问题用大参数”的精…...

编程日记 2025/3/7 18:24:14

NodeJS学习笔记

NodeJS软件安装 node环境安装： https://nodejs.org 安装好后的node通常在C:\Program Files\nodejs验证安装是否成功 node -v npm -v 进入REPL模式命令行模式 nodeNodeJS在REPL模式和编辑器使用 windos在dos下常用命令 windos命令： 1、cmd dos系统2、…...

编程日记 2025/3/7 18:23:13

【交通网络拓扑图实现原理深度解析】

交通网络拓扑图实现原理深度解析 简易demo地址 背景故事：交通网络调度可视化的演进 1. 项目背景 在现代城市轨道交通系统中，交通网络线路的可视化展示一直是一个重要而复杂的问题。传统的交通网络线路图往往采用静态图片方式展示，这种方式…...

编程日记 2025/3/7 18:21:11

【极客时间】浏览器工作原理与实践-2 宏观视角下的浏览器 (6讲) - 2.6 渲染流程（下）：HTML、CSS和JavaScript，是如何变成页面的？

https://time.geekbang.org/column/article/118826 2.6 渲染流程（下）：HTML、CSS和JavaScript，是如何变成页面的？ 2.5介绍了渲染流水线中的 DOM 生成、样式计算和布局三个阶段，2.6讲解渲染流水线后面的阶段…...

编程日记 2025/3/7 18:20:10

NO2.C++语言基础|C++和Java|常量|重载重写重定义|构造函数|强制转换|指针和引用|野指针和悬空指针|const修饰指针|函数指针(C++)

6. C 和 Java 区别（语⾔特性，垃圾回收，应⽤场景等） 指针： Java 语⾔让程序员没法找到指针来直接访问内存，没有指针的概念，并有内存的⾃动管理功能，从⽽有效的防⽌了 C 语⾔中的指针…...

编程日记 2025/3/7 18:17:07

【CSS】---- 纯 CSS 实现无限滚动轮播

1. 前言 仅使用 CSS 创建一个具有无限滚动轮播的动画，无需 JavaScript。首先是无限滚动轮播动画效果在我们常见的开发中都是借用 JavaScript 实现，如果纯粹使用 CSS，我觉得还是一个比较有趣的。 2. 效果预览 3. 效果分析 一屏展示了三个图片元素；动画依次向左移动；三个图…...

编程日记 2025/3/7 18:15:03

软考架构师笔记-计算机网络

1.9 计算机网络 OSI/RM 七层模型 物理层 二进制传输(中继器、集线器) (typedef) 数据链路层 传送以帧为单位的信息(网桥、交换机、网卡) 网络层 分组传输和路由选择(三层交换机、路由器)ARP/RARP/IGMP/ICMP/IP 传输层 端到端的连接(TCP/UDP)在前向纠错系统中，当接…...

编程日记 2025/3/7 18:13:02

Spring MVC 页面重定向返回后通过nginx代理 丢失端口号问题处理

Spring MVC页面重定向通过Nginx代理后出现端口丢失问题，通常由以下原因及解决方案构成： #‌# 一、Nginx配置问题（核心原因）‌ ‌1. Host头传递不完整‌ Nginx默认未将原始请求的端口信息传递给后端，导致应用生成重定向…...

编程日记 2025/3/7 18:10:59

道可云人工智能每日资讯｜亚马逊云业务部门成立智能体人工智能团队

道可云元宇宙每日简报（2025年3月6日）讯，今日元宇宙新鲜事有： 《杭州市富阳区未来产业培育行动计划(2025-2026年)》发布 3月3日，杭州市富阳区经信局正式发布了《杭州市富阳区未来产业培育行动计划(2025-2026年)》&…...

编程日记 2025/3/7 18:06:55

算力100问☞第72问：算力与算法、数据的关系是什么？

目录 1、数据是基础 2、算法是核心 3、算力是保障 4、三者的关系 5、实际应用中的体现 算力、算法和数据是人工智能和计算机科学领域的三个核心要素，它们之间相互依赖、相互促进，共同构成了现代计算系统的基础。以下是它们之间的关系： 1、数据是基础 定义：数据是信息…...

编程日记 2025/3/7 18:05:54

AI-Ollama本地大语言模型运行框架与Ollama javascript接入

1.Ollama Ollama 是一个开源的大型语言模型（LLM）平台，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。 Ollama 提供了一个简单的方式来加载和使用各种预训练的语言模型，支持文本生成、翻译、代码编写、问答等多种…...

编程日记 2025/3/7 18:04:52

Java开发的AI应用框架简述——LangChain4j、Spring AI、Agent-Flex

LangChain4j LangChain4j官网 star很多，文档齐全，在AI服务中，提供了丰富的功能，示例代码丰富。 简介 是一个功能丰富、易于使用的Java AI开发框架，特别适合需要快速集成和使用大型语言模型的Java开发者。 项目特点 …...

编程日记 2025/3/7 18:01:49

【算法day2】无重复字符的最长子串 两数之和

无重复字符的最长子串 给定一个字符串 s ，请你找出其中不含有重复字符的 最长 子串 的长度。 https://leetcode.cn/problems/longest-substring-without-repeating-characters/ class Solution { public:int lengthOfLongestSubstring(string s) {int sub_length …...

编程日记 2025/3/7 18:00:47

HarmonyOS：基于hmrouter实现Page的生命周期监听

前言：在使用ArkTs语言写鸿蒙的App中，我们发现Page的生命周期函数，如下： 页面的生命周期(32) onPageShow:页面显示触发(页面特有) onPageHide：页面隐藏触发(页面特有) onBackPress：当用户点击返回按钮时…...

编程日记 2025/3/7 17:58:45

DeepSeek + 飞书多维表格搭建你的高效工作流

众所周知，大模型DeepSeek擅长于处理大规模语言模型推理任务，特别是在成本降低和思维链推理方面表现出色‌，我们一般把大模型必做我们的大脑，但是一个人不能只有大脑，还需要其他输入输出以及操作支配的眼耳鼻嘴手足等。…...

编程日记 2025/3/7 17:55:42

uniapp+＜script setup lang=“ts“＞使用 uni.$emit和uni.$on全局传递数据

注意： 在A页面直接使用 uni.$emit(changeCategoryKey, childCategory)传递，在B页面使用 uni.$on(changeCategoryKey, (val) > {console.log(val, 取值);});只在组件传递有效，页面跳转后是无效的 跳转页面使用的传递数据的方法如下&…...

编程日记 2025/3/7 17:50:36

综合使用pandas、numpy、matplotlib、seaborn库做数据分析、挖掘、可视化项目

目录 1.结构化数据挖掘 1.1依赖库导入和数据读取 1.2各品牌机型及售价统计 1.3视频录制规格与价格关联性分析 2.结构化数据预处理 2.1筛选特征 2.2特征标签归一化及编码 1.结构化数据挖掘 1.1依赖库导入和数据读取 导入必要的依赖库，读取 csv 格式数据集转化为 Data…...

编程日记 2025/3/7 17:46:31

docker中kibana启动后，通过浏览器访问，出现server is not ready yet

问题：当我在浏览器访问kibana时，浏览器给我报了server is not ready yet. 在网上试了很多方法，都未能解决，下面是我的方法： 查看kibana日志： docker logs -f kibana从控制台打印的日志可以发现&#xff…...

编程日记 2025/3/7 17:44:29

十、Redis 主从复制：原理解析、配置实践与优化策略

Redis 主从复制：原理解析、配置实践与优化策略 Redis 作为高性能的 NoSQL 数据库，主从复制（Master-Slave Replication） 是其核心特性之一。主从复制用于数据冗余、读负载分担、故障恢复，是 Redis 构建高可用架构的基础。本文将深入解析 Redis 主从复制的配置方法、复制机…...

编程日记 2025/3/7 17:42:25

使用JMeter(组件详细介绍+使用方式及步骤)

JSON操作符 在我们使用请求时,经常会遇到JSON格式的请求体,所以在介绍组件之前我会将介绍部分操作符,在进行操作时是很重要的 Operator Description $ 表示根元素 当前元素 * 通配符,所有节点 .. 选择所有符合条件的节点 .name 子元素,name是子元素名称 [start:e…...

编程日记 2025/3/7 17:39:21

3.3.1_1 检错编码（奇偶校验码）

从这节课开始，我们会探讨数据链路层的差错控制功能，差错控制功能的主要目标是要发现并且解决一个帧内部的位错误，我们需要使用特殊的编码技术去发现帧内部的位错误，当我们发现位错误之后，通常来说有两种解决方案。第一…...

编程新知 2025/7/8 2:39:45

Module Federation 和 Native Federation 的比较

前言 Module Federation 是 Webpack 5 引入的微前端架构方案，允许不同独立构建的应用在运行时动态共享模块。 Native Federation 是 Angular 官方基于 Module Federation 理念实现的专为 Angular 优化的微前端方案。 概念解析 Module Federation (模块联邦) Modul…...

编程新知 2025/7/7 7:48:59

Matlab | matlab常用命令总结

常用命令 一、 基础操作与环境二、 矩阵与数组操作（核心）三、 绘图与可视化四、 编程与控制流五、 符号计算 (Symbolic Math Toolbox)六、 文件与数据 I/O七、 常用函数类别重要提示这是一份 MATLAB 常用命令和功能的总结，涵盖了基础操作、矩阵运算、绘图、编程和文件处理等…...

编程新知 2025/6/20 11:09:49

【论文阅读28】-CNN-BiLSTM-Attention-（2024）

本文把滑坡位移序列拆开、筛优质因子，再用 CNN-BiLSTM-Attention 来动态预测每个子序列，最后重构出总位移，预测效果超越传统模型。 文章目录 1 引言2 方法2.1 位移时间序列加性模型2.2 变分模态分解 (VMD) 具体步骤2.3.1 样本熵（S…...

编程新知 2025/7/5 11:56:12

基于 TAPD 进行项目管理

起因 自己写了个小工具，仓库用的Github。之前在用markdown进行需求管理，现在随着功能的增加，感觉有点难以管理了，所以用TAPD这个工具进行需求、Bug管理。 操作流程 注册 TAPD，需要提供一个企业名新建一个项目&#…...

编程新知 2025/6/26 11:27:05

基于Java+VUE+MariaDB实现（Web）仿小米商城

仿小米商城 环境安装 nodejs maven JDK11 运行 mvn clean install -DskipTestscd adminmvn spring-boot:runcd ../webmvn spring-boot:runcd ../xiaomi-store-admin-vuenpm installnpm run servecd ../xiaomi-store-vuenpm installnpm run serve 注意：运行前…...

编程新知 2025/7/6 2:22:47

手机平板能效生态设计指令EU 2023/1670标准解读

手机平板能效生态设计指令EU 2023/1670标准解读 以下是针对欧盟《手机和平板电脑生态设计法规》(EU) 2023/1670 的核心解读，综合法规核心要求、最新修正及企业合规要点： 一、法规背景与目标 生效与强制时间 发布于2023年8月31日（OJ公报&…...

编程新知 2025/7/7 6:43:19

GraphQL 实战篇：Apollo Client 配置与缓存

GraphQL 实战篇：Apollo Client 配置与缓存 上一篇：GraphQL 入门篇：基础查询语法 依旧和上一篇的笔记一样，主实操，没啥过多的细节讲解，代码具体在： https://github.com/GoldenaArcher/graphql…...

编程新知 2025/7/7 23:17:36

ubuntu22.04 安装docker 和docker-compose

首先你要确保没有docker环境或者使用命令删掉docker sudo apt-get remove docker docker-engine docker.io containerd runc安装docker 更新软件环境 sudo apt update sudo apt upgrade下载docker依赖和GPG 密钥 # 依赖 apt-get install ca-certificates curl gnupg lsb-rel…...

编程新知 2025/7/6 4:09:48

麒麟系统使用-进行.NET开发

文章目录 前言一、搭建dotnet环境1.获取相关资源2.配置dotnet 二、使用dotnet三、其他说明总结 前言 麒麟系统的内核是基于linux的，如果需要进行.NET开发，则需要安装特定的应用。由于NET Framework 是仅适用于 Windows 版本的 .NET，所以要进…...

编程新知 2025/7/7 10:53:28