当前位置： 首页 > news >正文

Deepseek中的MoE架构的改造：动态可变参数激活的MoE混合专家架构(DVPA-MoE)的考虑

news 2025/9/14 19:39:23

大家好，我是微学AI，今天给大家介绍一下动态可变参数激活MoE架构（Dynamic Variable Parameter-Activated MoE, DVPA-MoE）的架构与实际应用，本架构支持从7B到32B的等多档参数动态激活。该架构通过细粒度难度评估和分层专家路由，实现“小问题用小参数，大问题用大参数”的精准资源分配。
在这里插入图片描述

文章目录

      • 背景介绍
      • 1. 核心设计目标
      • 2. 架构设计总览
      • 3. 核心模块详解
        • 3.1 连续难度评估模块
        • 3.2 动态路由控制器
        • 3.3 分层参数共享的专家组
      • 4. 动态计算流程
      • 5. 关键技术细节
        • 5.1 难度-参数档位映射优化
        • 5.2 门控网络设计
        • 5.3 渐进式训练策略
      • 6. 性能优化设计
        • 6.1 计算加速
        • 6.2 内存优化
      • 7. 评估与调优
        • 7.1 核心指标
        • 7.2 调优策略
      • 8. 部署架构
      • 9. 异常处理机制

背景介绍

随着大语言模型这几年飞速发展，大模型应用逐步落地，对于用户在实际使用大模型过程中，对于普通用户来说会问一些简单问题，问不出比较有含金量的问题，具有含金量的问题需要设计相应的prompt模板进行提问，而大部分使用者的问题往往是简单回答即可，由于用户输入的问题有简单、中等、复杂区分，大部分普通用户输入的问题难度不高，也不会使用prompt模板，低参数的模型足够回答用户的问题，甚至很多开发者批量执行简单的小任务，例如实体抽取，文本分类等小任务。如果每次小问题都用启用高参数的专家模型，像是“杀鸡焉用宰牛刀”，会导致大量推理算力的浪费，因为对于简单问

相关文章：

Deepseek中的MoE架构的改造：动态可变参数激活的MoE混合专家架构(DVPA-MoE)的考虑

大家好，我是微学AI，今天给大家介绍一下动态可变参数激活MoE架构（Dynamic Variable Parameter-Activated MoE, DVPA-MoE）的架构与实际应用，本架构支持从7B到32B的等多档参数动态激活。该架构通过细粒度难度评估和分层专家路由，实现“小问题用小参数，大问题用大参数”的精…...

编程日记 2025/3/7 18:24:14

NodeJS学习笔记

NodeJS软件安装 node环境安装： https://nodejs.org 安装好后的node通常在C:\Program Files\nodejs验证安装是否成功 node -v npm -v 进入REPL模式命令行模式 nodeNodeJS在REPL模式和编辑器使用 windos在dos下常用命令 windos命令： 1、cmd dos系统2、…...

编程日记 2025/3/7 18:23:13

【交通网络拓扑图实现原理深度解析】

交通网络拓扑图实现原理深度解析 简易demo地址 背景故事：交通网络调度可视化的演进 1. 项目背景 在现代城市轨道交通系统中，交通网络线路的可视化展示一直是一个重要而复杂的问题。传统的交通网络线路图往往采用静态图片方式展示，这种方式…...

编程日记 2025/3/7 18:21:11

【极客时间】浏览器工作原理与实践-2 宏观视角下的浏览器 (6讲) - 2.6 渲染流程（下）：HTML、CSS和JavaScript，是如何变成页面的？

https://time.geekbang.org/column/article/118826 2.6 渲染流程（下）：HTML、CSS和JavaScript，是如何变成页面的？ 2.5介绍了渲染流水线中的 DOM 生成、样式计算和布局三个阶段，2.6讲解渲染流水线后面的阶段…...

编程日记 2025/3/7 18:20:10

NO2.C++语言基础|C++和Java|常量|重载重写重定义|构造函数|强制转换|指针和引用|野指针和悬空指针|const修饰指针|函数指针(C++)

6. C 和 Java 区别（语⾔特性，垃圾回收，应⽤场景等） 指针： Java 语⾔让程序员没法找到指针来直接访问内存，没有指针的概念，并有内存的⾃动管理功能，从⽽有效的防⽌了 C 语⾔中的指针…...

编程日记 2025/3/7 18:17:07

【CSS】---- 纯 CSS 实现无限滚动轮播

1. 前言 仅使用 CSS 创建一个具有无限滚动轮播的动画，无需 JavaScript。首先是无限滚动轮播动画效果在我们常见的开发中都是借用 JavaScript 实现，如果纯粹使用 CSS，我觉得还是一个比较有趣的。 2. 效果预览 3. 效果分析 一屏展示了三个图片元素；动画依次向左移动；三个图…...

编程日记 2025/3/7 18:15:03

软考架构师笔记-计算机网络

1.9 计算机网络 OSI/RM 七层模型 物理层 二进制传输(中继器、集线器) (typedef) 数据链路层 传送以帧为单位的信息(网桥、交换机、网卡) 网络层 分组传输和路由选择(三层交换机、路由器)ARP/RARP/IGMP/ICMP/IP 传输层 端到端的连接(TCP/UDP)在前向纠错系统中，当接…...

编程日记 2025/3/7 18:13:02

Spring MVC 页面重定向返回后通过nginx代理 丢失端口号问题处理

Spring MVC页面重定向通过Nginx代理后出现端口丢失问题，通常由以下原因及解决方案构成： #‌# 一、Nginx配置问题（核心原因）‌ ‌1. Host头传递不完整‌ Nginx默认未将原始请求的端口信息传递给后端，导致应用生成重定向…...

编程日记 2025/3/7 18:10:59

道可云人工智能每日资讯｜亚马逊云业务部门成立智能体人工智能团队

道可云元宇宙每日简报（2025年3月6日）讯，今日元宇宙新鲜事有： 《杭州市富阳区未来产业培育行动计划(2025-2026年)》发布 3月3日，杭州市富阳区经信局正式发布了《杭州市富阳区未来产业培育行动计划(2025-2026年)》&…...

编程日记 2025/3/7 18:06:55

算力100问☞第72问：算力与算法、数据的关系是什么？

目录 1、数据是基础 2、算法是核心 3、算力是保障 4、三者的关系 5、实际应用中的体现 算力、算法和数据是人工智能和计算机科学领域的三个核心要素，它们之间相互依赖、相互促进，共同构成了现代计算系统的基础。以下是它们之间的关系： 1、数据是基础 定义：数据是信息…...

编程日记 2025/3/7 18:05:54

AI-Ollama本地大语言模型运行框架与Ollama javascript接入

1.Ollama Ollama 是一个开源的大型语言模型（LLM）平台，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。 Ollama 提供了一个简单的方式来加载和使用各种预训练的语言模型，支持文本生成、翻译、代码编写、问答等多种…...

编程日记 2025/3/7 18:04:52

Java开发的AI应用框架简述——LangChain4j、Spring AI、Agent-Flex

LangChain4j LangChain4j官网 star很多，文档齐全，在AI服务中，提供了丰富的功能，示例代码丰富。 简介 是一个功能丰富、易于使用的Java AI开发框架，特别适合需要快速集成和使用大型语言模型的Java开发者。 项目特点 …...

编程日记 2025/3/7 18:01:49

【算法day2】无重复字符的最长子串 两数之和

无重复字符的最长子串 给定一个字符串 s ，请你找出其中不含有重复字符的 最长 子串 的长度。 https://leetcode.cn/problems/longest-substring-without-repeating-characters/ class Solution { public:int lengthOfLongestSubstring(string s) {int sub_length …...

编程日记 2025/3/7 18:00:47

HarmonyOS：基于hmrouter实现Page的生命周期监听

前言：在使用ArkTs语言写鸿蒙的App中，我们发现Page的生命周期函数，如下： 页面的生命周期(32) onPageShow:页面显示触发(页面特有) onPageHide：页面隐藏触发(页面特有) onBackPress：当用户点击返回按钮时…...

编程日记 2025/3/7 17:58:45

DeepSeek + 飞书多维表格搭建你的高效工作流

众所周知，大模型DeepSeek擅长于处理大规模语言模型推理任务，特别是在成本降低和思维链推理方面表现出色‌，我们一般把大模型必做我们的大脑，但是一个人不能只有大脑，还需要其他输入输出以及操作支配的眼耳鼻嘴手足等。…...

编程日记 2025/3/7 17:55:42

uniapp+＜script setup lang=“ts“＞使用 uni.$emit和uni.$on全局传递数据

注意： 在A页面直接使用 uni.$emit(changeCategoryKey, childCategory)传递，在B页面使用 uni.$on(changeCategoryKey, (val) > {console.log(val, 取值);});只在组件传递有效，页面跳转后是无效的 跳转页面使用的传递数据的方法如下&…...

编程日记 2025/3/7 17:50:36

综合使用pandas、numpy、matplotlib、seaborn库做数据分析、挖掘、可视化项目

目录 1.结构化数据挖掘 1.1依赖库导入和数据读取 1.2各品牌机型及售价统计 1.3视频录制规格与价格关联性分析 2.结构化数据预处理 2.1筛选特征 2.2特征标签归一化及编码 1.结构化数据挖掘 1.1依赖库导入和数据读取 导入必要的依赖库，读取 csv 格式数据集转化为 Data…...

编程日记 2025/3/7 17:46:31

docker中kibana启动后，通过浏览器访问，出现server is not ready yet

问题：当我在浏览器访问kibana时，浏览器给我报了server is not ready yet. 在网上试了很多方法，都未能解决，下面是我的方法： 查看kibana日志： docker logs -f kibana从控制台打印的日志可以发现&#xff…...

编程日记 2025/3/7 17:44:29

十、Redis 主从复制：原理解析、配置实践与优化策略

Redis 主从复制：原理解析、配置实践与优化策略 Redis 作为高性能的 NoSQL 数据库，主从复制（Master-Slave Replication） 是其核心特性之一。主从复制用于数据冗余、读负载分担、故障恢复，是 Redis 构建高可用架构的基础。本文将深入解析 Redis 主从复制的配置方法、复制机…...

编程日记 2025/3/7 17:42:25

使用JMeter(组件详细介绍+使用方式及步骤)

JSON操作符 在我们使用请求时,经常会遇到JSON格式的请求体,所以在介绍组件之前我会将介绍部分操作符,在进行操作时是很重要的 Operator Description $ 表示根元素 当前元素 * 通配符,所有节点 .. 选择所有符合条件的节点 .name 子元素,name是子元素名称 [start:e…...

编程日记 2025/3/7 17:39:21

工程地质软件市场：发展现状、趋势与策略建议

一、引言 在工程建设领域，准确把握地质条件是确保项目顺利推进和安全运营的关键。工程地质软件作为处理、分析、模拟和展示工程地质数据的重要工具，正发挥着日益重要的作用。它凭借强大的数据处理能力、三维建模功能、空间分析工具和可视化展示手段&…...

编程新知 2025/9/9 8:26:07

【android bluetooth 框架分析 04】【bt-framework 层详解 1】【BluetoothProperties介绍】

1. BluetoothProperties介绍 libsysprop/srcs/android/sysprop/BluetoothProperties.sysprop BluetoothProperties.sysprop 是 Android AOSP 中的一种 系统属性定义文件（System Property Definition File），用于声明和管理 Bluetooth 模块相…...

编程新知 2025/7/9 6:14:15

linux 下常用变更-8

1、删除普通用户 查询用户初始UID和GIDls -l /home/ ###家目录中查看UID cat /etc/group ###此文件查看GID删除用户1.编辑文件 /etc/passwd 找到对应的行，YW343:x:0:0::/home/YW343:/bin/bash 2.将标红的位置修改为用户对应初始UID和GID： YW3…...

编程新知 2025/9/5 15:11:07

【HTML-16】深入理解HTML中的块元素与行内元素

HTML元素根据其显示特性可以分为两大类：块元素(Block-level Elements)和行内元素(Inline Elements)。理解这两者的区别对于构建良好的网页布局至关重要。本文将全面解析这两种元素的特性、区别以及实际应用场景。 1. 块元素(Block-level Elements) 1.1 基本特性 …...

编程新知 2025/8/10 8:29:19

Spring AI 入门：Java 开发者的生成式 AI 实践之路

一、Spring AI 简介 在人工智能技术快速迭代的今天，Spring AI 作为 Spring 生态系统的新生力量，正在成为 Java 开发者拥抱生成式 AI 的最佳选择。该框架通过模块化设计实现了与主流 AI 服务（如 OpenAI、Anthropic）的无缝对接&…...

编程新知 2025/8/12 19:32:55

成都鼎讯硬核科技！雷达目标与干扰模拟器，以卓越性能制胜电磁频谱战

在现代战争中，电磁频谱已成为继陆、海、空、天之后的 “第五维战场”，雷达作为电磁频谱领域的关键装备，其干扰与抗干扰能力的较量，直接影响着战争的胜负走向。由成都鼎讯科技匠心打造的雷达目标与干扰模拟器，凭借数字射…...

编程新知 2025/9/3 23:09:31

laravel8+vue3.0+element-plus搭建方法

创建 laravel8 项目 composer create-project --prefer-dist laravel/laravel laravel8 8.* 安装 laravel/ui composer require laravel/ui 修改 package.json 文件 "devDependencies": {"vue/compiler-sfc": "^3.0.7","axios": …...

编程新知 2025/8/1 7:53:11

ABAP设计模式之---“简单设计原则(Simple Design)”

“Simple Design”（简单设计）是软件开发中的一个重要理念，倡导以最简单的方式实现软件功能，以确保代码清晰易懂、易维护，并在项目需求变化时能够快速适应。 其核心目标是避免复杂和过度设计，遵循“让事情保…...

编程新知 2025/9/9 10:09:33

Neko虚拟浏览器远程协作方案：Docker+内网穿透技术部署实践

前言：本文将向开发者介绍一款创新性协作工具——Neko虚拟浏览器。在数字化协作场景中，跨地域的团队常需面对实时共享屏幕、协同编辑文档等需求。通过本指南，你将掌握在Ubuntu系统中使用容器化技术部署该工具的具体方案，并结合内网…...

编程新知 2025/9/9 10:06:07

Python常用模块：time、os、shutil与flask初探

一、Flask初探 & PyCharm终端配置 目的： 快速搭建小型Web服务器以提供数据。 工具： 第三方Web框架 Flask (需 pip install flask 安装)。 安装 Flask： 建议： 使用 PyCharm 内置的 Terminal (模拟命令行) 进行安装，避免频繁切换。 PyCharm Terminal 配置建议： 打开 Py…...

编程新知 2025/7/20 9:54:36