当前位置： 首页 > news >正文

Deepseek中的MoE架构的改造：动态可变参数激活的MoE混合专家架构(DVPA-MoE)的考虑

news 2026/2/8 10:31:08

大家好，我是微学AI，今天给大家介绍一下动态可变参数激活MoE架构（Dynamic Variable Parameter-Activated MoE, DVPA-MoE）的架构与实际应用，本架构支持从7B到32B的等多档参数动态激活。该架构通过细粒度难度评估和分层专家路由，实现“小问题用小参数，大问题用大参数”的精准资源分配。
在这里插入图片描述

文章目录

      • 背景介绍
      • 1. 核心设计目标
      • 2. 架构设计总览
      • 3. 核心模块详解
        • 3.1 连续难度评估模块
        • 3.2 动态路由控制器
        • 3.3 分层参数共享的专家组
      • 4. 动态计算流程
      • 5. 关键技术细节
        • 5.1 难度-参数档位映射优化
        • 5.2 门控网络设计
        • 5.3 渐进式训练策略
      • 6. 性能优化设计
        • 6.1 计算加速
        • 6.2 内存优化
      • 7. 评估与调优
        • 7.1 核心指标
        • 7.2 调优策略
      • 8. 部署架构
      • 9. 异常处理机制

背景介绍

随着大语言模型这几年飞速发展，大模型应用逐步落地，对于用户在实际使用大模型过程中，对于普通用户来说会问一些简单问题，问不出比较有含金量的问题，具有含金量的问题需要设计相应的prompt模板进行提问，而大部分使用者的问题往往是简单回答即可，由于用户输入的问题有简单、中等、复杂区分，大部分普通用户输入的问题难度不高，也不会使用prompt模板，低参数的模型足够回答用户的问题，甚至很多开发者批量执行简单的小任务，例如实体抽取，文本分类等小任务。如果每次小问题都用启用高参数的专家模型，像是“杀鸡焉用宰牛刀”，会导致大量推理算力的浪费，因为对于简单问

相关文章：

Deepseek中的MoE架构的改造：动态可变参数激活的MoE混合专家架构(DVPA-MoE)的考虑

大家好，我是微学AI，今天给大家介绍一下动态可变参数激活MoE架构（Dynamic Variable Parameter-Activated MoE, DVPA-MoE）的架构与实际应用，本架构支持从7B到32B的等多档参数动态激活。该架构通过细粒度难度评估和分层专家路由，实现“小问题用小参数，大问题用大参数”的精…...

编程日记 2025/3/7 18:24:14

NodeJS学习笔记

NodeJS软件安装 node环境安装： https://nodejs.org 安装好后的node通常在C:\Program Files\nodejs验证安装是否成功 node -v npm -v 进入REPL模式命令行模式 nodeNodeJS在REPL模式和编辑器使用 windos在dos下常用命令 windos命令： 1、cmd dos系统2、…...

编程日记 2025/3/7 18:23:13

【交通网络拓扑图实现原理深度解析】

交通网络拓扑图实现原理深度解析 简易demo地址 背景故事：交通网络调度可视化的演进 1. 项目背景 在现代城市轨道交通系统中，交通网络线路的可视化展示一直是一个重要而复杂的问题。传统的交通网络线路图往往采用静态图片方式展示，这种方式…...

编程日记 2025/3/7 18:21:11

【极客时间】浏览器工作原理与实践-2 宏观视角下的浏览器 (6讲) - 2.6 渲染流程（下）：HTML、CSS和JavaScript，是如何变成页面的？

https://time.geekbang.org/column/article/118826 2.6 渲染流程（下）：HTML、CSS和JavaScript，是如何变成页面的？ 2.5介绍了渲染流水线中的 DOM 生成、样式计算和布局三个阶段，2.6讲解渲染流水线后面的阶段…...

编程日记 2025/3/7 18:20:10

NO2.C++语言基础|C++和Java|常量|重载重写重定义|构造函数|强制转换|指针和引用|野指针和悬空指针|const修饰指针|函数指针(C++)

6. C 和 Java 区别（语⾔特性，垃圾回收，应⽤场景等） 指针： Java 语⾔让程序员没法找到指针来直接访问内存，没有指针的概念，并有内存的⾃动管理功能，从⽽有效的防⽌了 C 语⾔中的指针…...

编程日记 2025/3/7 18:17:07

【CSS】---- 纯 CSS 实现无限滚动轮播

1. 前言 仅使用 CSS 创建一个具有无限滚动轮播的动画，无需 JavaScript。首先是无限滚动轮播动画效果在我们常见的开发中都是借用 JavaScript 实现，如果纯粹使用 CSS，我觉得还是一个比较有趣的。 2. 效果预览 3. 效果分析 一屏展示了三个图片元素；动画依次向左移动；三个图…...

编程日记 2025/3/7 18:15:03

软考架构师笔记-计算机网络

1.9 计算机网络 OSI/RM 七层模型 物理层 二进制传输(中继器、集线器) (typedef) 数据链路层 传送以帧为单位的信息(网桥、交换机、网卡) 网络层 分组传输和路由选择(三层交换机、路由器)ARP/RARP/IGMP/ICMP/IP 传输层 端到端的连接(TCP/UDP)在前向纠错系统中，当接…...

编程日记 2025/3/7 18:13:02

Spring MVC 页面重定向返回后通过nginx代理 丢失端口号问题处理

Spring MVC页面重定向通过Nginx代理后出现端口丢失问题，通常由以下原因及解决方案构成： #‌# 一、Nginx配置问题（核心原因）‌ ‌1. Host头传递不完整‌ Nginx默认未将原始请求的端口信息传递给后端，导致应用生成重定向…...

编程日记 2025/3/7 18:10:59

道可云人工智能每日资讯｜亚马逊云业务部门成立智能体人工智能团队

道可云元宇宙每日简报（2025年3月6日）讯，今日元宇宙新鲜事有： 《杭州市富阳区未来产业培育行动计划(2025-2026年)》发布 3月3日，杭州市富阳区经信局正式发布了《杭州市富阳区未来产业培育行动计划(2025-2026年)》&…...

编程日记 2025/3/7 18:06:55

算力100问☞第72问：算力与算法、数据的关系是什么？

目录 1、数据是基础 2、算法是核心 3、算力是保障 4、三者的关系 5、实际应用中的体现 算力、算法和数据是人工智能和计算机科学领域的三个核心要素，它们之间相互依赖、相互促进，共同构成了现代计算系统的基础。以下是它们之间的关系： 1、数据是基础 定义：数据是信息…...

编程日记 2025/3/7 18:05:54

AI-Ollama本地大语言模型运行框架与Ollama javascript接入

1.Ollama Ollama 是一个开源的大型语言模型（LLM）平台，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。 Ollama 提供了一个简单的方式来加载和使用各种预训练的语言模型，支持文本生成、翻译、代码编写、问答等多种…...

编程日记 2025/3/7 18:04:52

Java开发的AI应用框架简述——LangChain4j、Spring AI、Agent-Flex

LangChain4j LangChain4j官网 star很多，文档齐全，在AI服务中，提供了丰富的功能，示例代码丰富。 简介 是一个功能丰富、易于使用的Java AI开发框架，特别适合需要快速集成和使用大型语言模型的Java开发者。 项目特点 …...

编程日记 2025/3/7 18:01:49

【算法day2】无重复字符的最长子串 两数之和

无重复字符的最长子串 给定一个字符串 s ，请你找出其中不含有重复字符的 最长 子串 的长度。 https://leetcode.cn/problems/longest-substring-without-repeating-characters/ class Solution { public:int lengthOfLongestSubstring(string s) {int sub_length …...

编程日记 2025/3/7 18:00:47

HarmonyOS：基于hmrouter实现Page的生命周期监听

前言：在使用ArkTs语言写鸿蒙的App中，我们发现Page的生命周期函数，如下： 页面的生命周期(32) onPageShow:页面显示触发(页面特有) onPageHide：页面隐藏触发(页面特有) onBackPress：当用户点击返回按钮时…...

编程日记 2025/3/7 17:58:45

DeepSeek + 飞书多维表格搭建你的高效工作流

众所周知，大模型DeepSeek擅长于处理大规模语言模型推理任务，特别是在成本降低和思维链推理方面表现出色‌，我们一般把大模型必做我们的大脑，但是一个人不能只有大脑，还需要其他输入输出以及操作支配的眼耳鼻嘴手足等。…...

编程日记 2025/3/7 17:55:42

uniapp+＜script setup lang=“ts“＞使用 uni.$emit和uni.$on全局传递数据

注意： 在A页面直接使用 uni.$emit(changeCategoryKey, childCategory)传递，在B页面使用 uni.$on(changeCategoryKey, (val) > {console.log(val, 取值);});只在组件传递有效，页面跳转后是无效的 跳转页面使用的传递数据的方法如下&…...

编程日记 2025/3/7 17:50:36

综合使用pandas、numpy、matplotlib、seaborn库做数据分析、挖掘、可视化项目

目录 1.结构化数据挖掘 1.1依赖库导入和数据读取 1.2各品牌机型及售价统计 1.3视频录制规格与价格关联性分析 2.结构化数据预处理 2.1筛选特征 2.2特征标签归一化及编码 1.结构化数据挖掘 1.1依赖库导入和数据读取 导入必要的依赖库，读取 csv 格式数据集转化为 Data…...

编程日记 2025/3/7 17:46:31

docker中kibana启动后，通过浏览器访问，出现server is not ready yet

问题：当我在浏览器访问kibana时，浏览器给我报了server is not ready yet. 在网上试了很多方法，都未能解决，下面是我的方法： 查看kibana日志： docker logs -f kibana从控制台打印的日志可以发现&#xff…...

编程日记 2025/3/7 17:44:29

十、Redis 主从复制：原理解析、配置实践与优化策略

Redis 主从复制：原理解析、配置实践与优化策略 Redis 作为高性能的 NoSQL 数据库，主从复制（Master-Slave Replication） 是其核心特性之一。主从复制用于数据冗余、读负载分担、故障恢复，是 Redis 构建高可用架构的基础。本文将深入解析 Redis 主从复制的配置方法、复制机…...

编程日记 2025/3/7 17:42:25

使用JMeter(组件详细介绍+使用方式及步骤)

JSON操作符 在我们使用请求时,经常会遇到JSON格式的请求体,所以在介绍组件之前我会将介绍部分操作符,在进行操作时是很重要的 Operator Description $ 表示根元素 当前元素 * 通配符,所有节点 .. 选择所有符合条件的节点 .name 子元素,name是子元素名称 [start:e…...

编程日记 2025/3/7 17:39:21

解决本地部署 SmolVLM2 大语言模型运行 flash-attn 报错

出现的问题 安装 flash-attn 会一直卡在 build 那一步或者运行报错 解决办法 是因为你安装的 flash-attn 版本没有对应上，所以报错，到 https://github.com/Dao-AILab/flash-attention/releases 下载对应版本，cu、torch、cp 的版本一定要对…...

编程新知 2025/11/3 2:11:24

ElasticSearch搜索引擎之倒排索引及其底层算法

文章目录 一、搜索引擎1、什么是搜索引擎？2、搜索引擎的分类3、常用的搜索引擎4、搜索引擎的特点二、倒排索引1、简介2、为什么倒排索引不用B+树1.创建时间长，文件大。2.其次，树深，IO次数可怕。3.索引可能会失效。4.精准度差。三. 倒排索引四、算法1、Term Index的算法2、 …...

编程新知 2026/1/30 17:10:19

【OSG学习笔记】Day 16: 骨骼动画与蒙皮（osgAnimation）

骨骼动画基础 骨骼动画是 3D 计算机图形中常用的技术，它通过以下两个主要组件实现角色动画。 骨骼系统 (Skeleton)：由层级结构的骨头组成，类似于人体骨骼蒙皮 (Mesh Skinning)：将模型网格顶点绑定到骨骼上，使骨骼移动…...

编程新知 2026/2/1 5:42:50

用docker来安装部署freeswitch记录

今天刚才测试一个callcenter的项目，所以尝试安装freeswitch 1、使用轩辕镜像 - 中国开发者首选的专业 Docker 镜像加速服务平台 编辑下面/etc/docker/daemon.json文件为 {"registry-mirrors": ["https://docker.xuanyuan.me"] }同时可以进入轩…...

编程新知 2026/2/1 3:20:44

什么是Ansible Jinja2

理解 Ansible Jinja2 模板 Ansible 是一款功能强大的开源自动化工具，可让您无缝地管理和配置系统。Ansible 的一大亮点是它使用 Jinja2 模板，允许您根据变量数据动态生成文件、配置设置和脚本。本文将向您介绍 Ansible 中的 Jinja2 模板，并通…...

编程新知 2026/2/6 1:00:25

CSS设置元素的宽度根据其内容自动调整

width: fit-content 是 CSS 中的一个属性值&#xff0c;用于设置元素的宽度根据其内容自动调整&#xff0c;确保宽度刚好容纳内容而不会超出。 效果对比 默认情况&#xff08;width: auto&#xff09;&#xff1a; 块级元素&#xff08;如 <div>&#xff09;会占满父容器…...

编程新知 2025/10/16 16:03:09

初探Service服务发现机制

1.Service简介 Service是将运行在一组Pod上的应用程序发布为网络服务的抽象方法。 主要功能&#xff1a;服务发现和负载均衡。 Service类型的包括ClusterIP类型、NodePort类型、LoadBalancer类型、ExternalName类型 2.Endpoints简介 Endpoints是一种Kubernetes资源&#xf…...

编程新知 2026/2/6 15:01:23

保姆级教程：在无网络无显卡的Windows电脑的vscode本地部署deepseek

文章目录 1 前言2 部署流程2.1 准备工作2.2 Ollama2.2.1 使用有网络的电脑下载Ollama2.2.2 安装Ollama&#xff08;有网络的电脑&#xff09;2.2.3 安装Ollama&#xff08;无网络的电脑&#xff09;2.2.4 安装验证2.2.5 修改大模型安装位置2.2.6 下载Deepseek模型 2.3 将deepse…...

编程新知 2026/2/6 16:59:24

iview框架主题色的应用

1.下载 less要使用3.0.0以下的版本 npm install less2.7.3 npm install less-loader4.0.52./src/config/theme.js文件 module.exports {yellow: {theme-color: #FDCE04},blue: {theme-color: #547CE7} }在sass中使用theme配置的颜色主题&#xff0c;无需引入&#xff0c;直接可…...

编程新知 2026/1/31 9:29:45

【Linux系统】Linux环境变量：系统配置的隐形指挥官

。# Linux系列 文章目录 前言一、环境变量的概念二、常见的环境变量三、环境变量特点及其相关指令3.1 环境变量的全局性3.2、环境变量的生命周期 四、环境变量的组织方式五、C语言对环境变量的操作5.1 设置环境变量&#xff1a;setenv5.2 删除环境变量:unsetenv5.3 遍历所有环境…...

编程新知 2026/1/31 17:02:38