当前位置： 首页 > article >正文

【NLP 71、常见大模型的模型结构对比】

article 2025/9/19 9:47:01

三到五年的深耕，足够让你成为一个你想成为的人

                                                                                —— 25.5.8 

模型名称位置编码Transformer结构多头机制Feed Forward层设计归一化层设计线性层偏置项激活函数训练数据规模及来源参数量应用场景侧重
GPT-5 (OpenAI)RoPE动态相对编码混合专家架构（MoE）128头MoE专家路由RMSNorm否GeGLU超10万亿token（互联网+专有数据）1.8万亿金融风控、医疗诊断、多媒体生成
DeepSeek-V3ALiBi稀疏MoE架构64头稀疏激活LayerNorm是SwiGLU5万亿token（学术论文+代码库）6710亿STEM科研、代码开发、教育题库
Google Gemini Ultra绝对位置编码时空注意力架构256头多模态跨模态融合GroupNorm否ReLU8万亿token（视频+文本多模态数据）1.2万亿工业质检、实验室自动化、视频分析
百度文心一言4.0绝对位置编码搜索增强架构96头动态知识注入RMSNorm是GELU4万亿token（百度搜索+古籍数据库）2600亿舆情分析、古籍处理、金融投研
华为盘古3.0ALiBi分层架构（L0-L2）128头行业知识蒸馏LayerNorm否GeGLU行业专有数据（气象、矿山、制药）1.1万亿气象预测、矿山安全、药物研发
Anthropic Claude 3RoPE分步验证架构64头道德对齐模块RMSNorm是Swish3万亿token（伦理对齐数据集）5200亿法律文书、心理咨询、学术辅助
阿里通义千问旋转位置编码MoE+3D生成架构128头多模态融合LayerNorm否SwiGLU6万亿token（电商数据+3D模型库）1.1万亿电商客服、供应链优化、3D建模
星火大模型（科大讯飞）相对位置编码端云协同架构96头语音增强模块RMSNorm是GELU2.5万亿token（教育+医疗专有数据）890亿教育辅导、医疗慢病管理、方言交互
豆包大模型（字节）动态窗口编码稀疏MoE+轻量化32头情感交互模块LayerNorm否ReLU3万亿token（短视频+社交语料）420亿短视频生成、移动端实时推理
悟道大模型双向相对编码中英双语预训练架构256头多模态生成GroupNorm是GeGLU7万亿token（多语言+文化遗产数据）1.75万亿文化遗产数字化、工业设计

相关文章：

【NLP 71、常见大模型的模型结构对比】

三到五年的深耕，足够让你成为一个你想成为的人 —— 25.5.8 模型名称位置编码Transformer结构多头机制Feed Forward层设计归一化层设计线性层偏置项激活函数训练数据规模及来源参数量应用场景侧重GPT-5 (OpenAI)RoPE动态相对编码混合专家架构（MoE&#…...

编程日记 2025/9/7 3:49:27

组件导航 (Navigation)+flutter项目搭建-混合开发+分栏

组件导航 (Navigation)flutter项目搭建 接上一章flutter项目的环境变量配置并运行flutter 上一章面熟了搭建flutter并用编辑器运行了ohos项目，这章主要是对项目的工程化改造 先创建flutter项目，再配置Navigation 1.在开发视图的resources/base/profi…...

编程日记 2025/9/18 23:34:19

HGDB企业版迁移到HGDB安全版

文章目录 环境文档用途详细信息 环境 系统平台：Linux x86-64 Red Hat Enterprise Linux 7 版本：4.5.8,6.0 文档用途 HGDB企业版数据库通过命令备份恢复，迁移到HGDB安全版中。 详细信息 1、环境介绍 1 IP 操作系统 cpux.x.65.10 …...

编程日记 2025/6/5 2:59:11

ProfibusDP主站转modbusTCP网关与ABB电机保护器数据交互

ProfibusDP主站转modbusTCP网关与ABB电机保护器数据交互 在工业自动化领域，Profibus DP（Process Field Bus）和Modbus TCP是两种常见的通讯协议，它们各自在不同的场合发挥着重要作用。然而，随着技术的发展和应用需求的…...

编程日记 2025/9/18 0:16:18

AM32电调学习解读六：main.c文件的函数介绍

最近在学习AM32电调的2.18版本的源码，我用的硬件是AT32F421，整理了部分流程处理，内容的颗粒度是按自己的需要整理的，发出来给有需要的人参考。按自己的理解整理的，技术能力有限，可能理解有误，欢…...

编程日记 2025/8/21 0:49:12

ubuntu24.04上安装NVIDIA driver+CUDA+cuDNN+Anaconda+Pytorch

一、NVIDIA driver 使用Ubuntu系统的：软件和更新——>附加驱动，安装NVIDIA驱动。 二、CUDA 安装命令：sudo apt install nvidia-cuda-toolkit 三、cuDNN cuDNN 9.10.0 Downloads | NVIDIA Developer 四、Anaconda Download Anaconda Di…...

编程日记 2025/9/9 8:24:06

AutoVACUUM (PostgreSQL) 与 DBMS_STATS.GATHER_DATABASE_STATS_JOB_PROC (Oracle) 对比

AutoVACUUM (PostgreSQL) 与 DBMS_STATS.GATHER_DATABASE_STATS_JOB_PROC (Oracle) 对比 核心功能对比 特性PostgreSQL AutoVACUUMOracle GATHER_DATABASE_STATS_JOB_PROC主要目的空间回收 统计信息更新仅优化器统计信息收集底层机制MVCC(多版本并发控制)维护CBO(基于成本的…...

编程日记 2025/9/2 22:48:30

Rust中的交叉编译与vendered特性

Rust中的交叉编译与vendered特性 引言 Rust 作为一种现代系统编程语言，以其内存安全和并发性能著称。然而，当涉及到跨平台开发时，尤其是交叉编译，开发者往往会遇到各种依赖问题。vendored 特性作为 Cargo 生态系统中的一个重要工…...

编程日记 2025/9/4 14:17:46

3、函数和约束

# 提供的数据sql CREATE TABLE IF NOT EXISTS student(no BIGINT(20) NOT NULL AUTO_INCREMENT PRIMARY KEY COMMENT 学号,name VARCHAR(20) NOT NULL COMMENT 姓名,sex VARCHAR(2) DEFAULT 男 COMMENT 性别, age INT(3) DEFAULT 0 COMMENT 年龄,score DOUBLE(5,2) COMMENT 成绩…...

编程日记 2025/9/18 17:45:03

PhpStudy | PhpStudy 工具安装 —— Windows 系统安装 PhpStudy

🌟想了解这个工具的其它相关笔记？看看这个：[网安工具] 服务器环境配置工具 —— PhpStudy 使用手册 笔者备注：Windows 中安装 PhpStudy 属于傻瓜式安装，本文只是为了体系完善而发。 在前面的章节中，笔者简…...

编程日记 2025/9/9 8:25:38

Debezium快照事件监听器系统设计

Debezium快照事件监听器系统设计 1. 系统概述 1.1 设计目标 为 Debezium 的快照过程提供可扩展的事件监听机制允许外部系统在快照过程中执行自定义逻辑提供线程安全的事件分发机制确保监听器的异常不会影响主快照流程1.2 核心功能 表快照开始事件监听表快照完成事件监听行数据…...

编程日记 2025/7/31 22:30:10

基于vue框架的订单管理系统r3771（程序+源码+数据库+调试部署+开发环境）带论文文档1万字以上，文末可获取，系统界面在最后面。

系统程序文件列表 项目功能：商家,用户,商品信息,订单信息,订单配送,评价记录 开题报告内容 基于Vue框架的订单管理系统开题报告 一、研究背景与意义 随着电子商务的快速发展和消费者购物习惯的改变，传统订单管理方式面临效率低、易出错、难以适应高并…...

编程日记 2025/9/19 8:26:37

【2025年前端高频场景题系列】使用同一个链接，如何实现PC打开是web应用、手机打是-个H5 应用？

面试情境与问题引入 在前端开发面试中，面试官经常会抛出一些看似简单却能考察多方面能力的问题。"如何实现同一个链接在PC端和移动端展示不同应用？"就是这样一个典型问题。为什么面试官喜欢问这个问题？因为它能同时考察候选人的设备适配知识、性能优化意识、用户…...

编程日记 2025/7/26 13:48:54

语音识别-2

目录 1.蓝牙优化 1.打开sco 2.外放时的蓝牙的不同版本适配 2.微软文本转语音优化 1.异步文本转语音 2.语音的个性化 上一篇关于语音识别, 虽然能用,但在系统适配,机器适配方面,速度,性能等还是有优化的地方.所以这篇是关于这些的. 1.蓝牙优化 A2DP：是一种单向的高品质音…...

编程日记 2025/9/6 23:37:09

React useState 的同步/异步行为及设计原理解析

一、useState 的同步/异步行为 异步更新（默认行为） • 场景：在 React 合成事件（如 onClick）或生命周期钩子（如 useEffect）中调用 useState 的更新函数时，React 会将这些更新放入队列…...

编程日记 2025/6/29 5:27:01

语音识别——语音转文字

SenseVoiceSmall阿里开源大模型，SenseVoice 是具有音频理解能力的音频基础模型，包括语音识别（ASR）、语种识别（LID）、语音情感识别（SER）和声学事件分类（AEC）或…...

编程日记 2025/9/13 11:42:05

兰亭妙微：用系统化思维重构智能座舱 UI 体验

兰亭妙微设计专注于以产品逻辑驱动的界面体验优化，服务领域覆盖AI交互、智能穿戴、IoT设备、智慧出行等多个技术密集型产业。我们倡导以“系统性设计”为方法论，在用户需求与技术边界之间找到最优解。 此次智能驾驶项目，我们为某车载平台提供…...

编程日记 2025/9/12 13:29:57

计算机视觉----基础概念、卷积

一、概述 1.计算机视觉的定义 计算机视觉（Computer Vision）是一个跨学科的研究领域，主要涉及如何使计算机能够通过处理和理解数字图像或视频来自动进行有意义的分析和决策。其目标是使计算机能够从视觉数据中获取高层次的理解，类似于人类的视觉处理能力。 具体来说，计算机…...

编程日记 2025/9/12 16:00:46

第三十七节：视频处理-视频读取与处理

引言：解码视觉世界的动态密码 在数字化浪潮席卷全球的今天，视频已成为信息传递的主要载体。从短视频平台的爆火到自动驾驶的视觉感知，视频处理技术正在重塑人类与数字世界的交互方式。本指南将深入探讨视频处理的核心技术，通过Python与OpenCV的实战演示，为您揭开动态影像…...

编程日记 2025/9/9 8:23:02

【自然语言处理与大模型】向量数据库：Chroma使用指南

Chroma是一款功能强大的开源 AI 应用数据库，专为高效数据存储与检索而设计。它不仅支持 Embedding 和 Metadata 的存储，还集成了多项核心功能，包括向量搜索、全文搜索、Document 存储、Metadata 过滤以及多模态检索。此外，Chroma …...

编程日记 2025/9/2 17:34:17

NSSCTF [GFCTF 2021]where_is_shell

889.[GFCTF 2021]where_is_shell(system($0)64位) [GFCTF 2021]where_is_shell (1) 1.准备 motalymotaly-VMware-Virtual-Platform:~$ file shell shell: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked, interpreter /lib64/ld-linux-x86-64.s…...

编程日记 2025/9/16 9:36:40

WSL 安装 Debian 12 后，Linux 如何安装 vim ?

在 WSL 的 Debian 12 中安装 Vim 非常简单，只需使用 apt 包管理器即可。以下是详细步骤： 1. 更新软件包列表 首先打开终端，确保系统包列表是最新的： sudo apt update2. 安装 Vim 直接通过 apt 安装 Vim： sudo apt …...

编程日记 2025/8/11 10:49:04

电子数据取证（数字取证）技术全面指南：从基础到实践

为了后续查阅方便，推荐工具先放到前面 推荐工具 数字取证基础工具 综合取证平台 工具名称类型主要功能适用场景EnCase Forensic商业全面的证据获取和分析、强大的搜索能力法律诉讼、企业调查FTK (Forensic Toolkit)商业高性能处理和索引、集成内存分析大规模数据处…...

编程日记 2025/9/17 9:39:12

Ubuntu使用Docker搭建SonarQube企业版（含破解方法）

目录 Ubuntu使用Docker搭建SonarQube企业版（含破解方法）SonarQube介绍安装Docker安装PostgreSQL容器Docker安装SonarQube容器SonarQube汉化插件安装 破解生成license配置agent 使用 Ubuntu使用Docker搭建SonarQube企业版（含破解方法&#xff…...

编程日记 2025/9/13 18:13:25

Spark SQL 之 Analyzer

Spark SQL 之 Analyzer // Special case for Project as it supports lateral column alias.case p: Project =>val resolvedNoOuter = p.projectList.map(resolveExpressionByPlanChildren(_, p...

编程日记 2025/6/2 20:13:50

c/c++数据类型转换.

author: hjjdebug date: 2025年 05月 18日 星期日 20:28:52 CST descrip: c/c数据类型转换. 文章目录 1. 为什么需要类型转换?1.1 发生的时机:1.2 常见的发生转换的类型: 2. c语言的类型转换: (Type) value2.1 c语言的类型变换是如何实现的? 规则是什么? 3. c 的static_cast…...

编程日记 2025/9/18 17:50:47

Django 项目的 models 目录中，__init__.py 文件的作用

在 Django 项目的models/init.py文件中，这些导入语句的主要作用是将各个模型类从不同的模块中导入到models包的命名空间中。这样做有以下几个目的： 简化导入路径 当你需要在项目的其他地方使用这些模型时，可以直接从models包导入&#xff0c…...

编程日记 2025/9/13 12:41:25

实验六：FPGA序列检测器实验

FPGA序列检测器实验（远程实验系统） 文章目录 FPGA序列检测器实验（远程实验系统）一、数字电路基础知识1. 时钟与同步2. 按键消抖原理代码讲解：分频与消抖3. 有限状态机（FSM）设计代码讲解：状态机编码与转移4. 边沿检测与信号同步5. 模块化设计二、实验数字电路整体思想三…...

编程日记 2025/9/7 8:21:14

网络的知识的一些概念

1.什么是局域网，什么是广域网 局域网（Local area network）也可以称为本地网，内网，局域网有这几个发展经历： 最开始电脑与电之间是直接用网线连接的 再后来有了集线器（） 再后来出…...

编程日记 2025/9/9 14:53:59

芋道项目，商城模块数据表结构

一、需求 最近公司有新的业务需求，调研了一下，决定使用芋道（yudao-cloud）框架,于是从github（https://github.com/YunaiV/yudao-cloud）上克隆项目，选用的是jdk17版本的。根据项目启动手册&#…...

编程日记 2025/9/16 0:03:19