当前位置： 首页 > news >正文

大模型训练时间估算

news 2026/4/21 11:05:07

文章目录

  • 开激活重计算
  • 不开激活重计算

开激活重计算

在这里插入图片描述

在这里插入图片描述
GPU利用率一般在 0.3 - 0.55 之间，假定为0.45
4090 理论性能：FP16：82.58 TFLOPS

不开激活重计算

我们来说一下系数8或6是怎么来的：

  • 对于每个模型参数，都进行2次浮点数计算，即计算Y = AB 时，先将元素按位相乘，再按位相加，因此每个参数都需要进行两次浮点数运算。
  • 反向传播的计算量是前向传播时的两倍
    在这里插入图片描述
    个人理解，对每个参数而言，反向传播时需要计

相关文章：

大模型训练时间估算

文章目录 开激活重计算不开激活重计算开激活重计算 GPU利用率一般在 0.3 - 0.55 之间，假定为0.45 4090 理论性能：FP16：82.58 TFLOPS 不开激活重计算 我们来说一下系数8或6是怎么来的： 对于每个模型参数，都进行2次浮点数计算，即计算Y = AB 时，先将元素按位相乘，再按位相…...

编程日记 2023/8/13 6:52:08

函数的模拟实现

题一&#xff1a; 模拟实现strncpy #include <stdio.h>void my_strncpy(char* arr2, char* arr1, size_t num){int i 0;for (i 0; i < num; i){*(arr2 i) *(arr1 i);}}int main(){char arr1[] "hello liangzai";char arr2[10] { 0 };//strncpy(ar…...

编程日记 2023/8/13 6:51:06

CSDN博客批量查询质量分https://yma16.inscode.cc/请求超时问题（设置postman超时时间）（接口提供者设置了nginx超时时间）

文章目录 查询链接问题请求超时原因解决谷歌浏览器超时问题办法&#xff08;失败了&#xff09;谷歌浏览器不支持设置请求超时时间&#xff08;谷歌浏览器到底有没限制请求超时&#xff1f;貌似没有限制&#xff1f;&#xff09;看能否脱离浏览器请求&#xff0c;我们查看关键代…...

编程日记 2023/8/13 6:50:05

什么是 CSRF 攻击？

概念 CSRF 攻击指的是跨站请求伪造攻击&#xff0c;攻击者诱导用户进入一个第三方网站&#xff0c;然后该网站向被攻击网站发送跨站请求。如果用户在被攻击网站中保存了登录状态&#xff0c;那么攻击者就可以利用这个登录状态&#xff0c;绕过后台的用户验证&#xff0c;冒充用…...

编程日记 2023/8/13 6:49:04

[内网渗透]CFS三层靶机渗透

文章目录 [内网渗透]CFS三层靶机渗透网络拓扑图靶机搭建Target10x01.nmap主机探活0x02.端口扫描0x03.ThinkPHP5 RCE漏洞拿shell0x04.上传msf后门(reverse_tcp)反向连接拿主机权限 内网渗透Target2&#xff08;1&#xff09;路由信息探测&#xff08;2&#xff09;msf代理配置&a…...

编程日记 2023/8/13 6:48:01

一百五十一、Kettle——Linux上安装的kettle8.2开启carte服务以及配置子服务器

一、目的 kettle8.2在Linux上安装好可以启动界面、并且可以连接MySQL、Hive、ClickHouse等数据库后&#xff0c;准备在Linux上启动kettle的carte服务 二、实施步骤 &#xff08;一&#xff09;carte服务文件路径 kettle的Linux运行的carte服务文件是carte.sh &#xff08;二…...

编程日记 2023/8/13 6:47:00

2023高教社杯数学建模A题 B题C题 D题 E题思路代码分析

文章目录 0 赛题思路1 竞赛信息2 竞赛时间3 建模常见问题类型3.1 分类问题3.2 优化问题3.3 预测问题3.4 评价问题 4 建模资料 0 赛题思路 &#xff08;赛题出来以后第一时间在CSDN分享&#xff09; https://blog.csdn.net/dc_sinor?typeblog 1 竞赛信息 全国大学生数学建模…...

编程日记 2023/8/13 6:45:59

从ChatGLM2-6B来看大模型扩展上下文和加速推理相关技术

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本&#xff0c;在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上&#xff0c;ChatGLM2-6B 引入了如下新特性&#xff1a; 更强大的性能&#xff1a;基于 ChatGLM 初代模型的开发经验&#xff0c;全面…...

编程日记 2023/8/13 6:44:58

Unity特效总览

一、粒子 Unity中的粒子组件叫做Particle System。 粒子系统顾名思义&#xff0c;与“微粒”有关。粒子系统会生成和发射很多粒子&#xff0c;通过控制粒子的生成数量、大小、角度、速度、贴图和颜色等众多属性&#xff0c;可以实现或真实或炫酷的各种效果。其中&#xff0c;…...

编程日记 2023/8/13 6:43:57

Unity中人物控制器

在Unity中控制器是很常见的功能&#xff0c;一般的人物控制器有两种方法&#xff0c;一种是通过代码实现&#xff0c;另外一种就是通过Unity中的API实现。   这里主要介绍第一种方法。 首先对控制器步骤进行分析。 步骤1&#xff1a;通过方向键控制人物移动。 步骤2&#xff…...

编程日记 2023/8/13 6:42:56

零钱兑换-输出组合数

1.暴力递归 &#xff08;1&#xff09;剩余金额小于0&#xff0c;无解 剩余金额等于0&#xff0c;有解 剩余金额大于0&#xff0c;继续递归 &#xff08;2&#xff09;从大的硬币到小的硬币&#xff0c;可以减少循环次数 #include <bits/stdc.h> using namespace std;…...

编程日记 2023/8/13 6:41:55

Mybatis 小结

一、Mybatis 基本构成 MyBatis的整体分为基础支持层、核心处理层、接口。 1.1、基础支持层 1.1.1、数据源模块 MyBatis自身提供了相应的数据源实现&#xff0c;也提供了与第三方接口数据源集成的接口&#xff0c;这些功能都位于数据源模块之中。 1.1.2、事务管理模块 …...

编程日记 2023/8/13 6:40:54

【Cartopy】库的安装和瓦片加载（天地图、高德等）

原文作者&#xff1a;我辈李想 版权声明&#xff1a;文章原创&#xff0c;转载时请务必加上原文超链接、作者信息和本声明。 Cartopy基础入门 【Cartopy】库的安装和天地图瓦片加载 【Cartopy】【Cartopy】如何更好的确定边界显示 【Cartopy】【Cartopy】如何丝滑的加载Geojso…...

编程日记 2023/8/13 6:39:53

TCPDF生成PDF文件，含jpjraph生成雷达图

TCPDF生成PDF文件&#xff0c;含jpjraph生成雷达图 依赖自行安装 "tecnickcom/tcpdf": "^6.6","amenadiel/jpgraph": "4"雷达图生成 中文字体添加安装 没有封装&#xff0c;只作为测试案例展示 // 创建新的PDF文档$pdf new \TCPD…...

编程日记 2023/8/13 6:38:52

Flink-串讲面试题

1. 概念 有状态的流式计算框架 可以处理源源不断的实时数据&#xff0c;数据以event为单位&#xff0c;就是一条数据。 2. 开发流程 先获取执行环境env&#xff0c;然后添加source数据源&#xff0c;转换成datastream&#xff0c;然后使用各种算子进行计算&#xff0c;使用s…...

编程日记 2023/8/13 6:37:50

如何培养对技术的热爱

这篇博文主要针对计算机专业相关的同学&#xff0c;对于理工科专业的同学有一定的借鉴意义&#xff0c;对于其他专业的同学&#xff0c;还请自行取舍。 背景 初学计算机&#xff0c;可能并不是每个人都能对其产生兴趣&#xff0c;更不要说从其中获得快乐。对于如何培养兴趣&a…...

编程日记 2023/8/13 6:36:49

Vue响应式数据的原理

在 vue2 的响应式中&#xff0c;存在着添加属性、删除属性、以及通过下标修改数组&#xff0c;但页面不会自动更新的问题。而这些问题在 vue3 中都得以解决。 vue3 采用了 proxy 代理&#xff0c;用于拦截对象中任意属性的变化&#xff0c;包括&#xff1a;属性的读写、属性的…...

编程日记 2023/8/13 6:35:48

pytest fixture 用于teardown工作

fixture通过scope参数控制setup级别&#xff0c;setup作为用例之前前的操作&#xff0c;用例执行完之后那肯定也有teardown操作。这里用到fixture的teardown操作并不是独立的函数&#xff0c;用yield关键字呼唤teardown操作。 举个例子&#xff1a; 输出&#xff1a; 说明&…...

编程日记 2023/8/13 6:34:47

39 printf 的输出到设备层的调试

前言 在前面 printf 的调试 我们只是调试到了 glibc 调用系统调用, 封装了参数 stdout, 带输出的字符缓冲, 以及待输出字符长度 然后内核这边 只是到了 write 的系统调用, 并未向下细看 我们这里 稍微向下 细追一下, 看看 到达设备层面 这里是怎么具体的 impl 的 测试用例…...

编程日记 2023/8/13 6:33:46

数字普惠金融、数字创新与经济增长—基于省级面板数据的实证考察（2011-2021年）

参照陈啸&#xff08;2023&#xff09;的做法&#xff0c;本对来自经济问题《数字普惠金融、数字创新与经济增长——基于省级面板数据的实证考察》一文中的基准回归部分进行复刻。数字普惠金融、数字创新已经成为驱动经济高质量发展的关键。利用省级面板数据&#xff0c;构建固…...

编程日记 2023/8/13 6:32:44

3分钟掌握中兴光猫终极管理工具：zteOnu工厂模式一键开启指南

3分钟掌握中兴光猫终极管理工具&#xff1a;zteOnu工厂模式一键开启指南 【免费下载链接】zteOnu A tool that can open ZTE onu device factory mode 项目地址: https://gitcode.com/gh_mirrors/zt/zteOnu zteOnu是一款专为中兴光猫设备设计的强大管理工具&#xff0c;…...

编程新知 2026/4/21 10:11:40

Qwen3-4B-Thinking效果展示：对比原版Qwen3-4B，推理链准确率提升实测

Qwen3-4B-Thinking效果展示&#xff1a;对比原版Qwen3-4B&#xff0c;推理链准确率提升实测 1. 模型介绍与核心升级 1.1 基础架构与特性 Qwen3-4B-Thinking-2507-Gemini-2.5-Flash-Distill是基于通义千问Qwen3-4B官方模型的升级版本&#xff0c;保留了原版4B参数规模的稠密(…...

编程新知 2026/4/21 9:42:46

从荧光微球选购到成像避坑：一次完整的PSF测量实战记录（附ThermoFisher beads型号选择建议）

从荧光微球选购到成像避坑&#xff1a;一次完整的PSF测量实战记录 第一次独立完成PSF测量时&#xff0c;实验室的冷光灯下只有我和那瓶价值四位数的荧光微球面面相觑。作为课题组第一个尝试这项技术的人&#xff0c;我翻遍了文献却找不到关于"如何根据显微镜参数选择beads…...

编程新知 2026/4/21 9:20:18

5步解决Windows游戏手柄兼容问题：DS4Windows完全配置指南

5步解决Windows游戏手柄兼容问题&#xff1a;DS4Windows完全配置指南 【免费下载链接】DS4Windows Like those other ds4tools, but sexier 项目地址: https://gitcode.com/gh_mirrors/ds/DS4Windows 还在为心爱的PlayStation手柄无法在PC上使用而烦恼吗&#xff1f;当你…...

编程新知 2026/4/21 9:09:55

Windows Cleaner终极指南：5分钟解决C盘爆红问题，快速释放空间提升电脑性能

Windows Cleaner终极指南&#xff1a;5分钟解决C盘爆红问题&#xff0c;快速释放空间提升电脑性能 【免费下载链接】WindowsCleaner Windows Cleaner——专治C盘爆红及各种不服&#xff01; 项目地址: https://gitcode.com/gh_mirrors/wi/WindowsCleaner Windows Cleane…...

编程新知 2026/4/21 9:07:37

【权威基准测试报告】：Spring Boot 4.0 Agent-Ready vs 3.3 + 自研Agent方案——RPS提升47%、GC暂停下降63%，但代价是……

第一章&#xff1a;Spring Boot 4.0 Agent-Ready 架构对比评测报告全景概览Spring Boot 4.0 正式引入原生支持 Java Agent 的运行时可观测性与增强型字节码编织能力&#xff0c;标志着其从“启动即服务”迈向“运行即治理”的架构演进新阶段。本章聚焦于 Agent-Ready 核心能力的…...

编程新知 2026/4/21 8:59:40

SenseVoice Small从零开始：轻量模型+Streamlit WebUI完整部署

SenseVoice Small从零开始&#xff1a;轻量模型Streamlit WebUI完整部署 1. 项目概述 SenseVoice Small是阿里通义千问推出的轻量级语音识别模型&#xff0c;专门为快速语音转文字场景设计。这个项目基于该模型构建了一套完整的语音转写服务&#xff0c;解决了原始部署过程中…...

编程新知 2026/4/21 8:35:58

Genshin Impact帧率解锁工具深度解析：安全高效的内存注入技术实现

Genshin Impact帧率解锁工具深度解析&#xff1a;安全高效的内存注入技术实现 【免费下载链接】genshin-fps-unlock unlocks the 60 fps cap 项目地址: https://gitcode.com/gh_mirrors/ge/genshin-fps-unlock 在《原神》玩家社区中&#xff0c;硬件性能与游戏帧率限制的…...

编程新知 2026/4/21 8:31:55

Cooragent部署与配置完整教程：从本地开发到生产环境的最佳实践

Cooragent部署与配置完整教程&#xff1a;从本地开发到生产环境的最佳实践 【免费下载链接】cooragent Official Repository of Cooragent. Free Try on https://www.cooragent.com/ 项目地址: https://gitcode.com/gh_mirrors/co/cooragent Cooragent是一款强大的AI智能…...

编程新知 2026/4/21 7:53:15

Jetson Nano上编译librealsense 2.40.0，遇到Vulkan报错别慌，试试这个依赖安装方案

Jetson Nano编译librealsense 2.40.0&#xff1a;Vulkan报错的深度解析与精准修复方案 当你在Jetson Nano上尝试编译librealsense 2.40.0时&#xff0c;突然遭遇"Could NOT find Vulkan"的CMake报错&#xff0c;这确实会让人措手不及。更令人困惑的是&#xff0c;明明…...

编程新知 2026/4/21 6:53:00