当前位置： 首页 > article >正文

别急着把 autocast 全切成 bf16：RTX 3090 上把 GEMM、Conv2d 和 ResNet18 训练都跑完后，我的推荐顺序是这样

article 2026/5/1 19:16:53
别急着把 autocast 全切成 bf16：RTX 3090 上把 GEMM、Conv2d 和 ResNet18 训练都跑完后，我的推荐顺序是这样很多人把bf16当成“更稳的fp16”，也有人一提消费级显卡就先下结论：bf16肯定更慢，别折腾。我这次在一张RTX 3090上，把4096x4096的 GEMM、Conv2d和ResNet18训练都跑了一遍，结果和这两种口口相传都不完全一样：至少在这三类 workload 里，bf16不但没拖后腿，吞吐还都略高一点，显存占用也几乎和fp16打平。这篇文章不打算再讲一遍fp16、bf16的教科书定义，而是把 PyTorch 官方混合精度文档、最近两条关于4090性能波动的 issue，和一组本地可复现实验放到一起，回答一个更实际的问题：如果你手里是3090这类消费级 Ampere 卡，训练脚本里的默认低精度，到底该先选谁？别先问哪个“更先进”，先问你的 GPU 和 workload 在不在同一个前提里PyTorch 官方 AMP 文档把autoca

相关文章：

别急着把 autocast 全切成 bf16：RTX 3090 上把 GEMM、Conv2d 和 ResNet18 训练都跑完后，我的推荐顺序是这样

别急着把 autocast 全切成 bf16：RTX 3090 上把 GEMM、Conv2d 和 ResNet18 训练都跑完后，我的推荐顺序是这样 很多人把 bf16 当成“更稳的 fp16”，也有人一提消费级显卡就先下结论：bf16 肯定更慢，别折腾。我这次在一张 RTX 3090 上，把 4096x4096 的 GEMM、Conv2d 和 ResN…...

编程日记 2026/5/1 19:16:53

VSCode 2026协作权限体系曝光：细粒度文件级/行级/语义级锁定策略（含RBAC+SCIM集成方案）

更多请点击： https://intelliparadigm.com 第一章：VSCode 2026实时协作多人编辑的架构演进与设计哲学 VSCode 2026 将协作能力从插件生态升维至核心运行时层，其底层采用基于 CRDT（Conflict-free Replicated Data Type&#xff09…...

编程日记 2026/5/1 19:16:53

Microsemi Libero SoC 实战：用Verilog写个LED呼吸灯，从仿真到上板全流程（附ModelSim波形分析）

Microsemi Libero SoC实战：Verilog实现LED呼吸灯的全流程解析 引言 呼吸灯效果在消费电子产品中极为常见，从笔记本电脑的睡眠指示灯到智能家居设备的待机状态提示，这种柔和的光线渐变效果远比简单的闪烁更富科技感和用户体验。对于FPGA开发…...

编程日记 2026/5/1 19:16:53

如何在 Chrome 浏览器中快速接入 Taotoken 并调用大模型 API

如何在 Chrome 浏览器中快速接入 Taotoken 并调用大模型 API 1. 准备工作 在开始之前，请确保您已经拥有 Taotoken 平台的 API Key。登录 Taotoken 控制台，在「API 密钥」页面可以创建和管理您的密钥。同时，建议在「模型广场」查看当前可用的…...

编程日记 2026/5/1 19:14:52

【紧急预警】大模型上线前必做的3项R统计审查：Feldman–Hajek偏差指数、Wasserstein公平距离、Bootstrap置信带校验

更多请点击： https://intelliparadigm.com 第一章：R语言在大语言模型偏见检测中的统计方法导论 在大语言模型（LLM）部署日益广泛的背景下，系统性偏见可能通过训练数据、词嵌入或生成逻辑被隐式放大。R语言凭借其强大的…...

编程日记 2026/5/1 19:14:51

Visual C++运行库终极修复指南：一键解决系统依赖问题的完整教程

Visual C运行库终极修复指南：一键解决系统依赖问题的完整教程 【免费下载链接】vcredist AIO Repack for latest Microsoft Visual C Redistributable Runtimes 项目地址: https://gitcode.com/gh_mirrors/vc/vcredist Visual C运行库是Windows系统中不可或缺…...

编程日记 2026/5/1 19:14:51

终极指南：让Mem Reduct内存优化工具显示中文界面的完整方案

终极指南：让Mem Reduct内存优化工具显示中文界面的完整方案 【免费下载链接】memreduct Lightweight real-time memory management application to monitor and clean system memory on your computer. 项目地址: https://gitcode.com/gh_mirrors/me/memreduct …...

编程日记 2026/5/1 19:14:51

告别视频消失焦虑：用m4s-converter永久保存你的B站收藏

告别视频消失焦虑：用m4s-converter永久保存你的B站收藏 【免费下载链接】m4s-converter 一个跨平台小工具，将bilibili缓存的m4s格式音视频文件合并成mp4 项目地址: https://gitcode.com/gh_mirrors/m4/m4s-converter 你是否曾经遇到过这样的情况&…...

编程日记 2026/5/1 19:14:51

用MSP432P401R驱动HX711压力传感器：从引脚配置到数据读取的保姆级代码解析

MSP432P401R与HX711压力传感器的深度开发指南 1. 硬件架构与通信原理 HX711是一款专为高精度称重传感器设计的24位模数转换器芯片，采用双线制串行通信协议。与MSP432P401R微控制器的配合使用，能够构建高性价比的称重系统解决方案。 核心引脚功能&#xf…...

编程日记 2026/5/1 19:12:51

java同步另一项目数据

java同步另一平台的数据 在 Java 中实现跨平台的数据同步，并没有唯一的标准答案，而是需要根据你的数据量大小、实时性要求以及对方平台提供的接口类型来选择合适的方案。 结合你的 Spring Boot MyBatis-Plus 技术栈，这里为你梳理了 4 种最主…...

编程日记 2026/5/1 19:12:51

别光看Loss曲线了！用TensorBoard/PyTorch Lightning可视化工具，5分钟揪出模型过拟合的‘狐狸尾巴’

别光看Loss曲线了！用TensorBoard/PyTorch Lightning可视化工具，5分钟揪出模型过拟合的‘狐狸尾巴’ 在模型训练过程中，我们常常会陷入一个误区：盯着Loss曲线的下降趋势就以为万事大吉。但实际上，Loss曲线背后隐藏的信息…...

编程日记 2026/5/1 19:12:51

STM32F103三路DS18B20单总线测温实战：从Proteus 8.11仿真到代码调试避坑全记录

STM32F103三路DS18B20单总线测温实战：从Proteus 8.11仿真到代码调试避坑全记录 1. 项目背景与硬件选型思考 去年冬天帮朋友改造温室大棚时，需要同时监测三个不同区域的温度变化。市面上现成的测温设备要么价格昂贵，要么无法满足多点同步采集的…...

编程日记 2026/5/1 19:12:51

Jetson Orin Nano系统镜像备份与恢复全攻略：用l4t_backup_restore.sh一键搞定NVMe硬盘

Jetson Orin Nano系统镜像备份与恢复全攻略：用l4t_backup_restore.sh一键搞定NVMe硬盘 当你花费数小时配置好一台完美的Jetson Orin Nano开发环境后，最怕什么？系统崩溃、硬盘损坏，或是需要为十台同型号设备重复相同的配置流程。作…...

编程日记 2026/5/1 19:12:51

SLK模型MCP服务器：标准化集成与工具调用优化实践

1. 项目概述：一个为SLK模型设计的MCP服务器最近在折腾大模型应用开发的朋友，可能都绕不开一个概念：MCP（Model Context Protocol）。简单来说，它就像是大模型和外部工具、数据源之间的一座标准化的桥梁。而今…...

编程日记 2026/5/1 19:10:51

京东抢购助手终极指南：三步实现Python自动化抢单

京东抢购助手终极指南：三步实现Python自动化抢单 【免费下载链接】jd-assistant 京东抢购助手：包含登录，查询商品库存/价格，添加/清空购物车，抢购商品(下单)，查询订单等功能 项目地址: https://gitcode.c…...

编程日记 2026/5/1 19:10:51

开源贡献者提名工具Nominate：用静态站点与轻量流程重塑社区认可

1. 项目概述：一个被低估的开源贡献提名工具 在开源社区里，我们经常谈论“贡献”，但很多时候，我们谈论的仅仅是代码提交。然而，一个健康的开源项目生态，远不止于代码。文档的完善、问题的精准反馈、社区氛围…...

编程日记 2026/5/1 19:10:50

保姆级教程：用Spring Boot Filter + 飞书机器人，5分钟搞定慢SQL监控告警

生产级慢SQL监控：Spring Boot Filter与飞书机器人深度整合实战 当数据库查询性能开始拖累整个系统时，大多数团队往往要等到用户投诉才会发现问题。传统的监控方案要么太重（需要全套APM系统），要么太滞后（依赖…...

编程日记 2026/5/1 19:10:50

3步彻底清理Mac残留文件：Pearcleaner开源解决方案指南

3步彻底清理Mac残留文件：Pearcleaner开源解决方案指南 【免费下载链接】Pearcleaner A free, source-available and fair-code licensed mac app cleaner 项目地址: https://gitcode.com/gh_mirrors/pe/Pearcleaner 你是否曾为Mac电脑存储空间不足而烦恼&…...

编程日记 2026/5/1 19:10:50

什么是 MQTT？物联网设备如何通过 MQTT 连接云平台

什么是 MQTT？物联网设备如何通过 MQTT 连接云平台 文章目录什么是 MQTT？物联网设备如何通过 MQTT 连接云平台一、MQTT 是什么？二、为什么物联网中常用 MQTT？1. 协议轻量，通信开销小2. 支持长连接3. 支持发布/订阅模式4…...

编程日记 2026/5/1 19:08:50

【卷卷观察】学历年龄还重不重要？AI 时代真正稀缺的是会判断的人

中文互联网今天最容易吵起来的一条 AI 新闻，是钉钉创始人陈航谈 AIQ。多家媒体报道，陈航在 2026 清华五道口金融发展论坛上说，AI 时代招人，学历、经历、年龄都变得不重要，更重要的是真诚可靠、心态开放，以及…...

编程日记 2026/5/1 19:08:50

Gacua：基于Go与Web技术的跨平台桌面应用开发框架实战指南

1. 项目概述：一个被低估的跨平台GUI开发利器如果你正在为桌面应用开发选型而头疼，尤其是需要在Windows、macOS和Linux上都能跑起来，同时希望界面足够现代、开发体验足够友好，那么openmule/gacua这个项目绝对值得你花时间深入研究。…...

编程日记 2026/5/1 19:08:50

使用Taotoken后API调用延迟与稳定性可观测体验分享

使用Taotoken后API调用延迟与稳定性可观测体验分享 1. 用量看板的核心观测维度 在持续使用Taotoken平台进行API调用的过程中，用量看板提供了几个关键维度的可视化数据。最常用的是按时间分布的延迟热力图，能够直观显示不同时段请求响应时间的集中区间。…...

编程日记 2026/5/1 19:08:49

在 OpenClaw 项目中指定使用 Taotoken 提供的特定模型主键

在 OpenClaw 项目中指定使用 Taotoken 提供的特定模型主键 1. 获取 Taotoken 模型主键 在 OpenClaw 项目中使用 Taotoken 平台提供的模型服务前，首先需要获取目标模型的唯一标识符。登录 Taotoken 控制台后，进入「模型广场」页面，此处会列出…...

编程日记 2026/5/1 19:08:48

【3】明明建了索引，为什么 MySQL 还是慢？一文带你理清 InnoDB 存储引擎

有些慢查询最让人别扭的地方，不是它慢，而是它看上去本来不该慢。 比如一张订单表，明明已经建了联合索引，EXPLAIN 里也确实看到了命中的 key，条件过滤看起来没跑偏，排序字段也放进了索引里。可一到数据量上来…...

编程日记 2026/5/1 19:06:48

企微私域新客 AI 运营实战：轻量化工具落地指南

前言企微新客运营的核心，是通过自动化能力降低人力成本、提升响应效率，最终提高新客留存与转化。但在实际落地中，自研系统周期长、成本高，通用 SCRM 功能冗余、操作复杂，很多企业最终陷入「用了工具，效率没…...

编程日记 2026/5/1 19:06:48

对比使用 Taotoken 前后管理多个 API Key 的便捷性提升

使用 Taotoken 统一管理 API Key 的实践体验 1. 多模型接入的密钥管理挑战 在同时使用多个大模型服务时，项目团队通常需要维护不同厂商的 API Key。这些密钥可能分散在多个平台，各自有不同的权限设置、调用限制和计费方式。传统管理方式下，…...

编程日记 2026/5/1 19:06:48

【1】哪怕服务器当场爆炸，你的钱也丢不了！一文带你理清MySQL事务原理

写在前面 设想一个很日常的场景：手机银行里点了一次转账，页面转了几秒，最后弹出来一句“系统繁忙，请稍后再试”。 这时候脑子里最先冒出来的往往不是“重试一下就行”，而是更具体也更扎心的那句：钱到底扣了…...

编程日记 2026/5/1 19:06:48

深入STM32G431 GPIO：从推挽/开漏原理到蓝桥杯板载LED锁存器电路分析与代码实现

STM32G431 GPIO深度解析：从MOS管结构到锁存器实战 当你第一次在STM32开发板上点亮LED时，或许会疑惑：为什么推挽输出能直接驱动LED？开发板上那个神秘的锁存器芯片究竟起什么作用？HAL库函数背后到底隐藏着哪些硬件操作&…...

编程日记 2026/5/1 19:06:48

在Node.js后端服务中集成Taotoken实现稳定AI调用

在Node.js后端服务中集成Taotoken实现稳定AI调用 1. 场景需求与方案选型 现代后端服务常需集成AI能力实现智能交互、内容生成等功能。Taotoken作为大模型聚合平台，提供OpenAI兼容API与多模型支持，适合需要稳定调用且希望避免厂商锁定的Node.js项目。其…...

编程日记 2026/5/1 19:04:47

观察不同时段调用Taotoken聚合API的延迟与稳定性表现

观察不同时段调用Taotoken聚合API的延迟与稳定性表现 1. 数据采集方法论 在实际项目中接入Taotoken聚合API后，我们通过以下方式采集调用数据：在应用层记录每次API请求的响应时间（从发起请求到收到完整响应的时间戳差值）&#xf…...

编程日记 2026/5/1 19:04:47