当前位置： 首页 > news >正文

cuda显存访问耗时

news 2026/5/23 3:41:12

背景：

        项目中有个数据量大小为5195 * 512 * 128float = 1.268G的显存，发现有个函数调用很耗时，函数里面就是对这个显存进行128个元素求和，得到一个5195 * 512的图像

分析

1. 为什么耗时

直观上感觉这个流程应该不怎么耗时才对，但是写了个demo测试发现

上面代码，统计耗时

需要消耗掉50ms左右（显卡是Quadro P2200）

太恐怖了

2.修改数据类型为int16_t

将数据类型修改为int16_t访问的显存大小降为0.6G左右

降低为上面结果

3.修改数据类型为int8_t

将数据类型修改为int8_t访问的显存大小降为0.3G左右

降低不再明显

3. 修改访问方式

由于显存是按照内存事务一次性加载的，如果按照上面代码进行访问，按照个人理解，32个线程一次加载的内存是不够用的，需要至少32次内存事务才能完成处理，尝试修改代码：

同样是int类型，耗时如下：

结论：

        当cuda程序需要访问的显存过大时，将会出现耗时非常严重的问题

参考链接：

cuda 学习之内存层次结构_请说明 register,shared,global 以及 constant 四类 cuda 内 存_xukang95的博客-CSDN博客

相关文章：

cuda显存访问耗时

背景： 项目中有个数据量大小为5195 * 512 * 128float 1.268G的显存，发现有个函数调用很耗时，函数里面就是对这个显存进行128个元素求和，得到一个5195 * 512的图像 分析 1. 为什么耗时 直观上感觉这个流程应该不怎么耗时才对&a…...

编程日记 2023/9/8 11:59:40

【HTML5高级第三篇】drag拖拽、音频视频、defer/async属性、dialog应用

文章目录 一、拖拽事件1.1 拖拽事件1.2 案例：拖拽丢弃图片 二、音频和视频三、defer 与 async 属性3.1 概述3.2 示例一：3.3 示例二： 四、dialog 元素 一、拖拽事件 原生JavaScipt案例合集 JavaScript DOM基础 JavaScript 基础到高级 Canvas…...

编程日记 2023/9/8 11:58:38

独享IP vs. 共享IP：哪种更适合你？

无论是个人用户还是企业组织，在互联网上都需要一个唯一标识来与其他设备进行通信。这就涉及到使用独立分配给自己或多个用户分享的公共 IP 地址（也称为共享 IP）。那么，究竟应该选择独占一个专用地址还是与他人分享相同地址呢&…...

编程日记 2023/9/8 11:57:37

【Arduino27】DHT11温湿度传感器模拟值实验

硬件准备 DHT11温湿度&#xff1a;1个 面包板&#xff1a;1个 杜邦线&#xff1a;3根 硬件连线 VDD引脚接 5V 电源 DATE引脚接 4号 接口 GND引脚接 GND 接口 软件程序 #include<DHT.h>#define DHT11_pin 4 //温湿度传感器引脚DHT dht(DHT11_pin,DHT11);float tem…...

编程日记 2023/9/8 11:56:37

dockerfile基于apline将JDK20打包成镜像

dockerfile基于apline将JDK20打包成镜像 ​ 今天就来和大家聊聊如何把最新出版的JDK20打包成docker镜像&#xff0c;很多uu都会采用centos作为基础镜像&#xff0c;这么做会有一个问题&#xff0c;centos系统会含有很多库文件&#xff0c;这些库文件JDK程序并不是完全需要的&a…...

编程日记 2023/9/8 11:55:36

MATLAB基础-MAT文件的读写操作

简介 MAT文件是MATLAB格式的双精度二进制数据文件&#xff0c;由MATLAB软件创建&#xff0c;可以使用MATLAB软件再其他计算机上以其他浮点格式读取&#xff0c;同时也可以使用其他软件通过MATLAB的应用程序接口来进行读写操作。如果只是再MATLAB环境中处理数据&#xff0c;使用…...

编程日记 2023/9/8 11:54:34

PostgreSQL PG15 新功能 PG_WALINSPECT

开头还是介绍一下群&#xff0c;如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis &#xff0c;Oracle ,Oceanbase 等有问题&#xff0c;有需求都可以加群群内有各大数据库行业大咖&#xff0c;CTO&#xff0c;可以解决你的问题。加群请加微信号 liuaustin3 &#xff08;…...

编程日记 2023/9/8 11:53:32

时序预测 | MATLAB实现TCN-BiLSTM时间卷积双向长短期记忆神经网络时间序列预测

时序预测 | MATLAB实现TCN-BiLSTM时间卷积双向长短期记忆神经网络时间序列预测 目录 时序预测 | MATLAB实现TCN-BiLSTM时间卷积双向长短期记忆神经网络时间序列预测预测效果基本介绍模型描述程序设计参考资料 预测效果 基本介绍 1.MATLAB实现TCN-BiLSTM时间卷积双向长短期记忆神…...

编程日记 2023/9/8 11:52:31

数据结构和算法（2）：向量

抽象数据类型 数组到向量 C/C 中&#xff0c;数组A[]中的元素与[0,n)内的编号一一对应&#xff0c;A[0],A[1],...,A[n-1]&#xff1b;反之&#xff0c;每个元素均由&#xff08;非负&#xff09;编号唯一指代&#xff0c;并可直接访问A[i] 的物理地址 Ai s&#xff0c;s 为单…...

编程日记 2023/9/8 11:51:30

mysql 大表如何ddl

大家好&#xff0c;我是蓝胖子&#xff0c;mysql对大表(千万级数据)的ddl语句&#xff0c;在生产上执行时一定要千万小心&#xff0c;一不小心就有可能造成业务阻塞&#xff0c;数据库io和cpu飙高的情况。今天我们就来看看如何针对大表执行ddl语句。 通过这篇文章&#xff0c;…...

编程日记 2023/9/8 11:50:29

C++新特性：智能指针

一 、为什么需要智能指针 智能指针主要解决以下问题&#xff1a; 1&#xff09;内存泄漏&#xff1a;内存手动释放&#xff0c;使用智能指针可以自动释放 2&#xff09;共享所有权指针的传播和释放&#xff0c;比如多线程使用同一个对象时析构问题&#xff0c;例如同样的数据…...

编程日记 2023/9/8 11:49:28

SAP FI之批量修改财务凭证的BAPI

文章目录 前言一、pandas是什么&#xff1f;二、使用步骤 1.引入库2.读入数据总结 前言 一般涉及修改财务凭证&#xff0c;或者其它凭证&#xff0c;不应直接更新数据库&#xff0c;而是使用系统提供的function module,或者BAPI&#xff0c;或者使用BDC。 一、 示例&#xf…...

编程日记 2023/9/8 11:48:16

Spring Boot + Vue的网上商城之商品分类

Spring Boot Vue的网上商城之商品分类 在网上商城中&#xff0c;商品分类是非常重要的一个功能&#xff0c;它可以帮助用户更方便地浏览和筛选商品。本文将介绍如何使用Spring Boot和Vue来实现商品分类的功能&#xff0c;包括一级分类和二级分类的管理以及前台按分类浏览商品…...

编程日记 2023/9/8 11:47:14

Docker 容器逃逸漏洞 (CVE-2020-15257)复现

漏洞概述 containerd是行业标准的容器运行时&#xff0c;可作为Linux和Windows的守护程序使用。在版本1.3.9和1.4.3之前的容器中&#xff0c;容器填充的API不正确地暴露给主机网络容器。填充程序的API套接字的访问控制验证了连接过程的有效UID为0&#xff0c;但没有以其他方式…...

编程日记 2023/9/8 11:46:12

Python 如何使用 csv、openpyxl 库进行读写 Excel 文件详细教程（更新中）

csv 基本概述 首先介绍下 csv (comma separated values)&#xff0c;即逗号分隔值&#xff08;也称字符分隔值&#xff0c;因为分隔符可以不是逗号&#xff09;&#xff0c;是一种常用的文本格式&#xff0c;用以存储表格数据&#xff0c;包括数字或者字符。 程序在处理数据时…...

编程日记 2023/9/8 11:45:09

$nextTick属性使用与介绍

属性介绍 $nextTick 是 Vue.js 中的一个重要方法&#xff0c;之前我们也说过$ref 等一些重要的属性&#xff0c;这次我们说$nextTick&#xff0c;$nextTick用于在 DOM 更新后执行回调函数。它通常用于处理 DOM 更新后的操作&#xff0c;因为 Vue 在更新 DOM 后不会立即触发回调…...

编程日记 2023/9/8 11:44:07

【群智能算法改进】一种改进的鹈鹕优化算法 IPOA算法[2]【Matlab代码#58】

文章目录 【获取资源请见文章第5节&#xff1a;资源获取】1. 原始POA算法2. 改进后的IPOA算法2.1 随机对立学习种群初始化2.2 动态权重系数2.3 透镜成像折射方向学习 3. 部分代码展示4. 仿真结果展示5. 资源获取 【获取资源请见文章第5节&#xff1a;资源获取】 1. 原始POA算法…...

编程日记 2023/9/8 11:43:06

k8s 入门到实战--部署应用到 k8s

k8s 入门到实战 01.png 本文提供视频版&#xff1a; 背景 最近这这段时间更新了一些 k8s 相关的博客和视频&#xff0c;也收到了一些反馈&#xff1b;大概分为这几类&#xff1a; 公司已经经历过服务化改造了&#xff0c;但还未接触过云原生。公司部分应用进行了云原生改造&…...

编程日记 2023/9/8 11:42:05

编程语言新特性：instanceof的改进

以前也写过类似的博文&#xff0c;可能重复。 要判断一个对象是哪个类或父类的实例&#xff0c;JAVA用到instanceof&#xff0c;其实语言也有类似语法。而类一般是多层继承的&#xff0c;有时就让人糊涂。所以我提出改进思路&#xff1a; instanceof&#xff1a;保持不变。ins…...

编程日记 2023/9/8 11:40:02

数据挖掘的学习路径

⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ &#x1f434;作者&#xff1a;秋无之地 &#x1f434;简介&#xff1a;CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作&#xff0c;主要擅长领域有&#xff1a;爬虫、后端、大数据…...

编程日记 2023/9/8 11:39:01

FCU1501嵌入式控制单元：工业物联网数据通信网关的硬件选型与开发实践

1. 项目概述&#xff1a;FCU1501&#xff0c;一个“非典型”嵌入式控制单元的诞生最近&#xff0c;嵌入式圈子里关于“数据通信网关”的讨论又热了起来。这玩意儿听起来高大上&#xff0c;但说白了&#xff0c;就是给各种设备、系统之间搭桥的“翻译官”和“交通警察”。传统上…...

编程新知 2026/5/23 2:06:37

2026年阿里云OpenClaw/Hermes Agent配置Token Plan部署一文读懂

2026年阿里云OpenClaw/Hermes Agent配置Token Plan部署一文读懂。OpenClaw是开源的个人AI助手&#xff0c;Hermes Agent则是一个能自我进化的AI智能体框架。阿里云提供计算巢、轻量服务器及无影云电脑三种部署OpenClaw 与 Hermes Agent的方案、百炼Token Plan兼容主流 AI 工具&…...

编程新知 2026/5/23 0:37:58

大学生几种职业资格证书有哪些？2026年高含金量考证指南与就业规划

你好呀&#xff01;&#x1f44b; 看到你在这个时间点搜索关于证书的话题&#xff0c;我完全能理解你的心情。转眼间我们已经步入 2026年&#xff0c;当下的就业环境比起几年前&#xff0c;确实发生了不少变化。我也接触过很多像你一样的同学&#xff0c;大家都有点焦虑&#x…...

编程新知 2026/5/22 23:47:27

快速开发AI客服原型时如何利用Taotoken分钟级接入多模型

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 快速开发AI客服原型时如何利用Taotoken分钟级接入多模型 在探索和构建AI客服原型时&#xff0c;开发者常常面临一个核心矛盾&#…...

编程新知 2026/5/22 22:05:43

用 jose 正确实现 JWT 签发、验签与密钥轮换

1. 为什么你写的 JWT 总是“看起来能用&#xff0c;上线就出事”JWT&#xff08;JSON Web Token&#xff09;这东西&#xff0c;我第一次在项目里用的时候&#xff0c;也是照着文档抄了三行代码&#xff1a;jwt.sign(payload, secret)、jwt.verify(token, secret)、res.json({ …...

编程新知 2026/5/22 21:28:36

赛场制胜参考 CTF 全套 50 个经典解题思路

CTF选手必藏的50个实战解题思路&#xff01;一篇够用&#xff01; CTF竞赛的核心逻辑 • 核心目标&#xff1a;快速拆解问题&#xff08;Flag导向&#xff09;、工具链协作、模式化思维。• 关键原则&#xff1a;先广度后深度&#xff08;优先收集信息&#xff09;、分治策略&…...

编程新知 2026/5/22 20:27:58

如何快速掌握CircuitJS1桌面版的3个核心秘诀

如何快速掌握CircuitJS1桌面版的3个核心秘诀 【免费下载链接】circuitjs1 Standalone (offline) version of the Circuit Simulator with small modifications based on modified NW.js. 项目地址: https://gitcode.com/gh_mirrors/circ/circuitjs1 CircuitJS1 Desktop …...

编程新知 2026/5/22 19:56:25

RAG+Agent+记忆图谱三重架构解析，2026年仅剩这4个工具通过企业级安全审计认证

更多请点击&#xff1a; https://codechina.net 第一章&#xff1a;RAGAgent记忆图谱三重架构解析&#xff0c;2026年仅剩这4个工具通过企业级安全审计认证 架构协同的本质逻辑 RAG 提供实时、可溯源的外部知识注入能力&#xff1b;Agent 负责任务分解、工具调用与多步推理闭…...

编程新知 2026/5/22 19:48:12

抖音下载终极指南：免费无水印批量保存完整方案

抖音下载终极指南&#xff1a;免费无水印批量保存完整方案 【免费下载链接】douyin-downloader A practical Douyin downloader for both single-item and profile batch downloads, with progress display, retries, SQLite deduplication, and browser fallback support. 抖音…...

编程新知 2026/5/22 19:42:02

【Perplexity反义词权威解析】：20年NLP专家亲授3大语义逆向推导法，97.3%准确率实测验证

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;Perplexity反义词查询 在自然语言处理&#xff08;NLP&#xff09;领域&#xff0c;Perplexity&#xff08;困惑度&#xff09;是衡量语言模型预测能力的核心指标——值越低&#xff0c;表示模型对测试…...

编程新知 2026/5/22 19:39:11