当前位置： 首页 > news >正文

TensorRT的结构

news 2026/3/29 13:39:46

Builder（网络原数据）：模型搭建的入口，网络的tensorRT内部表示以及可执行程序引擎都是由该对象的成员方法生成的

        BuiderConfig（网络原数据的选项）：负责设置模型的一些参数，如是否开始fp16模式，in8模式等等

        Network（计算图内容）：网络的主体，在使用api搭建网络的过程当中，将不断地向其中添加一些层，并标记网络的输入输出节点，在其他两种workflow中，则使用Parser来加载来自Onnx文件中的网络，就无需一层一层手工添加

        SerializedNetwork：模型网络在TRT中的内部表示，可用它生成可执行的推理引擎或者把它序列化保存为文件，方便以后读取和使用

        Engine：推理引擎，是模型计算的核心，可理解为可执行程序的代码段

        context：用于计算GPU的上下文。类比于cpu上的进程概念进程，是执行推理引擎的主体

        buffer相关（数据的内存、显存相关）：我们将需要把数据从cpu端搬到gpu端，执行推理计算后，再把数据由gpu端搬回cpu端。这些步骤涉及内存的申请、拷贝和释放，需要借助CUDA库或者扩大python库才能完成

        excute：调用计算核心执行推理计算的具体过程 

        善后工作：还有一些外围的工作需要手工去完成

相关文章：

TensorRT的结构

Builder（网络原数据）：模型搭建的入口，网络的tensorRT内部表示以及可执行程序引擎都是由该对象的成员方法生成的 BuiderConfig（网络原数据的选项）：负责设置模型的一些参数，如是否开始…...

编程日记 2023/10/11 4:51:58

python对excel数据表进行数据清洗

当拿到excel表，使用python对excel操作前，第一件事情是对excel表的数据进行数据清洗。 数值是否有空值，是否有重复的数据，把以上2个问题解决完成以后，才是对数据真正操作的开始。 1、使用pandans读取数据 2、判断exce…...

编程日记 2023/10/11 4:50:57

95、Spring Data Redis 之使用RedisTemplate 实现自定义查询 及 Spring Data Redis 的样本查询

Spring Data Redis 之使用RedisTemplate 实现自定义查询 Book实体类 原本的接口，再继承我们自定义的接口 自定义查询接口----CustomBookDao 实现类：CustomBookDaoImpl 1、自定义添加hash对象的方法 2、自定义查询价格高于某个点的Book对象 测试&a…...

编程日记 2023/10/11 4:49:55

jdbc（DriverManager+Connection+Statement+ResultSet）+SQL注入+开启预编译+数据连接池

1 JDBC概念 JDBC 就是使用Java连接并操作数据库的一套API 全称：( Java DataBase Connectivity ) Java 数据库连接 2 JDBC优势 可随时替换底层数据库，访问数据库的Java代码基本不变 以后编写操作数据库的代码只需要面向JDBC（接口&#xf…...

编程日记 2023/10/11 4:46:53

NoSQL之 Redis命令工具及常用命令

目录 1 Redis 命令工具 1.1 redis-cli 命令行工具 1.2 redis-benchmark 测试工具 2 Redis 数据库常用命令 2.1 set：存放数据，命令格式为 set key value 2.2 get：获取数据，命令格式为 get key 2.3 keys 命令可以取符合规则的…...

编程日记 2023/10/11 4:45:51

多线程(线程互斥)

抢票代码编写 学习了前面有关线程库的操作后，我们就可以模拟抢票的过程 假设我们创建四个线程，分别代表我们的用户 然后设定总票数为1000张，四个线程分别将进行循环抢票操作，其实就是循环对票数进行打印，并进行对应的…...

编程日记 2023/10/11 4:44:49

使用 html2canvas 和 jspdf 将页面转 pdf，同时解决当页面过长时，页面白屏问题

代码如下，直接粘贴复制即可，代码中 jspdf 是全局引入，你可以自己局部引入 别人使用标签的方式来显示 base64，但是当页面过长时，base64 大小过大会导致页面解析异常，显示白屏 import html2canvas from html2…...

编程日记 2023/10/11 4:41:46

【Python 千题 —— 基础篇】今年几岁啦

题目描述 题目描述 介绍自己的年龄。请使用 input 函数读入一个整数，表示自己的年龄，然后程序将自动生成介绍自己年龄的英文语句。 输入描述 输入一个整数，表示自己的年龄。 输出描述 程序将生成一个英文语句，以介绍自己的年…...

编程日记 2023/10/11 4:40:44

git push 失败 shallow update not allowed

问题描述： ~/OK62xx-linux-sdk/OK62xx-linux-kernel$ git push origin master Counting objects: 83919, done. Delta compression using up to 144 threads. Compressing objects: 100% (75697/75697), done. Writing objects: 100% (83919/83919), 232.41 MiB | …...

编程日记 2023/10/11 4:39:44

uniapp 在uni.scss 根据@mixin定义方法 、通过@include全局使用

在官方文档中提及到uni.scss中变量的使用，而我想定义方法，这样写css样式更方便 一、官方文档的介绍 根据官方文档我知道，在这面定义的变量全局都可使用。接下来我要在这里定义方法。 二、在uni.scss文件中定义方法 我在uni.scss文件中定义了…...

编程日记 2023/10/11 4:38:43

C++ 类和对象(一)

1.面向过程和面向对象初步认识 C语言是面向过程的，关注的是过程，分析出求解问题的步骤，通过函数调用逐步解决问题。 C是基于面向对象的，关注的是对象，将一件事情拆分成不同的对象，靠对象之间的交互完 成。 …...

编程日记 2023/10/11 4:37:41

rust函数

一 、函数定义 （一）格式 使用fn关键字 fn是 function 的缩写 1.无返回值的 fn 函数名 ( [paraname: type]... ) {函数体 }参数必须声明参数名称和类型 函数定义时指定的参数叫做 形参。调用时传递给函数的参数叫做 实参。 例子 fn another_function(…...

编程日记 2023/10/11 4:35:40

链表的基本操作

（一）实验类型：设计性 （二）实验目的： 1. 掌握线性表的链式存贮结构及基本操作，深入了解链表的基本特性，以便在实际问题背景下灵活运用它们。 2. 巩固该存贮结构的构造方法&#xff0…...

编程日记 2023/10/11 4:34:39

Flutter AI五子棋

前言 在上一篇文章中，讲解了如何实现双人在本地对战的五子棋，但是只有一个人的时候就不太好玩，同时博主也没有把五子棋相关的文章写过瘾。那么这篇文章，我们来实现一个功能更加丰富的五子棋吧！在设计五子棋的算法方面&…...

编程日记 2023/10/11 4:33:32

springboot项目中后台文件上传处理

参考地址：http://www.gxcode.top/code 文件上次核心处理代码： @Autowired private FileUpload fileUpload; //获取资源对象：file-upload-prod.properties@ApiOperation(value = "用户头像修改", notes = "用户头像修改", httpMethod =...

编程日记 2023/10/11 4:32:31

【SQL】MySQL中的存储引擎、事务、锁、日志

存储引擎： 数据库管理系统（DBMS）使用数据存储引擎进行创建、查询、更新和删除数据。 MySQL5.5之前默认的存储引擎是MyISAM，5.5及之后版本默认的存储引擎是InnoDB。(my.ini中指定的) MyISAM：不支持事务，不支…...

编程日记 2023/10/11 4:31:29

DRM全解析 —— CRTC详解（2）

接前一篇文章：DRM全解析 —— CRTC详解（1） 本文继续对DRM中CRTC的核心结构struct drm_crtc的成员进行释义。 3. drm_crtc结构释义 （5）struct drm_modeset_lock mutex /*** @mutex:** This provides a read lock for the overall CRTC state (mode, dpms* state, ...) an…...

编程日记 2023/10/11 4:30:27

3d环形图开发（vue3+vite+ts）

开发效果&#xff08;待完善&#xff09;&#xff1a; 技术支持&#xff1a; Echarts echarts-gl 安装&#xff1a; 注&#xff1a;echarts与echarts-gl版本需对应&#xff0c;可参考官网 pnpm add echarts4.9.0 echarts-gl1.1.2 组件封装&#xff1a; <template><…...

编程日记 2023/10/11 4:29:27

element ui中父子组件共用一个el-dialog弹窗，切换组件页面弹窗进行关闭

在Element UI中&#xff0c;如果多个父子组件共用一个el-dialog弹窗&#xff0c;并且需要在切换组件页面时关闭弹窗&#xff0c;你可以考虑以下方法来实现&#xff1a; 使用Vuex进行状态管理&#xff1a; 在Vuex中创建一个状态来管理弹窗的显示状态&#xff08;例如&#xff0…...

编程日记 2023/10/11 4:28:25

基于Keil a51汇编 —— Segments, Modules, and Programs

段、模块和程序 在初始设计阶段&#xff0c;定义程序要执行的任务&#xff0c;然后划分为子程序。以下是与 Ax51 汇编器和 Lx51 链接器/定位器一起使用的子程序类型的简要介绍。 段是代码块或数据存储器。段可以是可重定位的&#xff0c;也可以是绝对的。可重定位段具有名称、…...

编程日记 2023/10/11 4:27:24

实时风控延迟突增2300ms？揭秘Python部署中被低估的asyncio事件循环阻塞陷阱

第一章&#xff1a;实时风控延迟突增2300ms&#xff1f;揭秘Python部署中被低估的asyncio事件循环阻塞陷阱在某次线上实时风控服务发布后&#xff0c;P99延迟从平均120ms骤升至2420ms&#xff0c;监控图表呈现尖锐毛刺。排查发现&#xff0c;问题并非源于模型推理或数据库慢查询…...

编程新知 2026/3/29 13:20:40

乙巳马年·皇城大门春联生成终端W数据库课程设计案例：用户作品管理平台

乙巳马年皇城大门春联生成终端W数据库课程设计案例&#xff1a;用户作品管理平台 又到了一年一度的数据库课程设计选题季&#xff0c;你是不是还在为“学生信息管理系统”、“图书管理系统”这类老掉牙的题目发愁&#xff1f;想找个既有技术深度&#xff0c;又能结合当下热点&…...

编程新知 2026/3/29 12:50:17

InstructPix2Pix真实体验：保留原图结构的智能修图，到底有多好用？

InstructPix2Pix真实体验&#xff1a;保留原图结构的智能修图&#xff0c;到底有多好用&#xff1f; 1. 颠覆传统的修图体验 作为一名长期与图像处理打交道的技术从业者&#xff0c;我第一次使用InstructPix2Pix时的感受可以用"惊艳"来形容。传统的图像编辑工具需要…...

编程新知 2026/3/29 12:48:16

中国象棋AlphaZero：零基础构建超越人类棋力的AI对战系统

中国象棋AlphaZero&#xff1a;零基础构建超越人类棋力的AI对战系统 【免费下载链接】ChineseChess-AlphaZero Implement AlphaZero/AlphaGo Zero methods on Chinese chess. 项目地址: https://gitcode.com/gh_mirrors/ch/ChineseChess-AlphaZero 中国象棋AlphaZero是一…...

编程新知 2026/3/29 11:47:42

Windows 7 SP2：让经典系统在现代硬件上重获新生的完整解决方案

Windows 7 SP2&#xff1a;让经典系统在现代硬件上重获新生的完整解决方案 【免费下载链接】win7-sp2 UNOFFICIAL Windows 7 Service Pack 2, to improve basic Windows 7 usability on modern systems and fully update Windows 7. 项目地址: https://gitcode.com/gh_mirror…...

编程新知 2026/3/29 11:27:19

ENVI 5.6 批量处理高分卫星数据（GF-2/6/7）保姆级教程：从App Store安装到一键正射融合

ENVI 5.6 高分卫星数据批量处理实战指南&#xff1a;从环境配置到自动化流程优化 第一次接触高分卫星数据处理时&#xff0c;面对满屏的专业术语和复杂的操作流程&#xff0c;我完全不知所措。直到掌握了ENVI 5.6的批量处理技巧&#xff0c;才发现原来遥感数据处理可以如此高效…...

编程新知 2026/3/29 11:17:17

深度技术解析：Netgear路由器隐藏Telnet控制台的终极解锁方案

深度技术解析&#xff1a;Netgear路由器隐藏Telnet控制台的终极解锁方案 【免费下载链接】netgear_telnet Netgear Enable Telnet (New Crypto) 项目地址: https://gitcode.com/gh_mirrors/ne/netgear_telnet Netgear路由器隐藏Telnet控制台解锁工具是一个专为网络安全研…...

编程新知 2026/3/29 11:11:14

惯性导航系统深度解析：从平台式到捷联式的技术演进与精度优化

1. 惯性导航系统的基本原理 想象一下你被蒙上眼睛放在一个陌生的城市里&#xff0c;只给你一个计步器和指南针&#xff0c;要求你记录自己的行走路线。这就是惯性导航系统&#xff08;INS&#xff09;工作的基本场景——它通过测量运动载体的加速度和角速度&#xff0c;像做数…...

编程新知 2026/3/29 8:15:40

Stable Yogi Leather-Dress-Collection开源模型应用：ACG创作者无需订阅即可拥有的本地皮衣工具

Stable Yogi Leather-Dress-Collection开源模型应用&#xff1a;ACG创作者无需订阅即可拥有的本地皮衣工具 1. 项目概述 Stable Yogi Leather-Dress-Collection是一款专为动漫创作者设计的2.5D皮衣穿搭生成工具。基于Stable Diffusion v1.5和Anything V5动漫底座模型开发&…...

编程新知 2026/3/29 6:24:25

STEP3-VL-10B WebUI教程：自定义快捷提示词模板+一键插入常用指令

STEP3-VL-10B WebUI教程&#xff1a;自定义快捷提示词模板一键插入常用指令 你是不是每次用多模态AI模型时&#xff0c;都要重复输入那些固定的指令&#xff1f;比如“请详细描述这张图片”、“帮我分析这个图表的数据”、“用中文回答”……一遍又一遍地打字&#xff0c;不仅…...

编程新知 2026/3/29 6:06:22