当前位置： 首页 > news >正文

取Dataset子集(pytorch)

news 2026/5/24 11:32:04

取Dataset子集--pytorch

  • 1. why
  • 2. how
  • 3. example

1. why

我们在调试深度学习代码时，常常会遇到数据集太大，导致调试浪费时间的情况，这种情况下，将数据集中的一个子集拿出来用于调试代码，调试成功在用完整的数据集运行代码成为一个可行的方案。

2. how

pytorch中Torch.utils.data.Subset()函数提供了一个简便的方式，函数如下，indices表示取子集中样本在dataset中的序号。

在这里插入图片描述
indices可以由以下的形式输入：

indices = range(0, 10)    # or
indices = [x for x in range(10)]

3. example

trainset = torchvision.datasets.CIFAR10(root='./data', train=True,download=True, transform=transform)
trainset = torch.utils.data.Subset(trainset,[0,1,2,3,4,5,6,7,8,9,10,11])
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,shuffle=True, num_workers=2)testset = torchvision.datasets.CIFAR10(root='./data', train=False,download=True, transform=transform)
testset = torch.utils.data.Subset(testset,[1,2,3,4])
testloader = torch.utils.data.DataLoader(testset, batch_size=4,shuffle=False, num_workers=2)

相关文章：

取Dataset子集(pytorch)

取Dataset子集--pytorch 1. why2. how3. example 1. why 我们在调试深度学习代码时，常常会遇到数据集太大，导致调试浪费时间的情况，这种情况下，将数据集中的一个子集拿出来用于调试代码，调试成功在用完整的数据集运行…...

编程日记 2023/10/29 2:52:46

如何选择消息队列

作为一个程序员&#xff0c;我们必须要认识到&#xff0c;软件工程中是不存在”银弹“的。<!--more--> 在消息队列的选型问题上&#xff0c;也是同样的道理。并不存在哪个消息队列就是最好的&#xff0c;能够解决所有的问题。常用的消息队列有好几个&#xff0c;每一种都…...

编程日记 2023/10/29 2:51:45

读取mysql数据库表结构生成接口文档

1、引入依赖 <!-- 导出word --><dependency><groupId>org.freemarker</groupId><artifactId>freemarker</artifactId><version>2.3.30</version></dependency><!-- https://mvnrepository.com/artifact/e-iceblue/s…...

编程日记 2023/10/29 2:50:44

【MySQL索引与优化篇】InnoDB数据存储结构

文章目录 1. 数据库的存储结构:页1.1 磁盘与内存交互基本单位:页1.2 页结构概述1.3 页的上层结构 2. 页的内部结构3. InnoDB行格式(或记录格式)3.1 Compact行格式3.2 Dynamic和Compressed行格式3.3 Redundant行格式 4. 区、段与碎片区4.1 为什么要有区&#xff1f;4.2 为什么要…...

编程日记 2023/10/29 2:49:43

Go学习第十二章——Go反射与TCP编程

Go反射与TCP编程 1 反射1.1 基本介绍1.2 快速入门1.3 注意事项和细节说明1.4 最佳实践 2 Tcp Socket编程2.1 基本介绍2.2 入门案例2.3 服务器监听2.4 服务器接受客户端消息 1 反射 1.1 基本介绍 **反射&#xff1a;**在编译时静态类型语言中实现动态特性的一种机制。 Go语言…...

编程日记 2023/10/29 2:48:42

uniapp编译微信小程序富文本rich-text的图片样式不生效原因

this.detail.contents this.detail.contents.replace(/\<img/gi, <img style"display:block;max-width:90%;height:auto;border:2px solid #eee;box-shadow:5px 5px 5px rgba(100,100,100,0.8);margin-bottom:10px;text-align:center;" );开始采用这个replace…...

编程日记 2023/10/29 2:47:41

Django实战项目-学习任务系统-任务管理

接着上期代码框架&#xff0c;开发第3个功能&#xff0c;任务管理&#xff0c;再增加一个学习任务表&#xff0c;用来记录发布的学习任务的标题和内容&#xff0c;预计完成天数&#xff0c;奖励积分和任务状态等信息。 第一步&#xff1a;编写第三个功能-任务管理 1&#xff0…...

编程日记 2023/10/29 2:46:39

ubuntu18.04设置开机自动启动脚本（以自动启动odoo命令行为例讲解）

简介 ubuntu作为服务器使用时&#xff0c;常常需要在机器重启时能自动启动我们开发的服务。 Ubuntu 16.10开始不再使用initd管理系统&#xff0c;改用systemd&#xff0c;包括用systemctl命令来替换了service和chkconfig的功能。 systemd 默认读取 /etc/systemd/system 下的配…...

编程日记 2023/10/29 2:45:39

golang工程——grpc-gateway 转发http header中自定义字段到grpc上下文元数据

http header 转发到 grpc上下文 grpc网关可以将请求体内容转发到grpc对应消息中。那如何获取http header头中的信息&#xff0c;本文将介绍如何将http header转发到grpc上下文并采用拦截器&#xff0c;获取http header中的内容。 有些http header中的内置字段是会转发的比如Au…...

编程日记 2023/10/29 2:43:37

CPU眼里的C/C++: 1.3 汇编级单步调试函数执行过程

1. 目的 2. 基于 GDB 的汇编级单步调试 原始代码 #include <stdio.h>long test() {long a 1;a 2;return a; }int main() {int ret test();printf("test return %d\n", ret);return 0; }关键 gdb 命令 si 指令执行汇编级的单步调试info registers 读取寄…...

编程日记 2023/10/29 2:42:35

数据结构时间复杂度（补充）和空间复杂度

Hello&#xff0c;今天事10月27日&#xff0c;距离刚开始写博客已经过去挺久了&#xff0c;我也不知道是什么让我坚持这么久&#xff0c;但是学校的课真的很多&#xff0c;很少有时间多出来再学习&#xff0c;有些科目马上要考试了&#xff0c;我还不知道我呢不能过哈哈哈&…...

编程日记 2023/10/29 2:41:34

Mac-postman存储文件目录

今天postman弹窗要求登录账号才可访问之前的API文档数据。 但是这postman的账号又是前同事的账号&#xff0c;我没有他的账号和密码啊。 登录了我自己的postman账号后&#xff0c;所有的api文档都不见了....我服了。 首先去屏幕左上角---> 前往 --->个人 然后键盘按显…...

编程日记 2023/10/29 2:40:33

JAVA面试题简单整理

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、重载和重写的区别一、&和&&的区别一、get和post请求的区别 delete、put一、cookie和session的区别一、Autowired和Resource区别一、”和equals…...

编程日记 2023/10/29 2:39:32

dd命令用法学习，是一个功能强大的工具

dd 命令是一个功能强大的工具&#xff0c;它有许多参数可以用来控制其行为。以下是 dd 命令中常用的一些参数&#xff1a; - ifinputfile&#xff1a;指定输入文件的路径。 - ofoutputfile&#xff1a;指定输出文件的路径。 - bssize&#xff1a;设置每个块的大小。可以使用不同…...

编程日记 2023/10/29 2:38:30

Games104现代游戏引擎笔记 网络游戏进阶架构

Character Movement Replication 角色位移同步 玩家2的视角看玩家1的移动是起伏一截一截&#xff0c;并且滞后的 interpolation&#xff1a;内插值&#xff0c;在两个旧的但已知的状态计算 extrapolation&#xff1a;外插值&#xff0c;本质是预测 内插值&#xff1a;但网络随着…...

编程日记 2023/10/29 2:37:29

Apollo 快速上手指南：打造自动驾驶解决方案

快速上手 概述云端体验登录云端仿真环境 打开DreamView播放离线数据包PNC Monitor 内置的数据监视器cyber_monitor 实时通道信息视图福利活动 主页传送门&#xff1a;&#x1f4c0; 传送 概述 Apollo 开放平台是一个开放的、完整的、安全的平台&#xff0c;将帮助汽车行业及自…...

编程日记 2023/10/29 2:36:28

C现代方法（第14章）笔记——预处理器

文章目录 第14章 预处理器14.1 预处理器的工作原理14.2 预处理指令14.3 宏定义14.3.1 简单的宏14.3.2 带参数的宏14.3.3 #运算符14.3.4 ##运算符14.3.5 宏的通用属性14.3.6 宏定义中的圆括号14.3.7 创建较长的宏14.3.8 预定义宏14.3.9 C99中新增的预定义宏14.3.10 空的宏参数(C…...

编程日记 2023/10/29 2:35:27

Kafka KRaft模式探索

1.概述 Kafka是一种高吞吐量的分布式发布订阅消息系统&#xff0c;它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer&#xff0c;以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。 2.内容…...

编程日记 2023/10/29 2:34:26

LVS-keepalived实现高可用

概念&#xff1a; 本章核心&#xff1a; Keepalived为LVS应运而生的高可用服务。LVS的调度无法做高可用&#xff0c;预算keepalived这个软件&#xff0c;实现了调度器的高可用。 但是&#xff1a;Keeplived不是专门为LVS集群服务的&#xff0c;也可以做其他服务器的高可用 LVS…...

编程日记 2023/10/29 2:32:24

Linux内核驱动开发的需要掌握的知识点

Linux内核驱动开发是一项复杂而有挑战性的任务&#xff0c;需要掌握多方面的知识和技能。下面是一些需要掌握的关键知识点&#xff0c;这些知识将有助于你成功地开发Linux内核驱动程序。 1. Linux内核基础知识 首先&#xff0c;了解Linux内核的基础知识至关重要。这包括Linux…...

编程日记 2023/10/29 2:30:21

Windows Defender移除工具深度解析：3步彻底禁用微软安全组件，性能飙升30%的终极方案

Windows Defender移除工具深度解析&#xff1a;3步彻底禁用微软安全组件&#xff0c;性能飙升30%的终极方案 【免费下载链接】windows-defender-remover A tool which is uses to remove Windows Defender in Windows 8.x, Windows 10 (every version) and Windows 11. 项目地…...

编程新知 2026/5/24 10:26:12

3分钟解决Windows热键冲突：Hotkey Detective终极免费方案

3分钟解决Windows热键冲突&#xff1a;Hotkey Detective终极免费方案 【免费下载链接】hotkey-detective A small program for investigating stolen key combinations under Windows 7 and later. 项目地址: https://gitcode.com/gh_mirrors/ho/hotkey-detective 你是否…...

编程新知 2026/5/24 10:24:07

3步完成SQLite到MySQL数据库迁移：智能转换工具实战指南

3步完成SQLite到MySQL数据库迁移&#xff1a;智能转换工具实战指南 【免费下载链接】sqlite-to-mysql Script to convert and add sqlite3 database into a mysql/mariadb database 项目地址: https://gitcode.com/gh_mirrors/sq/sqlite-to-mysql 在开发项目从原型到生产…...

编程新知 2026/5/24 10:02:18

DCT 变换：揭秘那个让一张图片“瘦身“百倍的数学魔法

一、一个让我"开窍"的乐队演奏故事 我有个学音乐的朋友&#xff0c;他给我讲过一个让我至今难忘的故事。他说有一次他听一支交响乐团演奏贝多芬的《第五交响曲》&#xff0c;指挥家在排练时做了一个特别有趣的"游戏"——他让乐团分别只演奏不同乐器组的声音…...

编程新知 2026/5/24 10:00:14

5分钟掌握NCM解密：网易云音乐文件转换终极指南

5分钟掌握NCM解密&#xff1a;网易云音乐文件转换终极指南 【免费下载链接】ncmdumpGUI C#版本网易云音乐ncm文件格式转换&#xff0c;Windows图形界面版本 项目地址: https://gitcode.com/gh_mirrors/nc/ncmdumpGUI 你是否曾经遇到过这样的情况&#xff1a;在网易云音…...

编程新知 2026/5/24 8:58:48

5步解决Windows包管理器Winget安装难题：专业修复指南

5步解决Windows包管理器Winget安装难题&#xff1a;专业修复指南 【免费下载链接】winget-install Install WinGet using PowerShell! Prerequisites automatically installed. Works on Windows 10/11 and Server 2019/2022. 项目地址: https://gitcode.com/gh_mirrors/wi/w…...

编程新知 2026/5/24 8:28:58

Camoufox反检测浏览器：深度伪造Canvas/WebGL/Audio指纹

1. 这不是浏览器&#xff0c;而是一套“数字伪装系统”&#xff1a;Camoufox的本质定位很多人第一次看到“Camoufox反检测浏览器”时&#xff0c;下意识会把它当成一个“长得像Firefox的爬虫工具”&#xff0c;甚至有人直接把它和普通无头浏览器、SeleniumUser-Agent轮换方案划…...

编程新知 2026/5/24 7:59:50

Burp Suite安装失败原因与Java环境配置全解

1. 为什么Burp Suite安装失败不是“运气差”&#xff0c;而是环境逻辑没对齐 Burp Suite安装问题总结——这标题听起来像一份运维日志&#xff0c;但实际是每个刚接触Web安全测试的人必经的“成人礼”。我带过十几期渗透测试实操班&#xff0c;92%的新手在第一天卡在Burp启动环…...

编程新知 2026/5/24 7:06:46

3D层析SAR与AutoML融合：实现高精度森林树种自动识别

1. 项目概述&#xff1a;当3D雷达“透视”森林&#xff0c;机器学习如何识别每一棵树&#xff1f;在森林资源管理与生态研究中&#xff0c;准确识别树种一直是个既基础又棘手的难题。传统的野外调查方法&#xff0c;依赖人力跋山涉水&#xff0c;不仅成本高昂、效率低下&#x…...

编程新知 2026/5/24 6:16:52

Redis分布式锁进阶第五十六篇

Redis分布式锁进阶第二十五篇&#xff1a;联锁深度拆解 多资源交叉死锁根治 复杂业务多级加锁绝对有序方案一、本篇前置衔接 第二十四篇我们完成了全系列终局复盘&#xff0c;整理了故障排查SOP与企业级落地铁律。常规单资源锁、热点分片锁、隔离锁全部讲透&#xff0c;但真实…...

编程新知 2026/5/24 4:42:38