介绍用于机器学习的 Fashion-MNIST 数据集
介绍用于机器学习的 Fashion-MNIST 数据集
为什么要研究数据集?
让我们首先思考一下为什么要花时间研究数据集的问题。数据是深度学习的主要成分,虽然作为神经网络程序员的任务是让我们的神经网络从我们的数据中学习,但我们仍然有责任了解我们实际用于训练的数据的性质和历史。
一般来说,计算机程序由两个主要组成部分:代码和数据。在传统编程中,程序员的工作是直接编写软件或代码,但在深度学习和神经网络中,所谓的软件就是网络本身,特别是网络在训练过程中自动出现的权重。

程序员的工作是监督和指导训练过程中的学习。我们可以将其视为一种间接编写软件或代码的方式。通过使用数据和深度学习,神经网络程序员可以生产出能够执行计算的软件,而无需编写明确执行这些计算的代码。
因此,数据在开发软件中的作用正在转变,我们可能会看到软件开发人员的角色也随之转变。
关注数据的考虑因素:
- 谁创建了数据集?
- 数据集是如何创建的?
- 使用了哪些转换?
- 数据集的意图是什么?
- 可能的意外后果?
- 数据集是否有偏见?
- 数据集是否存在伦理问题?
在实践中,获取和访问数据通常是深度学习中最困难的部分之一,因此在我们了解这个特定数据集时,请记住我们在这里看到的一般概念和想法。
MNIST 数据集是什么?
MNIST 数据集,修改后的国家标准与技术研究院数据库,是一个著名的手写数字数据集,通常用于训练机器学习的图像处理系统。NIST 代表 国家标准与技术研究院。
MNIST 中的 M 代表 修改过的,这是因为有一个原始的 NIST 数字数据集被修改成了 MNIST。

MNIST 因为使用频率高而闻名。它通常出于两个原因而被使用:
- 初学者使用它,因为它简单
- 研究人员使用它来基准测试(比较)不同的模型
数据集包含 70,000 张手写数字图像,具体分为:
-
60,000 张训练图像 -
10,000 张测试图像
这些图像最初是由美国人口普查局员工和美国高中生创建的。
MNIST 被如此广泛地使用,图像识别技术也得到了如此大的改进,以至于数据集被认为太简单了。这就是为什么创建了 Fashion-MNIST 数据集。
Fashion-MNIST 是什么?
Fashion-MNIST,顾名思义,是一个时尚物品的数据集。具体来说,数据集有以下十类时尚物品:
| 索引 | 标签 |
|---|---|
| 0 | T 恤/上衣 |
| 1 | 裤子 |
| 2 | 套头衫 |
| 3 | 连衣裙 |
| 4 | 外套 |
| 5 | 凉鞋 |
| 6 | 衬衫 |
| 7 | 运动鞋 |
| 8 | 包 |
| 9 | 短靴 |
正如我们在之前的帖子中看到的,这些物品的样本看起来像这样:

Fashion-MNIST 的起源是什么?
Fashion-MNIST 图像来自哪里?Fashion-MNIST 基于 Zalando 网站上的商品组合。Zalando 是一家总部位于德国的跨国时尚商务公司,成立于 2008 年。
这就是为什么我们在 GitHub URL 中看到 zalandoresearch,Fashion-MNIST 数据集可供下载。
Zalando Research 是公司内部创建数据集的团队。
当我们回顾介绍数据集的论文时,我们会看到更多关于图像收集方式的内容,但首先,让我们回答另一个潜伏的问题。
Fashion 数据集中的 MNIST 是什么意思?
为什么 Fashion-MNIST 中有 MNIST?
Fashion MNIST 数据集之所以在名称中有 MNIST,是因为创建者希望用 Fashion-MNIST 替代 MNIST。
因此,Fashion 数据集被设计成尽可能地模仿原始 MNIST 数据集,同时由于数据比手写图像更复杂,引入了更高的训练难度。
我们将看到 Fashion-MNIST 如何在论文中模仿原始数据集,但我们已经看到的一件事是类别的数量。
- MNIST - 有 10 个类别(每个数字 0-9 一个)
- Fashion-MNIST - 有 10 个类别(这是故意的)
让我们来看看这篇论文。
在 arXiv 上阅读 Fashion-MNIST 论文
关于论文的第一件事是,作者来自 Zalando Research(Fashion-MNIST 的起源)。
在阅读了论文的摘要后,我们看到了数据集被命名为 Fashion-MNIST 的原因。
Fashion-MNIST 论文的摘要
我们介绍了 Fashion-MNIST,这是一个新的数据集,包含 70,000 张 28 x 28 灰度图像,涵盖 10 个类别的时尚产品,每个类别 7,000 张图像。训练集有 60,000 张图像,测试集有 10,000 张图像。Fashion-MNIST 旨在作为原始 MNIST 数据集的直接替代品,用于基准测试机器学习算法,因为它具有相同的图像大小、数据格式以及训练和测试拆分的结构。数据集可在 https://github.com/zalandoresearch/fashion-mnist 免费获取。
- arXiv 论文
数据集被设计成原始 MNIST 的替代品。通过使 Fashion-MNIST 数据集规范与原始 MNIST 规范相匹配,从旧数据集到新数据集的转换可以顺利进行。论文声称,切换数据集所需的唯一更改是从获取 MNIST 数据集的 URL 改为指向 Fashion 数据集。
论文还为我们提供了更多关于 MNIST 如此受欢迎的原因的见解:
“MNIST 如此受欢迎的原因与其大小有关,这使得深度学习研究人员能够快速检查和原型化他们的算法。这也得到了补充,因为所有机器学习库(例如 scikit-learn)和深度学习框架(例如 Tensorflow、PyTorch)都提供了使用 MNIST 的辅助函数和方便的示例。”
- arXiv 论文
PyTorch 为我们提供了一个名为 torchvision 的包,使我们能够轻松地开始使用 MNIST 以及 Fashion-MNIST。
我们将在下一篇文章中使用 torchvision 将我们的训练集加载到我们的项目中。
Fashion-MNIST 是如何构建的
与 MNIST 数据集不同,时尚集不是手绘的,但数据集中的图像是 Zalando 网站上的实际图像。
然而,它们已经被转换以更接近 MNIST 规范。这是每个网站图像经历的一般转换过程:
- 转换为 PNG
- 裁剪
- 调整大小
- 锐化
- 扩展
- 反色
- 灰度化
要查看此过程的更详细描述,请务必查看论文的第二部分。
使用 torchvision 访问 Fashion-MNIST
总之,我们已经看到了 Fashion-MNIST 数据集的起源和历史,尽管该数据集被设计成更具挑战性的计算机视觉问题,但该集合仍然是一个很好的起点。
我们将通过一个名为 torchvision 的 PyTorch 视觉库访问 Fashion-MNIST,并构建我们的第一个神经网络,该网络能够准确预测给定输入时尚图像的输出类别。
相关文章:
介绍用于机器学习的 Fashion-MNIST 数据集
介绍用于机器学习的 Fashion-MNIST 数据集 为什么要研究数据集? 让我们首先思考一下为什么要花时间研究数据集的问题。数据是深度学习的主要成分,虽然作为神经网络程序员的任务是让我们的神经网络从我们的数据中学习,但我们仍然有责任了解我…...
【GitHub】登录时的2FA验证
一、如何进行2FA认证 1.在你的浏览器中下载 Authenticator身份验证插件 2.使用身份验证器添加凭证 2.1 使用身份验证器扫描验证二维码 选择扫描二维码...
CSDN年度回顾:技术征途上的坚实步伐
嘿,时光过得可真快呀,就像那匹跑得飞快的白马,嗖的一下,2024 年的日历就这么悄无声息地翻到了最后一页。这会儿我回头看看在 CSDN 上度过的这一年,心里那叫一个感慨万千,满满的都是喜悦,就像心里…...
Kotlin Bytedeco OpenCV 图像图像57 图像ROI
Kotlin Bytedeco OpenCV 图像图像57 图像ROI 1 添加依赖2 测试代码3 测试结果 1 添加依赖 <?xml version"1.0" encoding"UTF-8"?> <project xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xmlns"http://maven.apache.o…...
支持大功率输出高速频闪的图像处理用光源控制器
机器视觉系统中的光源控制器在确保图像质量、提高系统稳定性、降低能耗以及方便系统扩展和升级等方面发挥着重要作用。它可提供稳定光源,调节参数,另外具有操作便捷性。 下面我们来看Gardasoft的光源控制器,Gardasoft拥有作为图像处理用LED光…...
《从入门到精通:蓝桥杯编程大赛知识点全攻略》(五)-数的三次方根、机器人跳跃问题、四平方和
本博客将详细探讨如何通过二分查找算法来解决这几个经典问题。通过几个实际的例子,我们将展示如何在这些问题中灵活应用二分查找,优化计算过程,并在面对大数据量时保持高效性。 目录 前言 数的三次方根 算法思路 代码如下 机器人跳跃问题…...
Java-数据结构-二叉树习题(2)
第一题、平衡二叉树 ① 暴力求解法 📚 思路提示: 该题要求我们判断给定的二叉树是否为"平衡二叉树"。 平衡二叉树指:该树所有节点的左右子树的高度相差不超过 1。 也就是说需要我们会求二叉树的高,并且要对节点内所…...
解锁面向对象编程:Python 类与对象详解
🏠大家好,我是Yui_💬 🍑如果文章知识点有错误的地方,请指正!和大家一起学习,一起进步👀 🚀如有不懂,可以随时向我提问,我会全力讲解~ ὒ…...
国产编辑器EverEdit -重复行
1 重复行 1.1 应用场景 在代码或文本编辑过程中, 经常需要快速复制当前行,比如,给对象的多个属性进行赋值。传统的做法是:选中行-> 复制-> 插入新行-> 粘贴,该操作有4个步骤,非常繁琐。 那有没…...
记一次数据库连接 bug
整个的报错如下: com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server. Attempted reconnect 3 times. Giving up. at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Metho…...
【Springboot相关知识】Springboot结合SpringSecurity实现身份认证以及接口鉴权
Springboot结合SpringSecurity实现身份认证以及接口鉴权 身份认证1. 添加依赖2. 配置JWT工具类3. 配置Spring Security4. 创建JWT请求过滤器5. 创建认证控制器6. 创建请求和响应对象7. 配置UserDetailsService8. 运行应用程序9. 测试总结 接口鉴权1. 启用方法级安全注解2. 定义…...
算法竞赛之差分进阶——等差数列差分 python
目录 前置知识进入正题实战演练 前置知识 给定区间 [ l, r ],让我们把数组中的[ l, r ] 区间中的每一个数加上c,即 a[ l ] c , a[ l 1 ] c , a[ l 2] c , a[ r ] c; 怎么做?很简单,差分一下即可 还不会的小伙伴点此进入学习 进入正题 …...
20250121在Ubuntu20.04.6下使用Linux_Upgrade_Tool工具给荣品的PRO-RK3566开发板刷机
sudo upgrade_tool uf update.img 20250121在Ubuntu20.04.6下使用Linux_Upgrade_Tool工具给荣品的PRO-RK3566开发板刷机 2025/1/21 11:54 百度:ubuntu RK3566 刷机 firefly rk3566 ubuntu upgrade_tool烧写详解 https://wiki.t-firefly.com/Core-3566JD4/03-upgrad…...
【Elasticsearch】Springboot编写Elasticsearch的RestAPI
RestAPI 初始化RestClient创建索引库Mapping映射 判断索引库是否存在删除索引库总结 ES官方提供了各种不同语言的客户端,用来操作ES。这些客户端的本质就是组装DSL语句,通过http请求发送给ES。 官方文档地址 由于ES目前最新版本是8.8,提供了全…...
Python数据可视化(够用版):懂基础 + 专业的图表抛给Tableau等专业绘图工具
我先说说文章标题中的“够用版”啥意思,为什么这么写。 按照我个人观点,在使用Python进行数据分析时,我们有时候肯定要结合到图表去进行分析,去直观展现数据的规律和特定,那么我们肯定要做一些简单的可视化࿰…...
1.21学习
misc buuctf-爱因斯坦 下载附件后是一个图片,用stegsolve查看一下,各个色都没有问题,然后看一下数据分析,除此之外无其他信息,再看看图片属性,不知道是啥,用随波逐流进行binwalk文件提取然后得…...
SoftGNSS软件接收机源码阅读(一)程序简介、运行调试、执行流程
原始 Markdown文档、Visio流程图、XMind思维导图见:https://github.com/LiZhengXiao99/Navigation-Learning 文章目录 一、softGNSS 简介1、概述2、相关工作3、我用 softGNSS 做的事4、文件结构5、程序执行流程图 二、程序使用1、射频前端2、参数设置3、处理开源数据…...
Spring Boot AOP实现动态数据脱敏
依赖&配置 <!-- Spring Boot AOP起步依赖 --> <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-aop</artifactId> </dependency>/*** Author: 说淑人* Date: 2025/1/18 23:03* Desc…...
Leetcode刷题-二分查找
灵神的二分视频:二分查找 红蓝染色法_哔哩哔哩_bilibili 34 class Solution:def searchRange(self, nums: List[int], target: int) -> List[int]:right len(nums) - 1left 0res [-1,-1]mid int((right left)/2)while right > left:if nums[mid] < …...
凭证Account Assignment的校验(FAGL_VALIDATE)
本文主要介绍在S4 HANA OP中凭证Account Assignment的校验配置。具体请参照如下内容: 目录 1. 定义Account Assignment校验策略(FAGL_VALIDATE) 1.1 Derivation Rule 1.2 Assignment 1.3 Initialize 1.4 Enhancement 2. 分配Account Assignment校验策略给公司…...
19c补丁后oracle属主变化,导致不能识别磁盘组
补丁后服务器重启,数据库再次无法启动 ORA01017: invalid username/password; logon denied Oracle 19c 在打上 19.23 或以上补丁版本后,存在与用户组权限相关的问题。具体表现为,Oracle 实例的运行用户(oracle)和集…...
装饰模式(Decorator Pattern)重构java邮件发奖系统实战
前言 现在我们有个如下的需求,设计一个邮件发奖的小系统, 需求 1.数据验证 → 2. 敏感信息加密 → 3. 日志记录 → 4. 实际发送邮件 装饰器模式(Decorator Pattern)允许向一个现有的对象添加新的功能,同时又不改变其…...
【杂谈】-递归进化:人工智能的自我改进与监管挑战
递归进化:人工智能的自我改进与监管挑战 文章目录 递归进化:人工智能的自我改进与监管挑战1、自我改进型人工智能的崛起2、人工智能如何挑战人类监管?3、确保人工智能受控的策略4、人类在人工智能发展中的角色5、平衡自主性与控制力6、总结与…...
ES6从入门到精通:前言
ES6简介 ES6(ECMAScript 2015)是JavaScript语言的重大更新,引入了许多新特性,包括语法糖、新数据类型、模块化支持等,显著提升了开发效率和代码可维护性。 核心知识点概览 变量声明 let 和 const 取代 var…...
DeepSeek 赋能智慧能源:微电网优化调度的智能革新路径
目录 一、智慧能源微电网优化调度概述1.1 智慧能源微电网概念1.2 优化调度的重要性1.3 目前面临的挑战 二、DeepSeek 技术探秘2.1 DeepSeek 技术原理2.2 DeepSeek 独特优势2.3 DeepSeek 在 AI 领域地位 三、DeepSeek 在微电网优化调度中的应用剖析3.1 数据处理与分析3.2 预测与…...
SpringBoot+uniapp 的 Champion 俱乐部微信小程序设计与实现,论文初版实现
摘要 本论文旨在设计并实现基于 SpringBoot 和 uniapp 的 Champion 俱乐部微信小程序,以满足俱乐部线上活动推广、会员管理、社交互动等需求。通过 SpringBoot 搭建后端服务,提供稳定高效的数据处理与业务逻辑支持;利用 uniapp 实现跨平台前…...
【android bluetooth 框架分析 04】【bt-framework 层详解 1】【BluetoothProperties介绍】
1. BluetoothProperties介绍 libsysprop/srcs/android/sysprop/BluetoothProperties.sysprop BluetoothProperties.sysprop 是 Android AOSP 中的一种 系统属性定义文件(System Property Definition File),用于声明和管理 Bluetooth 模块相…...
[免费]微信小程序问卷调查系统(SpringBoot后端+Vue管理端)【论文+源码+SQL脚本】
大家好,我是java1234_小锋老师,看到一个不错的微信小程序问卷调查系统(SpringBoot后端Vue管理端)【论文源码SQL脚本】,分享下哈。 项目视频演示 【免费】微信小程序问卷调查系统(SpringBoot后端Vue管理端) Java毕业设计_哔哩哔哩_bilibili 项…...
多模态图像修复系统:基于深度学习的图片修复实现
多模态图像修复系统:基于深度学习的图片修复实现 1. 系统概述 本系统使用多模态大模型(Stable Diffusion Inpainting)实现图像修复功能,结合文本描述和图片输入,对指定区域进行内容修复。系统包含完整的数据处理、模型训练、推理部署流程。 import torch import numpy …...
Chrome 浏览器前端与客户端双向通信实战
Chrome 前端(即页面 JS / Web UI)与客户端(C 后端)的交互机制,是 Chromium 架构中非常核心的一环。下面我将按常见场景,从通道、流程、技术栈几个角度做一套完整的分析,特别适合你这种在分析和改…...
