【AI大模型】Transformers大模型库（十四）：Datasets Viewer
目录
一、引言
二、Datasets Viewer数据查看器
2.1 概述
2.2 示例
三、总结
一、引言
这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。
🤗 Transformers 提供了数以千计的预训练模型，支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。
🤗 Transformers 提供了便于快速下载和使用的API，让你可以把预训练模型用在给定文本、在你的数据集上微调然后通过 model hub 与社区共享。同时，每个定义的 Python 模块均完全独立，方便修改和快速研究实验。
🤗 Transformers 支持三个最热门的深度学习库： Jax, PyTorch 以及 TensorFlow — 并与之无缝整合。你可以直接使用一个框架训练你的模型然后用另一个加载和推理。
本文重点介绍Hugging Face的Datasets Viewer用法
二、Datasets Viewer数据查看器
2.1 概述
Datasets Viewer是一个轻量级的 Web API，用于可视化和探索存储在 Hugging Face Hub上的所有类型的数据集（计算机视觉、语音、文本和表格）。
数据集查看器的主要功能是将所有Hub 数据集自动转换为Parquet。
随着数据集的大小和数据类型的丰富性不断增加，预处理（存储和计算）这些数据集的成本可能非常高且耗时。为了帮助用户访问这些现代数据集，数据集查看器在后台运行服务器以提前生成 API 响应并将其存储在数据库中，以便当您通过 API 进行查询时立即返回它们。
让数据集查看器处理繁重的工作，这样您就可以在 Hugging Face 上的 100,000 多个数据集中的任何一个上使用简单的REST API来：
- 列出数据集拆分、列名称和数据类型
- 获取数据集大小（以行数或字节数计算）
- 下载并查看数据集中任意索引处的行
- 在数据集中搜索单词
- 根据查询字符串过滤行
- 获取有关数据的深刻统计数据
- 以parquet 文件形式访问数据集，以便在您喜欢的处理或分析框架中使用
2.2 示例
比如，这是ShareGPT4Video/ShareGPT4Video数据集的Dataset Viewer
三、总结
以上步骤展示了如何使用Datasets Viewer来查看数据，Datasets是hugging face主要我存储资源之一，通过Datasets Viewer可以快速查看。
如果您还有时间，可以看看我的其他文章：
《AI—工程篇》
AI智能体研发之路-工程篇（一）：Docker助力AI智能体开发提效
AI智能体研发之路-工程篇（二）：Dify智能体开发平台一键部署
AI智能体研发之路-工程篇（三）：大模型推理服务框架Ollama一键部署
AI智能体研发之路-工程篇（四）：大模型推理服务框架Xinference一键部署
AI智能体研发之路-工程篇（五）：大模型推理服务框架LocalAI一键部署
《AI—模型篇》
AI智能体研发之路-模型篇（一）：大模型训练框架LLaMA-Factory在国内网络环境下的安装、部署及使用
AI智能体研发之路-模型篇（二）：DeepSeek-V2-Chat 训练与推理实战
AI智能体研发之路-模型篇（三）：中文大模型开、闭源之争
AI智能体研发之路-模型篇（四）：一文入门pytorch开发
AI智能体研发之路-模型篇（五）：pytorch vs tensorflow框架DNN网络结构源码级对比
AI智能体研发之路-模型篇（六）：【机器学习】基于tensorflow实现你的第一个DNN网络
AI智能体研发之路-模型篇（七）：【机器学习】基于YOLOv10实现你的第一个视觉AI大模型
AI智能体研发之路-模型篇（八）：【机器学习】Qwen1.5-14B-Chat大模型训练与推理实战
AI智能体研发之路-模型篇（九）：【机器学习】GLM4-9B-Chat大模型/GLM-4V-9B多模态大模型概述、原理及推理实战
《AI—Transformers应用》
【AI大模型】Transformers大模型库（一）：Tokenizer
【AI大模型】Transformers大模型库（二）：AutoModelForCausalLM
【AI大模型】Transformers大模型库（三）：特殊标记（special tokens）
【AI大模型】Transformers大模型库（四）：AutoTokenizer
【AI大模型】Transformers大模型库（五）：AutoModel、Model Head及查看模型结构
相关文章：
【AI大模型】Transformers大模型库（十四）：Datasets Viewer
目录 一、引言 二、Datasets Viewer数据查看器 2.1 概述 2.2 示例 三、总结 一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 🤗 Transformers 提供了数以千计的预训练…...
一个例子理解傅里叶变换的计算过程
假设我们有一个简单的信号，由两个不同频率的正弦波组成，我们希望通过傅里叶变换来分析其频谱。 示例信号 假设我们有一个信号 ： 这个信号由两个频率成分组成：一个50 Hz的正弦波和一个120 Hz的正弦波，后者的振幅是前者…...
2-2到2-4
计算出所有人的平均年龄： val lines sc.textFile("/root/data/scala/people/page.txt") val count lines.count() val total lines.map(line > line.split(" ")(1)).map(t>t.trim.toInt).collect().reduce((a,b)>ab) val avgAge …...
Vatee万腾平台：一站式智慧服务，让生活更美好
在数字化浪潮席卷全球的今天，我们生活的方方面面都在经历着前所未有的变革。Vatee万腾平台凭借其一站式智慧服务，正成为推动这场变革的重要力量，让我们的生活变得更加美好。 Vatee万腾平台，作为一家专注于提供智慧服务的领军企业&…...
如何选择一个好的汽车油封制造商?
汽车的每一个零部件都至关重要，其中，油封的作用更是不可忽视。它们确保了液体和气体在汽车内部的正确流动，防止了泄漏。因此，选择一个可靠的汽车油封制造商就显得尤为重要。那么，我们应该如何做出明智的选择呢? 首先…...
构建高效的电商返利系统：架构设计与实现
构建高效的电商返利系统：架构设计与实现 大家好，我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！ 电商返利系统作为连接消费者和商家的桥梁，能够…...
如何使用 Python 交互式解释器？
1. 什么是Python交互式解释器？ Python交互式解释器是一种REPL（Read-Eval-Print Loop）环境。它会读取用户输入的代码，执行代码，并输出结果，随后等待下一个用户输入。这种交互方式使得Python非常适合快速原型…...
C++日期类的完整实现，以及this指针的const修饰等的介绍
文章目录 前言一、日期类的实现二、this指针的const修饰总结 前言 C日期类的完整实现，以及this指针的const修饰等的介绍 一、日期类的实现 // Date.h #pragma once#include <iostream> using namespace std;#include <assert.h>class Date {// 友元函…...
缓冲区溢出
本文作者：杉木涂鸦智能安全实验室 前置知识点 栈 栈（Stack）是计算机中的一种数据结构，用于存储临时数据。它的特点是后入先出（LIFO），只能在栈顶添加或删除数据。在程序中，栈被用于…...
step7：“模拟量界面”逻辑
文章目录 文章介绍效果图AnalogPage.qml结构图调用 SerialPortHandler.sendData(message); serialporthandler.cpp 文章介绍 之前的6步实现了案例MF的界面设计和串口界面的逻辑设计，本文将实现模拟量界面的逻辑设计 新增功能： 1）弹出提示框 …...
Arduino - 继电器
Arduino - 继电器 In a previous tutorial, we have learned how to turn on/off an LED. In this tutorial, we are going to learn how to turn on/off some kind of devices that use the high voltage power supply(such as a light bulb, fan, electromagnetic lock, lin…...
状态压缩DP——AcWing 327. 玉米田
状态压缩DP 定义 状态压缩 DP 是一种通过二进制压缩状态的动态规划算法。它通过使用位运算来加速状态的转移和计算，从而提高算法的效率。 注意事项 数据范围：状态压缩 DP 通常适用于数据范围较小的问题，因为它需要使用二进制来表示状态&a…...
kafka（二）安装部署（2）windows
目录 一、前提 1、jdk 2、Zookeeper 2.1、解压 2.2、创建data文件夹 2.3、配置文件 2.4、添加环境变量 2.5、启动zk：zkServer 2.6、客户端 3、Scala 3.1、下载安装 3.2、配置环境变量 3.3、验证是否安装成功 二、kafka下载安装 1、下载 2、安装 2.1…...
)
aliplayer Server returned 403 Forbidden (access denied)
最近在接入阿里云播放器的sdk,项目的播放地址是m3u8的,h265的url 输入播放源以后播放报错,提示403,拒绝访问,起初以为是crt路径问题和key的问题,然后检查了以后没问题,后来又看了一下是不是白名单的问题,但是项目资源没通过阿里云平台存储 AVPUrlSource *source [[AVPUrlSou…...
单例模式（下）
文章目录 文章介绍步骤安排及单例讲解step1：注册单例类型（main.cpp）step2：定义类和私有构造函数（keyboardinputmanager.h）step3:（keyboardinputmanager.cpp）step4：在qml中…...
合约期VS优惠期，搞明白他们的区别才能避免很多坑！
在购买流量卡时，相信大家也都发现了，市面上的不少套餐都是有合约期和优惠期的，尤其是联通和移动，那么，什么是合约期？什么又是优惠期呢？ 其实，目前很多在网上办理的大流量卡都是有…...
函数式反应式编程（FRP）在Scala中的实践与探索
函数式反应式编程（Functional Reactive Programming，简称FRP）是一种编程范式，它结合了函数式编程（Functional Programming，FP）的声明式特性和反应式编程（Reactive Programming&#…...
NGINX配置web文件服务
一、需求描述 系统需要提供文件（pdf、图片）等上传后支持预览功能。 二、实现方式 2.1 文件权限配置 chmod arwx -R public/chmod 是更改文件权限的命令。-R 是递归选项，表示更改目录及其所有子目录和文件的权限。arwx 是权限设置…...
deepspeed docker集群实现多机多卡训练----问题记录及解决方案资源汇总
. Docker中实现Deepspeed多机多卡训练 【掘金-雨田君的记事本】docker容器中deepspeed多机多卡集群分布式训练大模型 . 问题记录及解决方案资源汇总 问题1：deepspeed socketStartConnect: Connect to 172.18.0.3<54379> failed : Software caused connectio…...
恢复 IntelliJ IDEA 中消失的菜单栏
要恢复 IntelliJ IDEA 中消失的菜单栏，可以按照以下简单步骤操作： 使用快捷键打开搜索：首先，双击 Shift 键打开全局搜索对话框。 搜索“Menu”：在搜索框中输入 menu，然后从搜索结果中选择与“Main Menu”相…...
[Java恶补day16] 238.除自身以外数组的乘积
给你一个整数数组 nums，返回 数组 answer ，其中 answer[i] 等于 nums 中除 nums[i] 之外其余各元素的乘积 。 题目数据 保证 数组 nums之中任意元素的全部前缀元素和后缀的乘积都在 32 位 整数范围内。 请 不要使用除法，且在 O(n) 时间复杂度…...
pikachu靶场通关笔记22-1 SQL注入05-1-insert注入(报错法)
目录 一、SQL注入 二、insert注入 三、报错型注入 四、updatexml函数 五、源码审计 六、insert渗透实战 1、渗透准备 2、获取数据库名database 3、获取表名table 4、获取列名column 5、获取字段 本系列为通过《pikachu靶场通关笔记》的SQL注入关卡(共10关࿰…...
Unity | AmplifyShaderEditor插件基础（第七集：平面波动shader）
目录 一、👋🏻前言 二、😈sinx波动的基本原理 三、😈波动起来 1.sinx节点介绍 2.vertexPosition 3.集成Vector3 a.节点Append b.连起来 4.波动起来 a.波动的原理 b.时间节点 c.sinx的处理 四、🌊波动优化…...
laravel8+vue3.0+element-plus搭建方法
创建 laravel8 项目 composer create-project --prefer-dist laravel/laravel laravel8 8.* 安装 laravel/ui composer require laravel/ui 修改 package.json 文件 "devDependencies": {"vue/compiler-sfc": "^3.0.7","axios": …...
【Java学习笔记】BigInteger 和 BigDecimal 类
BigInteger 和 BigDecimal 类 二者共有的常见方法 方法功能add加subtract减multiply乘divide除 注意点：传参类型必须是类对象 一、BigInteger 1. 作用：适合保存比较大的整型数 2. 使用说明 创建BigInteger对象 传入字符串 3. 代码示例 import j…...
Python Ovito统计金刚石结构数量
大家好，我是小马老师。 本文介绍python ovito方法统计金刚石结构的方法。 Ovito Identify diamond structure命令可以识别和统计金刚石结构，但是无法直接输出结构的变化情况。 本文使用python调用ovito包的方法，可以持续统计各步的金刚石结构，具体代码如下： from ovito…...
用递归算法解锁「子集」问题 —— LeetCode 78题解析
文章目录 一、题目介绍二、递归思路详解：从决策树开始理解三、解法一：二叉决策树 DFS四、解法二：组合式回溯写法（推荐）五、解法对比 递归算法是编程中一种非常强大且常见的思想，它能够优雅地解决很多复杂的…...
板凳-------Mysql cookbook学习 （十--2）
5.12 模式匹配中的大小写问题 mysql> use cookbook Database changed mysql> select a like A, a regexp A; ------------------------------ | a like A | a regexp A | ------------------------------ | 1 | 1 | --------------------------…...
分享今天做的力扣SQL题
其实做之前就打算分享的，但是做完又不想分享了。。。结果没几分钟，还是，写一下吧。我就当各位是监督我的。 说一下，这是第一天做SQL题，虽然我也是软件工程专业，但是学的本来就不好，又忘了个差不…...
FPGA点亮ILI9488驱动的SPI+RGB接口LCD显示屏（一）
FPGA点亮ILI9488驱动的SPIRGB接口LCD显示屏 ILI9488 RGB接口初始化 目录 前言 一、ILI9488简介 二、3线SPI接口简介 三、配置寄存器介绍 四、手册和初始化verilog FPGA代码 总结 前言 ILI9488是一款广泛应用于嵌入式系统和电子设备的彩色TFT LCD显示控制器芯片。本文将介…...