datasets库之load_dataset
目录
- 问题
- 解决方案
问题
使用peft用lora微调blip2时用到了一个足球数据集，如下：
原始代码如下
dataset = load_dataset("ybelkada/football-dataset", split="train")
然而这需要梯子才能下载，服务器较难用VPN所以使用autodl的学术加速，然而下载后是这样的
下载后和源数据不一样，服务器端代码无法直接加载autodl解析的数据，并且直接从网页下载源数据集不能像预训练模型那样直接加载。
解决方案
将源数据下载到本地，并执行下面一行代码：
dataset = load_dataset('parquet', data_files='/home/mayunchuan/.cache/huggingface/datasets/ybelkada/football-dataset/data/train-00000-of-00001-fc7c825a21687306.parquet',split='train')
即可加载，注意datasets的版本，低版本的无法加载本地数据，我用的datasets版本是3.1.0，解析的数据如下
加载后的数据可以保存到disk上:
dataset.save_to_disk('your path')
下次可以直接调用
# 从磁盘加载数据集
dataset = load_from_disk(dataset_path)
也可以直接加载解析的数据
train_dataset_path = "/home/mayunchuan/.cache/huggingface/datasets/parquet/default-d3b5e02210aa68e5/0.0.0/2a3b91fbd88a2c90d1dbbb32b460cf621d31bd5b05b934492fdef7d8d6f236ec"
dataset = load_dataset(train_dataset_path, split="train")
另外，加不加split都不会影响数据集的解析，如果不加split=‘train’:
加了:
相关文章：
datasets库之load_dataset
目录 问题解决方案 问题 使用peft用lora微调blip2时用到了一个足球数据集，如下： 原始代码如下 dataset load_dataset("ybelkada/football-dataset", split"train")然而这需要梯子才能下载，服务器较难用VPN所以使用au…...
React Router常见面试题目
1. React Router 支持哪几种模式? React Router 支持以下两种主要模式： BrowserRouter (基于 HTML5 History API 的模式) 原理： 利用 history.pushState 和 history.replaceState 操作浏览器历史栈，无需重新加载页面。URL 看起来像传统 URL…...
sequelize-cli 封装登录接口
node ORM （sequelize）使用、查询、验证及express 基础框架的搭建及实例的使用 一、思路 第一步：肯定是用户要向接口传递邮箱、账号和密码了。 第二步：接口这边，先要验证。因为这里不是往数据库里存储数据，…...
使用 Elasticsearch 查询和数据同步的实现方法
在开发过程中，将数据从数据库同步到 Elasticsearch (ES) 是常见的需求之一。本文将重点介绍如何通过 Python 脚本将数据库中的数据插入或更新到 Elasticsearch，并基于多字段的唯一性来判断是否执行插入或更新操作。此外，我们还将深入探讨如何…...
QTday1作业设置简易登录界面
代码 #include "mywidget.h"MyWidget::MyWidget(QWidget *parent): QWidget(parent) {//创建一个标签QLabel *lab1 new QLabel(this);//重新设置大小lab1->resize(1925,1080);//用动图类QMovie实例化一个动图QMovie *mv new QMovie("C:\\Users\\MR\\Deskto…...
RC低通滤波器和LR低通滤波器，LC低通滤波器该怎么选择
这是RC低通滤波器利用电容两端的电压不能突变可以滤除高频噪声 这是LR低通滤波器利用流过电感的电流不能突变也可以滤除高频噪声 那么问题来了两个低通滤波器，该怎么选择呢还是随便选一个就好？ RC电路：因为电流电阻会发热耗能，所…...
芯旺微KF32A156芯片ADC配置
使用芯旺微KF32A156的芯片做预研项目，使用了ADC0外设，根据芯片规格书中的描述进行了配置： /*** brief: Configure ADC.** param[in] none.* param[in] none.* param[out] None* retval: None*/ static void adc_peripheral_init(void) …...
【Token】校验、会话技术、登录请求、拦截器【期末实训】实战项目学生和班级管理系统\Day15-后端Web实战(登录认证)\讲义
登录认证 在前面的课程中，我们已经实现了部门管理、员工管理的基本功能，但是大家会发现，我们并没有登录，就直接访问到了Tlias智能学习辅助系统的后台。 这是不安全的，所以我们今天的主题就是登录认证。 最终我们要实现…...
[Unity Shader] 【游戏开发】【图形渲染】Shader数学基础3：矢量与标量的乘法与除法详解
在计算机图形学和Shader编程中，矢量（Vector）运算是非常基础的数学知识。其中，矢量与标量（Scalar）的乘法与除法是常见的操作。本篇文章将通过详细分析，以及实例讲解矢量和标量的乘除法运算，帮助大家更好地理解并应用到实际开发中。 什么是矢量与标量？ 在开始具体运算之…...
javalock（四）AQS派生类之Semphore逐行注释
简单概括： Semphore是一把共享锁（即读锁），即实现了AQS的tryAcquireShared&&tryReleaseShared函数Semphore的逻辑是这样： 创建semphore的时候会初始化一个锁容量即permits，即最多同时允许permits个…...
【C语言】头文件”“和＜＞的详解
前言 作者在刚开始学C语言的时候，都是用的< >去引用头文件，但在学习STM32的时候发现，程序中大量使用" "去引用双引号。 那么二者有什么区别呢? 无论使用哪种方式，头文件的目的都是为了引用你需要的文件供你编程使…...
Elasticsearch：什么是信息检索？
信息检索定义 信息检索 (IR) 是一种有助于从大量非结构化或半结构化数据中有效、高效地检索相关信息的过程。信息（IR）检索系统有助于搜索、定位和呈现与用户的搜索查询或信息需求相匹配的信息。 作为信息访问的主要形式，信息检索是每天使用…...
Spark-Streaming容错语义
一、背景 为了理解Spark Streaming提供的语义，我们先回顾西Spark RDD的基本容错语义学。 RDD是一个不可变的、确定性可重新计算的分布式数据集。每个RDD都记住在容错输入数据集上用于创建它的确定性操作的沿袭。如果RDD的任何分区由于工作节点故障而丢失ÿ…...
2024年12月陪玩系统-仿东郊到家约玩系统是一种新兴的线上预约线下社交、陪伴系统分享-优雅草央千澈-附带搭建教程
2024年12月陪玩系统-仿东郊到家约玩系统是一种新兴的线上预约线下社交、陪伴系统分享-优雅草央千澈-附带搭建教程 产品介绍 仿东郊到家约玩系统是一种新兴的线上预约，线下社交、陪伴、助娱、助攻、分享、解答、指导等服务模式，范围涉及电竞、运动、音乐…...
GUI07-学工具栏，懂MVC
MVC模式，是天底下编写GUI程序最为经典、实效的一种软件架构模式。当一个人学完菜单栏、开始学习工具栏时，就是他的一生中，最适合开始认识 MVC 模式的好时机之一。这节将安排您学习： Model-View-Controller 模式如何创建工具栏以及…...
【进程篇】04.进程的状态与优先级
一、进程的状态 1.1 进程的状态 1.1.1 并行与并发 • 并行: 多个进程在多个CPU下分别，同时进行运行 • 并发: 多个进程在一个CPU下采用进程切换的方式，在一个时间片内，让多个进程都得以推进 1.1.2 时间片的概念 LInux/windows这些民用级别…...
ElasticSearch 数据聚合与运算
1、数据聚合 聚合（aggregations）可以让我们极其方便的实现数据的统计、分析和运算。实现这些统计功能的比数据库的 SQL 要方便的多，而且查询速度非常快，可以实现近实时搜索效果。 注意： 参加聚合的字段必须是 keywor…...
科研学习|论文解读——智能体最新研究进展
从2024-12-13到2024-12-18的45篇文章中精选出5篇优秀的工作分享 Can Modern LLMs Act as Agent Cores in Radiology~Environments? Achieving Collective Welfare in Multi-Agent Reinforcement Learning via Suggestion Sharing A systematic review of norm emergence in …...
面试小札：Java后端闪电五连鞭_8
1. Kafka消息模型及其组成部分 - 消息（Message）：是Kafka中最基本的数据单元。消息包含一个键（key）、一个值（value）和一个时间戳（timestamp）。键可以用于对消息进行分区等…...
java error（2）保存时间带时分秒，回显时分秒变成00:00:00
超简单，顺带记录一下 1.入参实体类上使用注释：JsonFormat(pattern “yyyy-MM-dd”) 导致舍弃了 时分秒的部分。 2.数据库字段对应的类型是 date。date就是日期，日期就不带时分秒。 3.返参实体类使用了JsonFormat(pattern “yyyy-MM-dd”) 导…...
【Linux】shell脚本忽略错误继续执行
在 shell 脚本中，可以使用 set -e 命令来设置脚本在遇到错误时退出执行。如果你希望脚本忽略错误并继续执行，可以在脚本开头添加 set e 命令来取消该设置。 举例1 #!/bin/bash# 取消 set -e 的设置 set e# 执行命令，并忽略错误 rm somefile…...
逻辑回归：给不确定性划界的分类大师
想象你是一名医生。面对患者的检查报告（肿瘤大小、血液指标），你需要做出一个**决定性判断**：恶性还是良性？这种“非黑即白”的抉择，正是**逻辑回归（Logistic Regression）** 的战场&a…...
以下是对华为 HarmonyOS NETX 5属性动画（ArkTS）文档的结构化整理，通过层级标题、表格和代码块提升可读性：
一、属性动画概述NETX 作用：实现组件通用属性的渐变过渡效果，提升用户体验。支持属性：width、height、backgroundColor、opacity、scale、rotate、translate等。注意事项： 布局类属性（如宽高）变化时&#…...
3.3.1_1 检错编码（奇偶校验码）
从这节课开始，我们会探讨数据链路层的差错控制功能，差错控制功能的主要目标是要发现并且解决一个帧内部的位错误，我们需要使用特殊的编码技术去发现帧内部的位错误，当我们发现位错误之后，通常来说有两种解决方案。第一…...
java 实现excel文件转pdf | 无水印 | 无限制
文章目录 目录 文章目录 前言 1.项目远程仓库配置 2.pom文件引入相关依赖 3.代码破解 二、Excel转PDF 1.代码实现 2.Aspose.License.xml 授权文件 总结 前言 java处理excel转pdf一直没找到什么好用的免费jar包工具，自己手写的难度，恐怕高级程序员花费一年的事件，也…...
Nuxt.js 中的路由配置详解
Nuxt.js 通过其内置的路由系统简化了应用的路由配置，使得开发者可以轻松地管理页面导航和 URL 结构。路由配置主要涉及页面组件的组织、动态路由的设置以及路由元信息的配置。 自动路由生成 Nuxt.js 会根据 pages 目录下的文件结构自动生成路由配置。每个文件都会对…...
MySQL用户和授权
开放MySQL白名单 可以通过iptables-save命令确认对应客户端ip是否可以访问MySQL服务： test: # iptables-save | grep 3306 -A mp_srv_whitelist -s 172.16.14.102/32 -p tcp -m tcp --dport 3306 -j ACCEPT -A mp_srv_whitelist -s 172.16.4.16/32 -p tcp -m tcp -…...
CSS设置元素的宽度根据其内容自动调整
width: fit-content 是 CSS 中的一个属性值，用于设置元素的宽度根据其内容自动调整，确保宽度刚好容纳内容而不会超出。 效果对比 默认情况（width: auto）： 块级元素（如 <div>）会占满父容器…...
视觉slam十四讲实践部分记录——ch2、ch3
ch2 一、使用g++编译.cpp为可执行文件并运行(P30) g++ helloSLAM.cpp ./a.out运行 二、使用cmake编译 mkdir build cd build cmake .. makeCMakeCache.txt 文件仍然指向旧的目录。这表明在源代码目录中可能还存在旧的 CMakeCache.txt 文件，或者在构建过程中仍然引用了旧的路…...
在 Spring Boot 中使用 JSP
jsp？ 好多年没用了。重新整一下 还费了点时间，记录一下。 项目结构： pom: <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://ww…...