当前位置: 首页 > news >正文

【Week Y2】使用自己的数据集训练YOLO-v5s

Y2-使用自己的数据集训练YOLO-v5s

  • 零、遇到的问题汇总
    • (1)遇到git的`import error`
    • (2)`Error:Dataset not found`
    • (3)`Error:删除中文后,训练图片路径不存在`
  • 一、.xml文件里保存的是什么
  • 二、准备好自己的数据
  • 三、创建split_train_val.py 文件,运行并生成 train.txt、test.txt、val.txt
    • (1)在yolov5-master工程内,新建一个.py文件,并命名为`split_train_val.py`:
    • (2)将以下代码写入该文件,设置自己的`.xml`和`.txt`文件路径:
    • (3)然后执行该文件,就得到下面的结果:
    • (4)创建`voc_label.py`,填充图片路径
  • 四、创建 `fruit.yaml `文件
  • 五、开始用自己的数据集训练模型
    • (1) 输入训练指令
    • (2)查看训练结果

本文使用水果数据集、CPU进行训练,包含200张图像,水果类别分为4类, Banana、Snake fruit、Dragon fruit和Pineapple

本文先列出执行过程中遇到的问题以及解决办法,再将执行步骤一一说明,给出的代码是我修改过后的最终的代码。

需要注意的是:!!!文件路径不要包含中文!!!

零、遇到的问题汇总

(1)遇到git的import error

参考【这里】解决:
在这里插入图片描述
找到提示报错的路径d:\jupyter notebook\365-DL\.venv\Lib\site-packages\git\cmd.py,然后在该文件中添加一行:

os.environ['GIT_PYTHON_REFRESH'] = 'quiet'

(2)Error:Dataset not found

在这里插入图片描述
路径中含有中文,删除中文。

(3)Error:删除中文后,训练图片路径不存在

在这里插入图片描述
split_train_val.pyvoc_label.py生成的所有文件删除,重新生成。【注意检查路径】

如下所示:
注意abs_path的路径,本文的图像路径为D:\jupyter notebook\365-DL\YOLO\Y2\yolov5-master\Y2-fruit_data\images\*.png,而abs_path=D:\jupyter notebook\365-DL\YOLO\Y2\yolov5-master
在这里插入图片描述

一、.xml文件里保存的是什么

annotations/文件夹里,打开任意一个.xml文件,这里打开fruit0.xml,文件内容如下:
注意每个标签组内的信息,后续voc_label.py文件会提取这些信息。


<annotation><folder>images</folder><filename>fruit0.png</filename><size><width>400</width><height>300</height><depth>3</depth></size><segmented>0</segmented><object><name>pineapple</name><pose>Unspecified</pose><truncated>0</truncated><occluded>0</occluded><difficult>0</difficult><bndbox><xmin>38</xmin><ymin>82</ymin><xmax>271</xmax><ymax>227</ymax></bndbox></object><object><name>snake fruit</name><pose>Unspecified</pose><truncated>0</truncated><occluded>0</occluded><difficult>0</difficult><bndbox><xmin>244</xmin><ymin>174</ymin><xmax>280</xmax><ymax>207</ymax></bndbox></object><object><name>dragon fruit</name><pose>Unspecified</pose><truncated>0</truncated><occluded>0</occluded><difficult>0</difficult><bndbox><xmin>254</xmin><ymin>228</ymin><xmax>351</xmax><ymax>300</ymax></bndbox></object>
</annotation>

二、准备好自己的数据

本次使用水果数据集,数据集包含200张图片,每张图片包含4种不同类别的水果:Banana、Snake fruit、Dragon fruit和Pineapple
在这里插入图片描述

三、创建split_train_val.py 文件,运行并生成 train.txt、test.txt、val.txt

执行split_train_val.py前的文件结构:
在这里插入图片描述

(1)在yolov5-master工程内,新建一个.py文件,并命名为split_train_val.py

在这里插入图片描述

(2)将以下代码写入该文件,设置自己的.xml.txt文件路径:

# 导入必要的库
# 导入必要的库
import os
import random
import argparse# 创建一个参数解析器
parser = argparse.ArgumentParser()# 添加命令行参数,用于指定XML文件的路径,默认为“Annotations”文件夹
parser.add_argument('--xml_path', default='D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/annotations/', type=str, help='input xml label path')# 添加命令行参数,用于指定txt标签文件的路径,默认为“ImageSets/Main”文件夹
parser.add_argument('--txt_path', default='D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/ImageSets/Main', type=str, help='output txt label path')# 解析命令行参数
opt = parser.parse_args()# 定义训练验证和测试集的划分比例
trainval_percent = 1.0  # 使用全部数据
train_percent = 0.9     # 训练集占验证集的90%# 设置xml文件的路径,并根据命令行参数指定
xmlfilepath = opt.xml_path
print("xmlfilepath: ", xmlfilepath)# 设置txt文件的路径,并根据命令行参数指定
txtfilepath = opt.txt_path# 获取xml文件夹中的所有xml文件列表
total_xml = os.listdir(xmlfilepath)# 如果输出txt标签文件的文件夹不存在,创建它
if not os.path.exists(txtfilepath):os.makedirs(txtfilepath)# 获取xml文件的总数
num = len(total_xml)# 创建一个包含所有xml文件索引的列表
list_index = range(num)# 计算训练验证集的数量
tv = int(num*trainval_percent)# 计算训练集的数量
tr = int(num*train_percent)# 从所有xml文件索引中随机选择出训练验证集的索引
trainval = random.sample(list_index, tv)# 从训练验证集的索引中随机选择出训练集的索引
train = random.sample(list_index, tr)# 打开要写入的训练验证集、测试集、训练集、验证集的txt文件
file_trainval = open(txtfilepath + '/trainval.txt', 'w')
file_test = open(txtfilepath + '/test.txt', 'w')
file_train = open(txtfilepath + '/train.txt', 'w')
file_val = open(txtfilepath + '/val.txt', 'w')# 遍历所有xml文件的索引
for i in list_index:name = total_xml[i][:-4] + '\n' # 获取所有文件的名称(去掉后缀.xml),并添加换行符# 如果该索引在训练验证集中, 写入训练验证集txt文件,否则写入测试集txt文件if i in trainval:    file_trainval.write(name) # if i in train: # 如果该索引在训练集中, 写入训练集txt文件,否则写入验证集txt文件file_train.write(name)else:file_val.write(name)else:file_test.write(name)# 关闭所有打开的文件
file_trainval.close()
file_train.close()
file_val.close()
file_test.close()

(3)然后执行该文件,就得到下面的结果:

在这里插入图片描述
打开任意一个文件,查看内容:【此处打开val.txt,文件内保存的是个文件名】
在这里插入图片描述

(4)创建voc_label.py,填充图片路径

voc_label.py代码如下:

# 导入必要的库
import xml.etree.ElementTree as ET
import os
from os import getcwd
# 定义数据集的名称
sets = ['train', 'val', 'test']
# 根据所用数据集,填写类别名称,本文使用水果数据集,包含4类,分别如下:
classes = ["banana", "snake fruit", "dragon fruit", "pineapple"]
# 获取当前工作目录的绝对路径
abs_path = os.getcwd()  # abs_path:  D:\jupyter notebook\365-DL\YOLO\Y2\yolov5-master
print("abs_path: ", abs_path)
# 定义一个函数,将边界框的坐标绝对值转换为相对于图像大小的比例
def convert(size, box):dw = 1./(size[0])  # 计算图像宽度的倒数dh = 1./(size[1])  # 计算图像高度的倒数x  = (box[0] + box[1])/ 2.0 - 1  # 计算中心点的x坐标y  = (box[2] + box[3])/ 2.0 - 1  # 计算中心点的y坐标w  = box[1] - box[0]  # 计算边界框的宽度h  = box[3] - box[2]  # 计算边界框的高度x  = x * dw  # 缩放x坐标w  = w * dw  # 缩放宽度y  = y * dh  # 缩放y坐标h  = h * dh  # 缩放高度return x,y,w,h# 定义一个函数,将标注文件从xml格式转为YOLO格式
dir = "D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/"
def convert_annotations(image_id):# 打开xml标注文件in_file = open(dir + "annotations/%s.xml" % (image_id), encoding='UTF-8') # 打开要写入的YOLO格式标签文件out_file = open(dir + "labels/%s.txt" % (image_id), 'w')# 解析xml文件tree = ET.parse(in_file)root = tree.getroot()# 获取图像文件名filename = root.find('filename').text# 获取图像文件格式filenameFormat = filename.split(".")[1]# 获取图像尺寸信息size = root.find('size')# 获取图像的宽、高w = int(size.find('width').text)h = int(size.find('height').text)for obj in root.iter('object'):# 获取对象的难度标志difficult = obj.find('difficult').text# 获取对象的类别名称cls = obj.find('name').textif cls not in classes or int(difficult)==1:continue# 获取类别索引cls_id = classes.index(cls)# 获取对象的边界框信息,包括:左上角x坐标、左上角y坐标、右下角x坐标、右下角y坐标xmlbox = obj.find('bndbox')b = ( float(xmlbox.find('xmin').text),float(xmlbox.find('xmax').text),float(xmlbox.find('ymin').text),float(xmlbox.find('ymax').text) )b1,b2,b3,b4 = b# 标注越界修正if b2 > w:b2 = wif b4 > h:b4 = hb = (b1,b2,b3,b4)# 调用convert()函数,将边界框坐标转换为YOLO格式bb = convert((w,h), b)out_file.write(str(cls_id)+" " + " ".join([str(a) for a in bb]) + "\n")return filenameFormat
# 获取当前工作目录
wd = getcwd()
# 遍历每个数据集(train、val、test)
for image_set in sets:# 如果labels目录不存在,就创建它if not os.path.exists(dir + "labels/"):os.makedirs(dir + "labels/")# 从数据集文件中获取图像id列表image_ids = open(dir + "ImageSets/Main/%s.txt" % (image_set)).read().strip().split()# 打开要写入的文件,写入图像文件路径和格式list_file = open(dir + "ImageSets/Main/%s.txt" % (image_set), 'w')for image_id in image_ids:filenameFormat = convert_annotations(image_id)list_file.write(abs_path + '/Y2-fruit_data/images/%s.%s\n' % (image_id,filenameFormat))list_file.close()

执行后得到结果:
在这里插入图片描述

四、创建 fruit.yaml 文件

新建fruit.yaml 文件:

train: D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/ImageSets/Main/train.txt
val: D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/ImageSets/Main/val.txt# number of classes
nc: 4# class names
names: ["banana", "snake fruit", "dragon fruit", "pineapple"]

五、开始用自己的数据集训练模型

(1) 输入训练指令

由于本机没有GPU,所以执行:python .\train.py --img 900 --batch 2 --epoch 100 --data .\fruit.yaml --cfg .\models\yolov5s.yaml --weights .\yolov5s.pt --device cpu
在这里插入图片描述

如果有GPU,则执行:python .\train.py --img 900 --batch 2 --epoch 100 --data .\fruit.yaml --cfg .\models\yolov5s.yaml --weights .\yolov5s.pt --device '0'

执行命令后,出现如下提示,表明训练进行中,等待训练完成,查看训练结果。
在这里插入图片描述
在这里插入图片描述

(2)查看训练结果

在这里插入图片描述
如图中所示,使用YOLO-v5s训练本文的数据集:

  • a. 100个epoch需要的时间是3.382小时
  • b. YOLOv5s 网络结构: 157 层, 参数量是7020913 , 梯度是0 , GFLOPs是15.8
  • c. 还显示了类别的训练结果,包括P-R值、mAP50的值
  • d. 训练结果保存在runs\train\exp7,在该路径下生成了许多文件:
  • 在这里插入图片描述
    打开其中一张图片,如val_batch1_labels.jpg,如下图,显示了各水果的标签:
    在这里插入图片描述
    打开val_batch1_labels.jpg,则显示了带预测值的标签:
    在这里插入图片描述

相关文章:

【Week Y2】使用自己的数据集训练YOLO-v5s

Y2-使用自己的数据集训练YOLO-v5s 零、遇到的问题汇总&#xff08;1&#xff09;遇到git的import error&#xff08;2&#xff09;Error&#xff1a;Dataset not found&#xff08;3&#xff09;Error&#xff1a;删除中文后&#xff0c;训练图片路径不存在 一、.xml文件里保存…...

蓝桥杯--基础(哈夫曼)

import java.util.ArrayList; import java.util.Collections; import java.util.List; import java.util.Scanner;public class BASIC28 {//哈夫曼书public static void main(String[] args) {Scanner Scannernew Scanner(System.in);int nScanner.nextInt();List<Integer&…...

【Redis内存数据库】NoSQL的特点和应用场景

前言 Redis作为当今最流行的内存数据库&#xff0c;已经成为服务端加速的必备工具之一。 NoSQL数据库采用了非关系型的数据存储模型&#xff0c;能够更好地处理海量数据和高并发访问。 内存数据库具有更快的读写速度和响应时间&#xff0c;因为内存访问速度比磁盘访问速度快…...

JavaScript基础知识2

求数组的最大值案例 let arr[2,6,1,7,400,55,88,100]let maxarr[0]let minarr[0]for(let i1;i<arr.length;i){max<arr[i]?maxarr[i]:maxmin>arr[i]?minarr[i]:min}console.log(最大值是&#xff1a;${max})console.log(最小值是&#xff1a;${min}) 操作数组 修改…...

Linux之线程同步

目录 一、问题引入 二、实现线程同步的方案——条件变量 1、常用接口&#xff1a; 2、使用示例 一、问题引入 我们再次看看上次讲到的多线程抢票的代码&#xff1a;这次我们让一个线程抢完票之后不去做任何事。 #include <iostream> #include <unistd.h> #inc…...

03 龙芯平台openstack部署搭建-keystone部署

#!/bin/bash #创建keystone数据库并授权&#xff0c;可通过mysql -ukeystone -ploongson验证授权登录 mysql -uroot -e “set password for rootlocalhost password(‘loongson’);” mysql -uroot -ploongson -e ‘CREATE DATABASE keystone;’ #本地登录 mysql -uroot -ploo…...

定义了服务器的端口号和Servlet的上下文路径

server: port: 1224 servlet: context-path: /applet 这个配置定义了服务器的端口号和Servlet的上下文路径。 下面是配置的解释&#xff1a; server.port: 1224&#xff1a;这表示服务器应该监听在1224端口上。server.servlet.context-path: /applet&#xff1a;这表…...

AI论文速读 | UniST:提示赋能通用模型用于城市时空预测

本文是时空领域的统一模型——UniST&#xff0c;无独有偶&#xff0c;时序有个统一模型新工作——UniTS&#xff0c;感兴趣的读者也可以阅读今天发布的另外一条。 论文标题&#xff1a;UniST: A Prompt-Empowered Universal Model for Urban Spatio-Temporal Prediction 作者&…...

rabbitmq-spring-boot-start配置使用手册

rabbitmq-spring-boot-start配置使用手册 文章目录 1.yaml配置如下2.引入pom依赖如下2.1 引入项目resources下libs中的jar包依赖如下2.2引入maven私服依赖如下 3.启动类配置如下4.项目中测试发送消息如下5.项目中消费消息代码示例6.mq管理后台交换机队列创建及路由绑定关系如下…...

操作系统知识-操作系统作用+进程管理-嵌入式系统设计师备考笔记

0、前言 本专栏为个人备考软考嵌入式系统设计师的复习笔记&#xff0c;未经本人许可&#xff0c;请勿转载&#xff0c;如发现本笔记内容的错误还望各位不吝赐教&#xff08;笔记内容可能有误怕产生错误引导&#xff09;。 本章的主要内容见下图&#xff1a; 1、操作系统的作用…...

Go语言中的锁与管道的运用

目录 1.前言 2.锁解决方案 3.管道解决方案 4.总结 1.前言 在写H5小游戏的时候&#xff0c;由于需要对多个WebSocket连接进行增、删、查的管理和对已经建立连接的WebSocket通过服务端进行游戏数据交换的需求。于是定义了一个全局的map集合进行连接的管理&#xff0c;让所有…...

前端 - 基础 表单标签 -- 表单元素( input - type属性) 文本框和密码框

表单元素 &#xff1a; 在表单域中可以定义各种表单元素&#xff0c;这些表单元素就是允许用户在表单中输入或选择 的内容控件。 表单元素的外观也各不一样&#xff0c;有小圆圈&#xff0c;有正方形&#xff0c;也有方框&#xff0c;乱七八糟的&#xff0c;各种各样&#xf…...

关于MySQL模糊搜索不区分大小写

在我们日常使用ORM框架进行模糊查询时&#xff0c;会发现&#xff0c;搜索的结果是不区分关键字的英文大小写的&#xff0c;那这是为什么呢&#xff1f; 原因是MySQL的like本就不区分大小写&#xff1b;如果在建表的时候&#xff0c;没有设置好字段区分大小 //包含j和J的都会被…...

论文阅读——MoCo

Momentum Contrast for Unsupervised Visual Representation Learning 动量在数学上理解为加权移动平均&#xff1a; yt-1是上一时刻输出&#xff0c;xt是当前时刻输入&#xff0c;m是动量&#xff0c;不想让当前时刻输出只依赖于当前时刻的输入&#xff0c;m很大时&#xff0…...

ARM 寄存器学习:(一)arm多种模式下得寄存器

一.ARM7种状态以及每种状态的寄存器&#xff1a; ARM 处理器共有 7 种不同的处理器模式&#xff0c;在每一种处理器模式中可见的寄存器包括 15 个通用寄存器( R0~R14)、一个或两个(User和Sys不是异常模式&#xff0c;没有spsr寄存器)状态寄存器&#xff08;cpsr和spsr&…...

【nfs报错】rpc mount export: RPC: Unable to receive; errno = No route to host

NFS错误 问题现象解决方法 写在前面 这两天搭建几台服务器&#xff0c;需要使用nfs服务&#xff0c;于是六台选其一做服务端&#xff0c;其余做客户端&#xff0c;搭建过程写在centos7离线搭建NFS共享文件&#xff0c;但是访问共享时出现报错&#xff1a;rpc mount export: RPC…...

备战蓝桥杯---牛客寒假训练营2VP

题挺好的&#xff0c;收获了许多 1.暴力枚举&#xff08;许多巧妙地处理细节方法&#xff09; n是1--9,于是我们可以直接暴力&#xff0c;对于1注意特判开头0但N&#xff01;1&#xff0c;对于情报4&#xff0c;我们可以把a,b,c,d的所有取值枚举一遍&#xff0c;那么如何判断有…...

QCustomPlot-绘制X轴为日期的折线图

主要代码如下&#xff1a; void Widget::InitQLineXDateAddData() {customPlot new QCustomPlot(this);// 创建日期时间类型的刻度生成器QSharedPointer<QCPAxisTickerDateTime> dateTimeTicker(new QCPAxisTickerDateTime);dateTimeTicker->setDateTimeFormat(&quo…...

腾讯春招后端一面(算法篇)

前言&#xff1a; 哈喽大家好&#xff0c;前段时间在小红书和牛客上发了面试的经验贴&#xff0c;很多同学留言问算法的具体解法&#xff0c;今天就详细写个帖子回复大家。 因为csdn是写的比较详细&#xff0c;所以更新比较慢&#xff0c;大家见谅~~ 就题目而言&#xff0c;…...

Filebeat rpm方式安装及配置

一、使用服务器root用户、filebeat8.11.1版本,rpm安装方式进行安装 curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.11.1-x86_64.rpm sudo rpm -vi filebeat-8.11.1-x86_64.rpm 二、配置核心的采集文件、使用inputs热更方式、配置filebeat本身…...

华为云AI开发平台ModelArts

华为云ModelArts&#xff1a;重塑AI开发流程的“智能引擎”与“创新加速器”&#xff01; 在人工智能浪潮席卷全球的2025年&#xff0c;企业拥抱AI的意愿空前高涨&#xff0c;但技术门槛高、流程复杂、资源投入巨大的现实&#xff0c;却让许多创新构想止步于实验室。数据科学家…...

1.3 VSCode安装与环境配置

进入网址Visual Studio Code - Code Editing. Redefined下载.deb文件&#xff0c;然后打开终端&#xff0c;进入下载文件夹&#xff0c;键入命令 sudo dpkg -i code_1.100.3-1748872405_amd64.deb 在终端键入命令code即启动vscode 需要安装插件列表 1.Chinese简化 2.ros …...

学习STC51单片机31(芯片为STC89C52RCRC)OLED显示屏1

每日一言 生活的美好&#xff0c;总是藏在那些你咬牙坚持的日子里。 硬件&#xff1a;OLED 以后要用到OLED的时候找到这个文件 OLED的设备地址 SSD1306"SSD" 是品牌缩写&#xff0c;"1306" 是产品编号。 驱动 OLED 屏幕的 IIC 总线数据传输格式 示意图 …...

uniapp中使用aixos 报错

问题&#xff1a; 在uniapp中使用aixos&#xff0c;运行后报如下错误&#xff1a; AxiosError: There is no suitable adapter to dispatch the request since : - adapter xhr is not supported by the environment - adapter http is not available in the build 解决方案&…...

Android 之 kotlin 语言学习笔记三(Kotlin-Java 互操作)

参考官方文档&#xff1a;https://developer.android.google.cn/kotlin/interop?hlzh-cn 一、Java&#xff08;供 Kotlin 使用&#xff09; 1、不得使用硬关键字 不要使用 Kotlin 的任何硬关键字作为方法的名称 或字段。允许使用 Kotlin 的软关键字、修饰符关键字和特殊标识…...

精益数据分析(97/126):邮件营销与用户参与度的关键指标优化指南

精益数据分析&#xff08;97/126&#xff09;&#xff1a;邮件营销与用户参与度的关键指标优化指南 在数字化营销时代&#xff0c;邮件列表效度、用户参与度和网站性能等指标往往决定着创业公司的增长成败。今天&#xff0c;我们将深入解析邮件打开率、网站可用性、页面参与时…...

GC1808高性能24位立体声音频ADC芯片解析

1. 芯片概述 GC1808是一款24位立体声音频模数转换器&#xff08;ADC&#xff09;&#xff0c;支持8kHz~96kHz采样率&#xff0c;集成Δ-Σ调制器、数字抗混叠滤波器和高通滤波器&#xff0c;适用于高保真音频采集场景。 2. 核心特性 高精度&#xff1a;24位分辨率&#xff0c…...

视觉slam十四讲实践部分记录——ch2、ch3

ch2 一、使用g++编译.cpp为可执行文件并运行(P30) g++ helloSLAM.cpp ./a.out运行 二、使用cmake编译 mkdir build cd build cmake .. makeCMakeCache.txt 文件仍然指向旧的目录。这表明在源代码目录中可能还存在旧的 CMakeCache.txt 文件,或者在构建过程中仍然引用了旧的路…...

【Redis】笔记|第8节|大厂高并发缓存架构实战与优化

缓存架构 代码结构 代码详情 功能点&#xff1a; 多级缓存&#xff0c;先查本地缓存&#xff0c;再查Redis&#xff0c;最后才查数据库热点数据重建逻辑使用分布式锁&#xff0c;二次查询更新缓存采用读写锁提升性能采用Redis的发布订阅机制通知所有实例更新本地缓存适用读多…...

Java求职者面试指南:计算机基础与源码原理深度解析

Java求职者面试指南&#xff1a;计算机基础与源码原理深度解析 第一轮提问&#xff1a;基础概念问题 1. 请解释什么是进程和线程的区别&#xff1f; 面试官&#xff1a;进程是程序的一次执行过程&#xff0c;是系统进行资源分配和调度的基本单位&#xff1b;而线程是进程中的…...