当前位置: 首页 > news >正文

【Week Y2】使用自己的数据集训练YOLO-v5s

Y2-使用自己的数据集训练YOLO-v5s

  • 零、遇到的问题汇总
    • (1)遇到git的`import error`
    • (2)`Error:Dataset not found`
    • (3)`Error:删除中文后,训练图片路径不存在`
  • 一、.xml文件里保存的是什么
  • 二、准备好自己的数据
  • 三、创建split_train_val.py 文件,运行并生成 train.txt、test.txt、val.txt
    • (1)在yolov5-master工程内,新建一个.py文件,并命名为`split_train_val.py`:
    • (2)将以下代码写入该文件,设置自己的`.xml`和`.txt`文件路径:
    • (3)然后执行该文件,就得到下面的结果:
    • (4)创建`voc_label.py`,填充图片路径
  • 四、创建 `fruit.yaml `文件
  • 五、开始用自己的数据集训练模型
    • (1) 输入训练指令
    • (2)查看训练结果

本文使用水果数据集、CPU进行训练,包含200张图像,水果类别分为4类, Banana、Snake fruit、Dragon fruit和Pineapple

本文先列出执行过程中遇到的问题以及解决办法,再将执行步骤一一说明,给出的代码是我修改过后的最终的代码。

需要注意的是:!!!文件路径不要包含中文!!!

零、遇到的问题汇总

(1)遇到git的import error

参考【这里】解决:
在这里插入图片描述
找到提示报错的路径d:\jupyter notebook\365-DL\.venv\Lib\site-packages\git\cmd.py,然后在该文件中添加一行:

os.environ['GIT_PYTHON_REFRESH'] = 'quiet'

(2)Error:Dataset not found

在这里插入图片描述
路径中含有中文,删除中文。

(3)Error:删除中文后,训练图片路径不存在

在这里插入图片描述
split_train_val.pyvoc_label.py生成的所有文件删除,重新生成。【注意检查路径】

如下所示:
注意abs_path的路径,本文的图像路径为D:\jupyter notebook\365-DL\YOLO\Y2\yolov5-master\Y2-fruit_data\images\*.png,而abs_path=D:\jupyter notebook\365-DL\YOLO\Y2\yolov5-master
在这里插入图片描述

一、.xml文件里保存的是什么

annotations/文件夹里,打开任意一个.xml文件,这里打开fruit0.xml,文件内容如下:
注意每个标签组内的信息,后续voc_label.py文件会提取这些信息。


<annotation><folder>images</folder><filename>fruit0.png</filename><size><width>400</width><height>300</height><depth>3</depth></size><segmented>0</segmented><object><name>pineapple</name><pose>Unspecified</pose><truncated>0</truncated><occluded>0</occluded><difficult>0</difficult><bndbox><xmin>38</xmin><ymin>82</ymin><xmax>271</xmax><ymax>227</ymax></bndbox></object><object><name>snake fruit</name><pose>Unspecified</pose><truncated>0</truncated><occluded>0</occluded><difficult>0</difficult><bndbox><xmin>244</xmin><ymin>174</ymin><xmax>280</xmax><ymax>207</ymax></bndbox></object><object><name>dragon fruit</name><pose>Unspecified</pose><truncated>0</truncated><occluded>0</occluded><difficult>0</difficult><bndbox><xmin>254</xmin><ymin>228</ymin><xmax>351</xmax><ymax>300</ymax></bndbox></object>
</annotation>

二、准备好自己的数据

本次使用水果数据集,数据集包含200张图片,每张图片包含4种不同类别的水果:Banana、Snake fruit、Dragon fruit和Pineapple
在这里插入图片描述

三、创建split_train_val.py 文件,运行并生成 train.txt、test.txt、val.txt

执行split_train_val.py前的文件结构:
在这里插入图片描述

(1)在yolov5-master工程内,新建一个.py文件,并命名为split_train_val.py

在这里插入图片描述

(2)将以下代码写入该文件,设置自己的.xml.txt文件路径:

# 导入必要的库
# 导入必要的库
import os
import random
import argparse# 创建一个参数解析器
parser = argparse.ArgumentParser()# 添加命令行参数,用于指定XML文件的路径,默认为“Annotations”文件夹
parser.add_argument('--xml_path', default='D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/annotations/', type=str, help='input xml label path')# 添加命令行参数,用于指定txt标签文件的路径,默认为“ImageSets/Main”文件夹
parser.add_argument('--txt_path', default='D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/ImageSets/Main', type=str, help='output txt label path')# 解析命令行参数
opt = parser.parse_args()# 定义训练验证和测试集的划分比例
trainval_percent = 1.0  # 使用全部数据
train_percent = 0.9     # 训练集占验证集的90%# 设置xml文件的路径,并根据命令行参数指定
xmlfilepath = opt.xml_path
print("xmlfilepath: ", xmlfilepath)# 设置txt文件的路径,并根据命令行参数指定
txtfilepath = opt.txt_path# 获取xml文件夹中的所有xml文件列表
total_xml = os.listdir(xmlfilepath)# 如果输出txt标签文件的文件夹不存在,创建它
if not os.path.exists(txtfilepath):os.makedirs(txtfilepath)# 获取xml文件的总数
num = len(total_xml)# 创建一个包含所有xml文件索引的列表
list_index = range(num)# 计算训练验证集的数量
tv = int(num*trainval_percent)# 计算训练集的数量
tr = int(num*train_percent)# 从所有xml文件索引中随机选择出训练验证集的索引
trainval = random.sample(list_index, tv)# 从训练验证集的索引中随机选择出训练集的索引
train = random.sample(list_index, tr)# 打开要写入的训练验证集、测试集、训练集、验证集的txt文件
file_trainval = open(txtfilepath + '/trainval.txt', 'w')
file_test = open(txtfilepath + '/test.txt', 'w')
file_train = open(txtfilepath + '/train.txt', 'w')
file_val = open(txtfilepath + '/val.txt', 'w')# 遍历所有xml文件的索引
for i in list_index:name = total_xml[i][:-4] + '\n' # 获取所有文件的名称(去掉后缀.xml),并添加换行符# 如果该索引在训练验证集中, 写入训练验证集txt文件,否则写入测试集txt文件if i in trainval:    file_trainval.write(name) # if i in train: # 如果该索引在训练集中, 写入训练集txt文件,否则写入验证集txt文件file_train.write(name)else:file_val.write(name)else:file_test.write(name)# 关闭所有打开的文件
file_trainval.close()
file_train.close()
file_val.close()
file_test.close()

(3)然后执行该文件,就得到下面的结果:

在这里插入图片描述
打开任意一个文件,查看内容:【此处打开val.txt,文件内保存的是个文件名】
在这里插入图片描述

(4)创建voc_label.py,填充图片路径

voc_label.py代码如下:

# 导入必要的库
import xml.etree.ElementTree as ET
import os
from os import getcwd
# 定义数据集的名称
sets = ['train', 'val', 'test']
# 根据所用数据集,填写类别名称,本文使用水果数据集,包含4类,分别如下:
classes = ["banana", "snake fruit", "dragon fruit", "pineapple"]
# 获取当前工作目录的绝对路径
abs_path = os.getcwd()  # abs_path:  D:\jupyter notebook\365-DL\YOLO\Y2\yolov5-master
print("abs_path: ", abs_path)
# 定义一个函数,将边界框的坐标绝对值转换为相对于图像大小的比例
def convert(size, box):dw = 1./(size[0])  # 计算图像宽度的倒数dh = 1./(size[1])  # 计算图像高度的倒数x  = (box[0] + box[1])/ 2.0 - 1  # 计算中心点的x坐标y  = (box[2] + box[3])/ 2.0 - 1  # 计算中心点的y坐标w  = box[1] - box[0]  # 计算边界框的宽度h  = box[3] - box[2]  # 计算边界框的高度x  = x * dw  # 缩放x坐标w  = w * dw  # 缩放宽度y  = y * dh  # 缩放y坐标h  = h * dh  # 缩放高度return x,y,w,h# 定义一个函数,将标注文件从xml格式转为YOLO格式
dir = "D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/"
def convert_annotations(image_id):# 打开xml标注文件in_file = open(dir + "annotations/%s.xml" % (image_id), encoding='UTF-8') # 打开要写入的YOLO格式标签文件out_file = open(dir + "labels/%s.txt" % (image_id), 'w')# 解析xml文件tree = ET.parse(in_file)root = tree.getroot()# 获取图像文件名filename = root.find('filename').text# 获取图像文件格式filenameFormat = filename.split(".")[1]# 获取图像尺寸信息size = root.find('size')# 获取图像的宽、高w = int(size.find('width').text)h = int(size.find('height').text)for obj in root.iter('object'):# 获取对象的难度标志difficult = obj.find('difficult').text# 获取对象的类别名称cls = obj.find('name').textif cls not in classes or int(difficult)==1:continue# 获取类别索引cls_id = classes.index(cls)# 获取对象的边界框信息,包括:左上角x坐标、左上角y坐标、右下角x坐标、右下角y坐标xmlbox = obj.find('bndbox')b = ( float(xmlbox.find('xmin').text),float(xmlbox.find('xmax').text),float(xmlbox.find('ymin').text),float(xmlbox.find('ymax').text) )b1,b2,b3,b4 = b# 标注越界修正if b2 > w:b2 = wif b4 > h:b4 = hb = (b1,b2,b3,b4)# 调用convert()函数,将边界框坐标转换为YOLO格式bb = convert((w,h), b)out_file.write(str(cls_id)+" " + " ".join([str(a) for a in bb]) + "\n")return filenameFormat
# 获取当前工作目录
wd = getcwd()
# 遍历每个数据集(train、val、test)
for image_set in sets:# 如果labels目录不存在,就创建它if not os.path.exists(dir + "labels/"):os.makedirs(dir + "labels/")# 从数据集文件中获取图像id列表image_ids = open(dir + "ImageSets/Main/%s.txt" % (image_set)).read().strip().split()# 打开要写入的文件,写入图像文件路径和格式list_file = open(dir + "ImageSets/Main/%s.txt" % (image_set), 'w')for image_id in image_ids:filenameFormat = convert_annotations(image_id)list_file.write(abs_path + '/Y2-fruit_data/images/%s.%s\n' % (image_id,filenameFormat))list_file.close()

执行后得到结果:
在这里插入图片描述

四、创建 fruit.yaml 文件

新建fruit.yaml 文件:

train: D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/ImageSets/Main/train.txt
val: D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/ImageSets/Main/val.txt# number of classes
nc: 4# class names
names: ["banana", "snake fruit", "dragon fruit", "pineapple"]

五、开始用自己的数据集训练模型

(1) 输入训练指令

由于本机没有GPU,所以执行:python .\train.py --img 900 --batch 2 --epoch 100 --data .\fruit.yaml --cfg .\models\yolov5s.yaml --weights .\yolov5s.pt --device cpu
在这里插入图片描述

如果有GPU,则执行:python .\train.py --img 900 --batch 2 --epoch 100 --data .\fruit.yaml --cfg .\models\yolov5s.yaml --weights .\yolov5s.pt --device '0'

执行命令后,出现如下提示,表明训练进行中,等待训练完成,查看训练结果。
在这里插入图片描述
在这里插入图片描述

(2)查看训练结果

在这里插入图片描述
如图中所示,使用YOLO-v5s训练本文的数据集:

  • a. 100个epoch需要的时间是3.382小时
  • b. YOLOv5s 网络结构: 157 层, 参数量是7020913 , 梯度是0 , GFLOPs是15.8
  • c. 还显示了类别的训练结果,包括P-R值、mAP50的值
  • d. 训练结果保存在runs\train\exp7,在该路径下生成了许多文件:
  • 在这里插入图片描述
    打开其中一张图片,如val_batch1_labels.jpg,如下图,显示了各水果的标签:
    在这里插入图片描述
    打开val_batch1_labels.jpg,则显示了带预测值的标签:
    在这里插入图片描述

相关文章:

【Week Y2】使用自己的数据集训练YOLO-v5s

Y2-使用自己的数据集训练YOLO-v5s 零、遇到的问题汇总&#xff08;1&#xff09;遇到git的import error&#xff08;2&#xff09;Error&#xff1a;Dataset not found&#xff08;3&#xff09;Error&#xff1a;删除中文后&#xff0c;训练图片路径不存在 一、.xml文件里保存…...

蓝桥杯--基础(哈夫曼)

import java.util.ArrayList; import java.util.Collections; import java.util.List; import java.util.Scanner;public class BASIC28 {//哈夫曼书public static void main(String[] args) {Scanner Scannernew Scanner(System.in);int nScanner.nextInt();List<Integer&…...

【Redis内存数据库】NoSQL的特点和应用场景

前言 Redis作为当今最流行的内存数据库&#xff0c;已经成为服务端加速的必备工具之一。 NoSQL数据库采用了非关系型的数据存储模型&#xff0c;能够更好地处理海量数据和高并发访问。 内存数据库具有更快的读写速度和响应时间&#xff0c;因为内存访问速度比磁盘访问速度快…...

JavaScript基础知识2

求数组的最大值案例 let arr[2,6,1,7,400,55,88,100]let maxarr[0]let minarr[0]for(let i1;i<arr.length;i){max<arr[i]?maxarr[i]:maxmin>arr[i]?minarr[i]:min}console.log(最大值是&#xff1a;${max})console.log(最小值是&#xff1a;${min}) 操作数组 修改…...

Linux之线程同步

目录 一、问题引入 二、实现线程同步的方案——条件变量 1、常用接口&#xff1a; 2、使用示例 一、问题引入 我们再次看看上次讲到的多线程抢票的代码&#xff1a;这次我们让一个线程抢完票之后不去做任何事。 #include <iostream> #include <unistd.h> #inc…...

03 龙芯平台openstack部署搭建-keystone部署

#!/bin/bash #创建keystone数据库并授权&#xff0c;可通过mysql -ukeystone -ploongson验证授权登录 mysql -uroot -e “set password for rootlocalhost password(‘loongson’);” mysql -uroot -ploongson -e ‘CREATE DATABASE keystone;’ #本地登录 mysql -uroot -ploo…...

定义了服务器的端口号和Servlet的上下文路径

server: port: 1224 servlet: context-path: /applet 这个配置定义了服务器的端口号和Servlet的上下文路径。 下面是配置的解释&#xff1a; server.port: 1224&#xff1a;这表示服务器应该监听在1224端口上。server.servlet.context-path: /applet&#xff1a;这表…...

AI论文速读 | UniST:提示赋能通用模型用于城市时空预测

本文是时空领域的统一模型——UniST&#xff0c;无独有偶&#xff0c;时序有个统一模型新工作——UniTS&#xff0c;感兴趣的读者也可以阅读今天发布的另外一条。 论文标题&#xff1a;UniST: A Prompt-Empowered Universal Model for Urban Spatio-Temporal Prediction 作者&…...

rabbitmq-spring-boot-start配置使用手册

rabbitmq-spring-boot-start配置使用手册 文章目录 1.yaml配置如下2.引入pom依赖如下2.1 引入项目resources下libs中的jar包依赖如下2.2引入maven私服依赖如下 3.启动类配置如下4.项目中测试发送消息如下5.项目中消费消息代码示例6.mq管理后台交换机队列创建及路由绑定关系如下…...

操作系统知识-操作系统作用+进程管理-嵌入式系统设计师备考笔记

0、前言 本专栏为个人备考软考嵌入式系统设计师的复习笔记&#xff0c;未经本人许可&#xff0c;请勿转载&#xff0c;如发现本笔记内容的错误还望各位不吝赐教&#xff08;笔记内容可能有误怕产生错误引导&#xff09;。 本章的主要内容见下图&#xff1a; 1、操作系统的作用…...

Go语言中的锁与管道的运用

目录 1.前言 2.锁解决方案 3.管道解决方案 4.总结 1.前言 在写H5小游戏的时候&#xff0c;由于需要对多个WebSocket连接进行增、删、查的管理和对已经建立连接的WebSocket通过服务端进行游戏数据交换的需求。于是定义了一个全局的map集合进行连接的管理&#xff0c;让所有…...

前端 - 基础 表单标签 -- 表单元素( input - type属性) 文本框和密码框

表单元素 &#xff1a; 在表单域中可以定义各种表单元素&#xff0c;这些表单元素就是允许用户在表单中输入或选择 的内容控件。 表单元素的外观也各不一样&#xff0c;有小圆圈&#xff0c;有正方形&#xff0c;也有方框&#xff0c;乱七八糟的&#xff0c;各种各样&#xf…...

关于MySQL模糊搜索不区分大小写

在我们日常使用ORM框架进行模糊查询时&#xff0c;会发现&#xff0c;搜索的结果是不区分关键字的英文大小写的&#xff0c;那这是为什么呢&#xff1f; 原因是MySQL的like本就不区分大小写&#xff1b;如果在建表的时候&#xff0c;没有设置好字段区分大小 //包含j和J的都会被…...

论文阅读——MoCo

Momentum Contrast for Unsupervised Visual Representation Learning 动量在数学上理解为加权移动平均&#xff1a; yt-1是上一时刻输出&#xff0c;xt是当前时刻输入&#xff0c;m是动量&#xff0c;不想让当前时刻输出只依赖于当前时刻的输入&#xff0c;m很大时&#xff0…...

ARM 寄存器学习:(一)arm多种模式下得寄存器

一.ARM7种状态以及每种状态的寄存器&#xff1a; ARM 处理器共有 7 种不同的处理器模式&#xff0c;在每一种处理器模式中可见的寄存器包括 15 个通用寄存器( R0~R14)、一个或两个(User和Sys不是异常模式&#xff0c;没有spsr寄存器)状态寄存器&#xff08;cpsr和spsr&…...

【nfs报错】rpc mount export: RPC: Unable to receive; errno = No route to host

NFS错误 问题现象解决方法 写在前面 这两天搭建几台服务器&#xff0c;需要使用nfs服务&#xff0c;于是六台选其一做服务端&#xff0c;其余做客户端&#xff0c;搭建过程写在centos7离线搭建NFS共享文件&#xff0c;但是访问共享时出现报错&#xff1a;rpc mount export: RPC…...

备战蓝桥杯---牛客寒假训练营2VP

题挺好的&#xff0c;收获了许多 1.暴力枚举&#xff08;许多巧妙地处理细节方法&#xff09; n是1--9,于是我们可以直接暴力&#xff0c;对于1注意特判开头0但N&#xff01;1&#xff0c;对于情报4&#xff0c;我们可以把a,b,c,d的所有取值枚举一遍&#xff0c;那么如何判断有…...

QCustomPlot-绘制X轴为日期的折线图

主要代码如下&#xff1a; void Widget::InitQLineXDateAddData() {customPlot new QCustomPlot(this);// 创建日期时间类型的刻度生成器QSharedPointer<QCPAxisTickerDateTime> dateTimeTicker(new QCPAxisTickerDateTime);dateTimeTicker->setDateTimeFormat(&quo…...

腾讯春招后端一面(算法篇)

前言&#xff1a; 哈喽大家好&#xff0c;前段时间在小红书和牛客上发了面试的经验贴&#xff0c;很多同学留言问算法的具体解法&#xff0c;今天就详细写个帖子回复大家。 因为csdn是写的比较详细&#xff0c;所以更新比较慢&#xff0c;大家见谅~~ 就题目而言&#xff0c;…...

Filebeat rpm方式安装及配置

一、使用服务器root用户、filebeat8.11.1版本,rpm安装方式进行安装 curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.11.1-x86_64.rpm sudo rpm -vi filebeat-8.11.1-x86_64.rpm 二、配置核心的采集文件、使用inputs热更方式、配置filebeat本身…...

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…...

C++_核心编程_多态案例二-制作饮品

#include <iostream> #include <string> using namespace std;/*制作饮品的大致流程为&#xff1a;煮水 - 冲泡 - 倒入杯中 - 加入辅料 利用多态技术实现本案例&#xff0c;提供抽象制作饮品基类&#xff0c;提供子类制作咖啡和茶叶*//*基类*/ class AbstractDr…...

Go 语言接口详解

Go 语言接口详解 核心概念 接口定义 在 Go 语言中&#xff0c;接口是一种抽象类型&#xff0c;它定义了一组方法的集合&#xff1a; // 定义接口 type Shape interface {Area() float64Perimeter() float64 } 接口实现 Go 接口的实现是隐式的&#xff1a; // 矩形结构体…...

网络编程(UDP编程)

思维导图 UDP基础编程&#xff08;单播&#xff09; 1.流程图 服务器&#xff1a;短信的接收方 创建套接字 (socket)-----------------------------------------》有手机指定网络信息-----------------------------------------------》有号码绑定套接字 (bind)--------------…...

python报错No module named ‘tensorflow.keras‘

是由于不同版本的tensorflow下的keras所在的路径不同&#xff0c;结合所安装的tensorflow的目录结构修改from语句即可。 原语句&#xff1a; from tensorflow.keras.layers import Conv1D, MaxPooling1D, LSTM, Dense 修改后&#xff1a; from tensorflow.python.keras.lay…...

【Redis】笔记|第8节|大厂高并发缓存架构实战与优化

缓存架构 代码结构 代码详情 功能点&#xff1a; 多级缓存&#xff0c;先查本地缓存&#xff0c;再查Redis&#xff0c;最后才查数据库热点数据重建逻辑使用分布式锁&#xff0c;二次查询更新缓存采用读写锁提升性能采用Redis的发布订阅机制通知所有实例更新本地缓存适用读多…...

MySQL 8.0 事务全面讲解

以下是一个结合两次回答的 MySQL 8.0 事务全面讲解&#xff0c;涵盖了事务的核心概念、操作示例、失败回滚、隔离级别、事务性 DDL 和 XA 事务等内容&#xff0c;并修正了查看隔离级别的命令。 MySQL 8.0 事务全面讲解 一、事务的核心概念&#xff08;ACID&#xff09; 事务是…...

微服务通信安全:深入解析mTLS的原理与实践

&#x1f525;「炎码工坊」技术弹药已装填&#xff01; 点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】 一、引言&#xff1a;微服务时代的通信安全挑战 随着云原生和微服务架构的普及&#xff0c;服务间的通信安全成为系统设计的核心议题。传统的单体架构中&…...

【FTP】ftp文件传输会丢包吗?批量几百个文件传输,有一些文件没有传输完整,如何解决?

FTP&#xff08;File Transfer Protocol&#xff09;本身是一个基于 TCP 的协议&#xff0c;理论上不会丢包。但 FTP 文件传输过程中仍可能出现文件不完整、丢失或损坏的情况&#xff0c;主要原因包括&#xff1a; ✅ 一、FTP传输可能“丢包”或文件不完整的原因 原因描述网络…...

快速排序算法改进:随机快排-荷兰国旗划分详解

随机快速排序-荷兰国旗划分算法详解 一、基础知识回顾1.1 快速排序简介1.2 荷兰国旗问题 二、随机快排 - 荷兰国旗划分原理2.1 随机化枢轴选择2.2 荷兰国旗划分过程2.3 结合随机快排与荷兰国旗划分 三、代码实现3.1 Python实现3.2 Java实现3.3 C实现 四、性能分析4.1 时间复杂度…...