YOLOWeeds: 用于棉花生产系统中多类杂草检测的 YOLO 目标检测器的新基准

摘要

过度依赖除草剂控制杂草，加速了杂草的抗除草剂进化，引起了对环境、食品安全和人类健康的日益关注。自动化/机器人除草的机器视觉系统在实现综合的、可持续的除草管理方面得到了越来越多的关注。然而，在非结构化的田间环境和杂草生物多样性显著的情况下，开发可靠的杂草识别和检测系统仍然是一个严峻的挑战。解决这一挑战的一个很有前途的解决方案是，开发适合于种植系统的大规模、带有注释的杂草图像数据集，以及用于杂草检测的数据驱动AI(人工智能)模型。在各种深度学习架构中，各种各样的YOLO (You Only Look Once)检测器非常适合于实时应用，并且在通用目标检测方面非常流行。这项研究提供了一个新的数据集(CottoWeedDet12)，其中包括对美国南部棉花生产至关重要的杂草。它包括12个杂草类的5648幅图像，共9370个边界框注释，收集了自然光条件下和棉花田不同杂草生长阶段的图像。所有的YOLO模型，特别是YOLOv5n和YOLOv5s，在杂草实时检测方面显示了巨大的潜力，数据增强可以提高杂草检测的准确性。

1、介绍

影响杂草识别性能的主要因素有两个，即用于模型训练的图像数据的大小和质量，以及杂草识别算法。
大规模标注图像数据是保证计算机视觉算法性能的关键。在精准农业中，缺乏大规模、高质量的标注数据集仍然是充分利用深度学习算法(Lu和Young, 2020)开发鲁棒机器视觉系统的关键瓶颈。对于杂草识别，良好的数据集应该提供有关杂草物种、环境条件(如光照条件、土壤类型)和与生长阶段相关的形态或生理变化的充分表征。除了需要杂草识别领域的专业知识外，准备这样的数据集是出了名的耗时和昂贵。
最近开展了一些研究，开发用于杂草控制的图像数据集(Lu和Young, 2020)，如DeepWeeds (Olsen等人，2019)、早期作物杂草数据集(espejoo - garcia等人，2020)、Hedge bindweed (Gao等人，2020)、CottonWeedID15 (Chen等人，2022)、Eden图书馆(Mylonas等人，2019)、2022年)和杂草人工智能(https://weed-ai.sydney.edu.au/)。到目前为止，据我们所知，只有CottonWeedID15 (Chen et al.， 2022)致力于识别棉花生产系统特有的杂草。
同时，在杂草检测的图像处理/分析技术上已经做了大量的研究(Wang等人，2019;Meyer和Neto, 2008年;Wu等人，2021)。人们提出了各种强调植物绿色的颜色指数，以增强对土壤背景杂草的描述和分割(Meyer和Neto, 2008;Woebbecke等人，1995)。其中大多数算法虽然易于计算，但对各种成像条件并不鲁棒，特别是在处理可变自然场光条件下获得的图像时(Hamuda等，2016;Bawden等人，2017;陆等，2022)。最近，基于深度学习(DL)算法的数据驱动方法，特别是卷积神经网络(CNNs)，已被用于杂草检测(Hasan et al.， 2021)。在大规模数据集的支持下，训练有素的DL模型可以对生物变异和成像条件具有鲁棒性，同时实现令人满意的分类或检测精度(Chen等人，2022;Olsen等人，2019年;Suh等人，2018)。经过训练的DL模型可以部署在专用的计算硬件上(如NVIDIA Jetson AGX Xavier模块)，并与机器人平台相结合，实现实时杂草识别(Du等人，2021;奥尔森等人，2019)。
杂草识别的任务，分为三个基本类别:1)将图像归类为作物/杂草，2)在图像中检测或定位杂草，3)将图像分割成语义杂草特征图，分别对应计算机视觉中的三个基本问题，即图像分类、目标检测和语义分割。DL方法最常用于训练杂草分类模型(Olsen等，2019;埃斯佩霍-加西亚等人，2020年;Chen et al.，
2022;Dyr - mann等人，2016;Suh等人，2018)，给定图像级别的标记数据集。然而，生成的模型没有提供关于图像中特定杂草位置的信息，因此对于提供精确的杂草控制来说是次优的。相比之下，目标检测需要在图像中定位感兴趣的对象(Girshick et al.， 2015)，可以预测图像中杂草的位置，更有利于高精度的杂草去除。
本研究是在前人杂草分类研究(Chen et al.， 2022)的基础上，首次对美国棉花生产中最先进的多类杂草YOLO目标检测器进行综合性能评价。杂草数据集和本研究开发的软件程序均可公开访问。这项研究有望对未来开发基于机器视觉的棉花和其他作物除草系统产生积极影响。本文的主要贡献如下:
1、一个多样化的杂草数据集，包括12个杂草类别的5648张图像，以及9370个对美国南部棉花重要的杂草包围框;
2、对25台最先进的YOLO目标探测器进行了多类杂草检测的综合评价和基准测试;
3、研究了数据增加对YOLO模型性能的影响。

2、总结

杂草检测是利用机器视觉系统对杂草进行精确定位的重要环节。在有效杂草检测的核心是一个大规模的，精确标记的杂草数据集的管理，从而开发监督学习模型。
本文展示了迄今为止与美国棉花生产系统相关的最大的杂草检测数据集，包括12个杂草类别的5648张图像，共9370个边界框注释，收集于各种自然光照条件下。通过多类杂草检测的转移学习，建立了一套由25个选定的YOLO目标检测器组成的综合基准测试集，并从检测快速性、模型复杂度和推理时间三个方面进行了评估。
YOLO检测模型获得了mAP@0.5分数，从YOLOv3tiny的88.14%到YOLOv4的95.22%不等。总体而言，基于yolov4的模型比YOLOv3和YOLOv5的模型具有更高的准确率，而YOLOv5n和YOLOv5s在实现相似检测精度的同时，在快速推理时间上具有优势。数据增强对YOLO探测器尤其是YOLOv3tiny的性能有积极的影响。该性能基准有望为选择合适的YOLO目标检测器进行杂草检测提供参考，也可用于精准农业的目标检测任务。杂草检测数据集和用于模型开发和评估的源代码都对研究社区开放。