【无人售货柜・RK+YOLO】篇 2：90% 的新手都栽在这！无人售货柜商品识别数据集制作保姆级教程

目录一、先搞懂核心售货柜场景的数据集到底要满足什么要求二、第一步数据集采集新手最容易踩坑的环节1. 采集工具必须和部署场景一致2. 采集数量到底要拍多少张图才够3. 采集规范照着做少走半年弯路三、第二步数据集标注细节决定模型精度1. 标注工具安装新手一键安装2. 标注前的准备先把规则定好3. 零售商品标注黄金规范新手必须严格遵守四、第三步数据集清洗 划分避免过拟合的核心1. 数据集清洗把垃圾数据扔掉2. 数据集划分按比例拆分新手直接抄作业五、第四步数据增强 公开数据集推荐小数据集也能训出好效果1. 针对售货柜场景的定制化数据增强方案2. 零售商品公开数据集推荐新手拿来就能用最后说两句大家好我是黒漂技术佬。上一篇我们给大家敲定了适配 RK3576 无人售货柜场景的 YOLO 最优版本 ——YOLOv5s很多新手朋友摩拳擦掌准备开训结果第一步就栽在了数据集上。我见过太多新手随便在网上找了几十张可乐雪碧的网图标了两下就开训训了三天三夜loss 降得贼低结果放到自己的售货柜里连摆在眼前的可乐都认不出来纯纯无效加班。毫不夸张地说数据集的质量决定了你的模型的上限而参数和训练只是无限逼近这个上限。你用垃圾数据集哪怕把 YOLO 训出花来也不可能做出商用级的识别效果。今天这篇我就把无人售货柜商品识别数据集制作的全流程从采集、标注、清洗、划分到数据增强保姆级教给你全程结合售货柜的真实场景所有规范都是我踩了无数坑总结出来的商用级标准新手跟着做训出来的模型精度直接拉满。一、先搞懂核心售货柜场景的数据集到底要满足什么要求很多新手做数据集只追求 “数量多”觉得标个几百张图就够了结果放到真实场景里直接翻车。核心原因就是你的数据集没有覆盖售货柜的真实使用场景模型在训练的时候根本没见过这些场景自然认不出来。我先把无人售货柜场景数据集必须覆盖的 6 大核心场景拍死少一个你的模型就会在对应的场景里翻车光线场景全覆盖强光、暗光、逆光、暖光、冷光甚至是柜内灯坏了一半的极端场景都要覆盖不然白天能认出来晚上就瞎了角度场景全覆盖平视、俯视、仰视甚至是摄像头歪了的场景因为售货柜的摄像头安装角度不一样你只标平视的图换个角度就认不出来了遮挡场景全覆盖手遮挡、商品之间互相遮挡、叠放这是售货柜最常见的场景用户拿商品的时候手会挡商品摆密了会互相挡不覆盖的话漏检率直接上天相似商品全覆盖可乐和零度可乐、原味薯片和番茄味薯片、不同品牌的矿泉水这些外观高度相似的商品必须大量采集不然模型很容易认错直接导致结算错误位置场景全覆盖货架上层、中层、下层、角落、边缘不能只标货架中间的商品不然摆在角落的商品模型直接漏检干扰场景全覆盖柜内有水雾、标签脱落、包装变形甚至是用户把商品放倒了的场景都要覆盖不然模型只认正放的商品放倒了就不认识了记住你的数据集和最终部署的售货柜场景越像模型的效果就越好。你用网图训出来的模型永远不可能在你的柜子里好用。二、第一步数据集采集新手最容易踩坑的环节数据集采集是整个流程的第一步也是最关键的一步采集的图不行后面标得再认真也没用。这里我给你一套商用级的采集规范新手照着做就行。1. 采集工具必须和部署场景一致【新手避坑红线】绝对不能用手机拍图必须用你最终要装在售货柜里的摄像头来采集。为什么因为不同的摄像头焦距、分辨率、畸变、色彩还原度都不一样你用手机拍的 4K 超清图和售货柜摄像头拍的图根本不是一个东西模型训出来根本不通用。正确做法把 RK3576 板子 售货柜摄像头装好固定好安装角度直接用这个摄像头来拍采集图保证训练场景和部署场景 100% 一致这是模型效果好的核心前提。2. 采集数量到底要拍多少张图才够很多新手问我佬我有 10 类商品到底要拍多少张图这里我直接给你标准答案直接抄作业单类商品最低采集数量200 张少于这个数很容易出现过拟合模型只会死记硬背你拍的那几张图换个场景就不认识了每增加 1 个场景单类商品增加 50 张比如你要覆盖暗光、遮挡、叠放 3 个场景单类商品就要拍 20050×3350 张相似商品单类数量翻倍比如可乐和零度可乐这种高度相似的商品单类至少要拍 400 张让模型能学到它们的细微差别举个例子你有 10 类商品其中 2 对是相似商品要覆盖 6 个核心场景那总采集数量就是8 类 ×350 张 2 类 ×2×350 张 4200 张这个数量训出来的模型基本不会出大问题。3. 采集规范照着做少走半年弯路单张图里不要只拍一个商品尽量还原真实的货架摆放一张图里放多个商品让模型学会在复杂场景里识别目标每个商品必须在不同的光线、不同的位置、不同的角度都拍到不能只在一个位置拍 200 张那和拍 1 张没区别采集的时候尽量还原用户的真实使用场景比如故意把商品放倒、叠放、用手挡一半让模型提前见过这些场景图片分辨率和最终部署的分辨率一致比如你部署的时候用 640×640 的分辨率采集的时候就用 640×640不要用 4K 图徒增训练成本绝对不要用网图、商品宣传图这些图都是精修过的和真实场景完全不一样训了也是白训三、第二步数据集标注细节决定模型精度采集完图片接下来就是标注这是个细活很多新手标得乱七八糟直接导致模型训不收敛、效果差。这里我用 LabelImg 工具新手最容易上手的标注工具给你讲清楚完整的标注流程和零售商品专属标注规范。1. 标注工具安装新手一键安装LabelImg 是目前最适合新手的目标检测标注工具开源免费操作简单直接支持 YOLO 格式输出安装只需要一行命令bash运行# 先确保你装了Python和pip直接在cmd里运行 pip install labelimg安装完成后在 cmd 里输入labelimg就能直接打开工具不用搞复杂的环境配置。2. 标注前的准备先把规则定好类别命名规范绝对不要用中文命名类别必须用英文 / 拼音 数字比如kele_1、xueli_2因为 YOLO 对中文支持不好很容易出现乱码报错类别顺序固定先建一个classes.txt文件把所有商品的类别按顺序写好标注的时候严格按照这个顺序来绝对不能中途改类别顺序不然之前标的标注文件全废了标注格式打开 LabelImg 后先把输出格式改成YOLO不要用 PascalVOC不然还要手动转格式徒增工作量3. 零售商品标注黄金规范新手必须严格遵守这部分是我踩了无数坑总结出来的标错一个模型效果就会打折扣必须严格遵守框必须完整包裹整个商品宁大勿小标注的边界框必须把整个商品的包装全部包进去哪怕有一部分被遮挡了也要把完整的商品框出来绝对不能只框商品的一半。比如一瓶可乐哪怕下半部分被别的商品挡住了也要把整个瓶子的轮廓框出来不能只框露出来的上半部分。遮挡超过 50% 的商品不要标如果商品被手、别的商品挡住了超过一半根本看不清是什么就不要标不然会给模型引入错误的标注信息反而影响效果相似商品必须严格区分不能标错可乐和零度可乐哪怕长得再像也要严格按类别标标错一个模型就会学错后续很容易认错边缘的商品只要能看清必须标哪怕商品只有一半在图片里只要能看清是什么就要完整框出来不然模型会漏检货架边缘的商品绝对不能标重复的框一个商品只能标一个框不能重复标注不然模型会学乱后续 NMS 也没法正常去重【新手避坑】标注是个耐心活我见过很多新手标了几百张就烦了随便框两下就完事结果训出来的模型效果差又回头找原因最后发现是标注的问题反而浪费了更多时间。慢就是快标得认真一点后续能省无数的麻烦。四、第三步数据集清洗 划分避免过拟合的核心标完所有图片先别急着训还有两个关键步骤清洗和划分这两步没做好很容易出现过拟合。1. 数据集清洗把垃圾数据扔掉标注完的数据集里肯定有标错的、漏标的、图片模糊的垃圾数据这些数据会严重影响模型训练必须清洗掉先过一遍所有图片把模糊、过曝、全黑的无效图片删掉对应的标注文件一起删掉用 LabelImg 的标注检查功能检查有没有标错类别、漏标、重复标注的文件及时修正检查有没有标注文件和图片不匹配的情况比如有图片没标注文件或者有标注文件没图片全部删掉2. 数据集划分按比例拆分新手直接抄作业YOLO 训练需要把数据集分成三个部分训练集、验证集、测试集三个集合的作用完全不一样绝对不能混。【新手概念科普】训练集用来给模型学习的图片占比最大模型通过这些图片来学习商品的特征验证集训练过程中用来验证模型效果的图片不参与训练用来判断模型有没有过拟合测试集训练完成后用来最终测试模型效果的图片完全没给模型见过模拟真实部署场景这里我给你最标准的划分比例新手直接抄作业绝对不会错训练集70%用来训练模型学习特征验证集20%训练过程中验证效果调整参数测试集10%训练完成后最终测试检验泛化能力【新手避坑红线】绝对不能把同一张图同时放到训练集和验证集 / 测试集里不然你测出来的精度再高都是假的模型已经见过这张图了放到真实场景里直接翻车。划分方法很简单你可以手动按比例分文件夹也可以用网上的 Python 划分脚本一键拆分非常方便。拆分后的文件夹结构必须严格按照 YOLO 的要求来不然训练的时候会找不到文件plaintext# YOLOv5标准数据集文件夹结构 dataset/ ├── images/ # 所有图片 │ ├── train/ # 训练集图片 │ ├── val/ # 验证集图片 │ └── test/ # 测试集图片 ├── labels/ # 所有标注文件YOLO格式的txt文件 │ ├── train/ # 训练集标注 │ ├── val/ # 验证集标注 │ └── test/ # 测试集标注 └── dataset.yaml # 数据集配置文件后面训练会用到五、第四步数据增强 公开数据集推荐小数据集也能训出好效果很多新手朋友说佬我没那么多时间拍几千张图有没有办法用少量的图训出好的效果有就是数据增强。【新手概念科普】数据增强就是通过算法把你现有的图片做翻转、缩放、裁剪、调亮度、加噪点等操作生成新的图片相当于用少量的原图生成大量的新图让模型见过更多的场景提升泛化能力避免过拟合。1. 针对售货柜场景的定制化数据增强方案YOLOv5 自带了数据增强功能但是默认的参数不是针对售货柜场景的这里我给你一套优化后的参数后续训练的时候直接用就行核心针对售货柜的痛点做了优化必开增强随机翻转、随机缩放、随机裁剪、亮度 / 对比度调整这些能模拟不同的角度、光线、位置是最基础也最有效的增强针对性增强马赛克增强、混合增强这两个能模拟商品叠放、多商品密集摆放的场景大幅提升模型对遮挡、密集商品的识别能力禁止开的增强随机旋转超过 90 度、镜像翻转因为商品的包装上有字镜像翻转后字是反的模型会学错特征反而影响效果2. 零售商品公开数据集推荐新手拿来就能用如果你是刚入门想先跑通流程不想自己拍图这里我给你推荐几个开源的零售商品公开数据集直接下载就能用Retail Product Checkout Dataset (RPC)目前最大的零售商品数据集有 200 类商品10 万 张图覆盖了各种售货柜、超市场景新手首选SKU-110K Dataset11 万 张超市货架图片密集商品场景专门用来训练密集摆放的商品识别完美适配售货柜场景Grocery Store Dataset120 类零售商品覆盖了饮料、零食、日用品图片质量高适合小批量训练测试【新手避坑】公开数据集只能用来练手最终商用的时候必须用自己售货柜的摄像头拍的数据集不然还是会出现场景不匹配的问题。最后说两句很多新手总觉得模型效果差是参数没调好、YOLO 版本没选对其实 90% 的情况都是你的数据集出了问题。标注不规范、场景没覆盖、数据量不够哪怕你用再好的模型也不可能训出好效果。慢就是快把数据集做好你的模型就已经赢在了起跑线。下一篇我们就带着做好的数据集手把手带你搭建 YOLOv5 训练环境一行行代码带你敲从配置文件修改到模型训练、验证全程保姆级教学新手跟着走100% 能跑通自己的商品识别模型。