006.数据准备第一步：图像数据采集的合法性与多样性考量

上周帮同事排查一个YOLOv5的误检问题模型把工地安全帽识别成了摩托车头盔。训练集里安全帽样本全是红色背景清一色蓝天白云而测试场景却是灰色安全帽阴天厂房——数据采集的第一关就没过后面再怎么调参都是白费力气。今天咱们就聊聊数据采集那些容易踩坑的事。数据合法性别等律师函来了再后悔去年有个项目用了爬虫抓取的街景数据训练效果挺好结果产品上线前法务部门叫停了——我们压根没确认过那些图片的版权许可。现在我的团队有个铁律任何数据进仓库前必须过三关。版权关最容易被忽略。公开数据集像COCO、ImageNet都有明确许可但自己采集时得留个心眼。公司内部拍摄的物料、客户提供的监控片段一定要拿到书面授权。曾经见过有人把带人脸的车牌数据直接放GitHub第二天就接到安全部门的紧急电话。隐私关在安防、医疗领域特别敏感。人脸、车牌、病历这些信息必须脱敏处理。我们有个取巧的办法用目标检测框截取ROI区域后对背景做高斯模糊既保留目标特征又保护隐私。不过要注意某些地区比如欧盟的GDPR连模糊处理后的人脸都可能算作个人信息。合规关涉及行业标准。做工业质检时客户的生产线照片可能包含商业机密做自动驾驶时采集的路况数据得符合当地测绘法规。建议早期就和法务或合规团队开个会定下数据使用红线。多样性采集不是数量多就行那个红安全帽的案例很典型数据量够了5000张但多样性几乎为零。好的数据采集得像策划一场旅行要覆盖不同“天气”“角度”和“装扮”。光照多样性是最基础的。同一个工位早中晚的光照差异能让你模型的表现波动30%以上。我们会在采集计划里强制包含顺光、逆光、侧光、阴影交错、夜间补光五种条件。室内场景还要特意采集荧光灯、LED灯、自然光混合的情况——工厂车间经常三种光源同时存在。背景复杂性决定模型泛化能力。早期我们拍零件缺陷总是在纯黑背景下拍结果产线上稍微有点油污反光就误报。现在会故意在背景里加入相似颜色物体、移动人影、设备反光面。记住一个原则测试环境里可能出现的干扰项训练集里必须更早出现。目标形态多样性容易被量化指标忽略。安全帽不只是颜色不同还有戴歪的、有贴纸的、沾了灰尘的、半遮挡的。我们做过一个统计增加20%的遮挡样本能让模型在真实场景的漏检率下降8个百分点。采集实操中的“土办法”教科书上不会告诉你这些但都是踩坑换来的经验设备统一性陷阱用不同手机、不同相机采集的数据色差和畸变可能让模型学到错误特征。我们固定用两三台设备并且每台都拍一组色卡后期做色彩校正。别小看手机自动美颜功能它可能把缺陷都给“优化”掉了。标注即采集很多团队采集完再统一标注其实标注员是最好的数据质检员。我们让标注员边标边反馈“这种角度的样本太少”“这个模糊程度还没覆盖”。曾经靠标注员的反馈发现我们漏拍了雨天玻璃反光的情况补拍后模型在恶劣天气下的识别率直接提升了15%。负样本主动采集专门花时间拍“看起来像但不是”的物体。比如识别灭火器就去拍红色水桶、消防栓、甚至红色行李箱。这些负样本在hard negative mining里比数据增强更管用。个人经验包数据采集像做饭采购原料不好再厉害的厨师也做不出佳肴。我的习惯是采集前先做“数据剧本”——像写分镜一样列出所有要覆盖的场景变量打印出来让现场拍摄人员打勾确认留出20%的采集预算给“意外发现”——实际场景中总有你想不到的情况这部分预算用来临时补采建立数据卡片制度每批数据附带一个txt文件记录采集时间、设备、天气、特殊说明三个月后回看这些记录经常能发现分布偏差问题小规模训练验证采集完第一批500张就快速训练一个小模型在验证集上跑一遍——很多时候能提前发现数据分布的重大缺陷最后说句实在话数据采集阶段多花一周时间可能省掉后面一个月的调参和重新训练。那些看起来“差不多”的数据在模型眼里可能是完全不同的两个世界。