【果树农药喷洒机器人】Part6：基于深度相机与分割掩膜的果树冠层体积探测方法

📢：如果你也对机器人、人工智能感兴趣，看来我们志同道合✨
📢：不妨浏览一下我的博客主页【https://blog.csdn.net/weixin_51244852】
📢：文章若有幸对你有帮助，可点赞 👍 收藏 ⭐不迷路🙉
📢：内容若有错误，敬请留言 📝指正！原创文，转载请注明出处

---

一、引言

果树靶标探测是实现农药精准喷施的关键环节，本章以果树冠层体积的计算结果作为实现变量喷药决策的数据依据。基于上一章实例分割模型对树冠图像分割成掩膜的基础上，提出一种基于深度相机的果树冠层体积探测方法，即视觉探测法。采用深度相机作为感知单元，通过扫描果树获得冠层深度图像，其深度值表示冠层与相机之间的实际距离，通过换算得出树冠掩膜的像素点代表的实际面积，进而估算出单棵树冠的真实体积，并与人工测量法进行比较，以分析视觉探测法的精度。

二、树冠体积测量对比方法

2.1冠层体积人工测量法

本节对人工测量树冠体积的方法进行探究，并将其结果作为比较基准。传统的人工测量方法简单地将果树冠层水平截面近似于椭圆，通过将冠层等高度分割为多份圆台，最后求和得出冠层体积。然而，树冠的轮廓形状一般不规则，因此难以确定椭圆截面的长、短半轴；再者，被分割的树冠部分并不一定只是圆台的形状。因此传统的人工测量结果并未能真实反映树冠体积，其测量精度较难保证。
为得出果树冠层较为精确的人工测量结果，本章在传统方法的基础上进行优化，测量步骤具体如下：

首先，将单棵果树的冠层从上到下看作由圆台、锥体或是其他近似的规则几何体组成；
接着，将其水平分割成多个独立的几何体，截面简化为圆形。
最后，根据各部分形状进行单独计算并相加得到整个冠层体积。

以纺锤形冠层的果树为例进行分析，绘制了人工测量冠层体积的示意图，如图4-1所示。图中的树冠近似锥形，但并不规则，其中上、下两层近似圆锥，而中间部分近似圆台。为便于计算，本方法使用皮尺直接测量出的截面周长替换半径，即r = l/2π，并代入基础式中。通过以下式推导出树冠体积的人工测量模型。

2.2冠层体积拟合测量法

由于柑橘树冠属于类球体型，本节根据单棵树冠的外轮廓形状拟合成一个相近的、有规则的立方体，进而实现对体积的估算，该方法简称为拟合测量法，下文均以此替代。以成熟期的柑橘树为例，其树冠拟合过程如图4-2所示。

具体处理步骤如下：
步骤1：图4-2（a）为原始图像，经过MSEU R-CNN实例分割模型处理后，得到图4-2（b）所示的实例分割效果图；
步骤2：通过剔除背景仅保留树冠掩膜部分，如图4-2（c）所示；
步骤3：之后采用图像二值化、开运算等图像处理操作，提取出树冠掩膜的轮廓（是否贴近于原始轮廓取决于图像分割精度），见图4-2（d）；
步骤4：以掩膜轮廓下窄上宽的特征，适合拟合成图4-2（e）的梯形；
步骤5：最后通过梯形绕中轴线旋转360°，拟合成图4-2（f）所示的圆台。

三、基于深度相机与分割掩膜探测树冠体积方法

3.1像素值与深度值的转换

为探究二维图像与三维空间之间的转换关系，根据所用视觉传感器不同，其方法各异。若使用普通相机采集图像，一般采用标定法获取单位像素代表的实际面积（下文均以A表示该值）。例如：丁为民等将黑色硬纸板作为标定物，通过图像处理软件计算多个采样距离下标定板的A值，利用该值和对应的采样距离制成散点图，发现A与采样距离之间具有明显的幂函数关系。然而，每个普通相机内参可能有所不同，若要获得较为准确的A值，均要进行相对复杂的标定实验才能得到幂函数中合适的系数。本章以D435i深度相机为数据采集设备，该款相机配备了二次开发功能包，其中就有采用欧几里得度量法（指用于测量n维空间中两个点之间的真实距离D(x, y)，或称为欧氏距离），其计算原理由如下式表示：

通过第3章的实例分割算法可获得树冠的掩膜，但掩膜以二维图像的像素量表示，并非树冠真实参数，不能作为精准喷施的决策依据。由于D435i深度相机可同时拍摄目标树冠的RGB图像和深度图像，采用欧几里得度量法可测量深度图像中的欧氏距离Hr；通过OpenCV图像处理库中的算法计算，可获得RGB图像中树冠的像素高度Hp，两者比值的平方即为A值。该值再乘以掩膜像素面积，从而计算出树冠垂直投影面的实际面积Sr。具体计算过程通过如下的式表示：

3.2树冠体积视觉探测法

本节基于实例分割模型的处理结果，并结合上节所述方法，对单株柑橘树冠层的几何特征进行探测，主要参数包括树冠面积、高度、宽度以及体积，其探测原理的示意图如图4-4所示。

针对以相机对果树冠层体积进行探测的问题，丁为民等提出“多点测量法”，通过构建树冠实际垂直投影面积Sr与树冠体积对数lnV间的模型，研究两者之间的相关性，即基于已知的冠层面积来推算体积。为得出不同果树Sr与lnV的相关性，丁为民的科研团队通过实验构建了梨树、桂花树等果树体积计算模型。实验结果表明，该模型的决定系数均在0.9以上，说明Sr与lnV之间存在明显的相关性；同时也表明在不同树种之间，树冠垂直投影面与树冠体积的线性关系规律是成立的。
基于上述学者的研究，本章对果园内的20棵柑橘树进行采样，并在树冠垂直投影面积Sr的基础上，结合人工测量法准确测得的树冠体积V，以最小二乘法构建柑橘树冠层的Sr与lnV间的关系模型，即“基于深度相机和分割掩膜的果树树冠体积探测方法”，简称为“视觉探测法”，其相关性结果如图4-5所示。

3.3实验分析

上一节采用三种测量模型并对所选8棵柑橘树进行了体积探测，得出了各个方法对应的树冠体积平均值。本节将三种树冠体积探测方法的测量结果汇总于表4-4中。并根据误差评估式计算出误差、样本标准差，作为误差评估指标。其中，误差1和误差2分别指拟合测量法、视觉探测法跟人工测量法之间的误差值。为更为直观地对比三种测量手段得到的体积值之间的差距，绘制了图4-9所示的体积平均值以及标准差条形图。

根据表4-4中树冠体积平均值以及标准差，绘制了图4-10所示的折线图，综合展示了三种方法测量得到的8棵橘树冠层体积。按照大小依次排序为：橘树3＞橘树1＞橘树6＞橘树2＞橘树8＞橘树7＞橘树5＞橘树4。但是三种测量方法均存在一定的偏差，尤其是橘树3的冠层体积，最大标准差值为0.12。其次为橘树8，其体积测量的标准差值达到了0.102，而所有橘树冠层体积测量的标准差大于0.05，其中最小的标准差值为0.062，由测量1号、7号橘树时产生。

综合上述图表可知，人工测量相比真实的体积可能存在一定的误差，造成的原因可能是树冠形状在转化时，将原本不规则的形状抽象成规则形状后，丢失了部分空间的体积值，导致所测体积值相对偏小。但相比拟合测量法将树冠作为整体的计算方法，人工测量通过将冠层水平分割成几部分进行分块计算，降低了每个部分的误差，数值相对精确，故将其作为标准值具有较强的可靠性。

总结

针对目前主流传感器探测果树靶标存在的各种问题，本章提出一种基于深度相机和分割掩膜的果树冠层体积探测方法，并通过对比实验研究其探测精度。并且，为探究视觉探测冠层体积的精确度，提出一种人工测量和拟合测量冠层体积法，并以人工测量的体积为基准，与视觉探测法的结果进行误差分析。实验结果表明，视觉探测法与人工测量体积值的主要误差小于8%，最小误差仅为2.2%，因此视觉探测法测量得到的体积值更加接近于手工测量的结果。验证了基于深度相机的视觉探测树冠体积方法具有良好的测量精度。