slam技术支持下的果园作物估产论文汇总

2019

ROLS : Robust Object-level SLAM for grape counting（CVPR）

摘要：基于摄像机的同步定位和测绘（SLAM）可以被作物种植者用来计算水果和估计产量。它是具有挑战性的，因为动态，光照条件和有限的纹理固有的户外环境。我们提出了一个管道，将深度学习的最新进展与传统的3D处理技术相结合，以实现快速和准确的葡萄园SLAM。我们使用立体相机捕捉到的图像和它们的三维重建来检测感兴趣的物体，并将它们分为几类：葡萄、树叶和树枝。通过利用三维中关于物体的局部邻域的信息，提高了这些检测的准确性。

我们从图像中获得了0.977的地面真实葡萄计数。我们的方法建立了一个密集的三维场景模型，定位精度以厘米为单位，没有任何恒定的光照条件或场景动态的假设。这种方法可以很容易地推广到其他作物，如橘子和苹果，并在管道中进行了微小的修改。

2021

PATHoBot: A Robot for Glasshouse Crop Phenotyping and Intervention

摘要： 我们提出了PATHoBot，一个针对温室环境的自主作物测量和干预机器人。该平台的目的是自主收集高质量的数据，并估计关键的表型参数。为了实现这一目标，我们改装了一个现成的管轨电车，配备了一系列多模式摄像机、导航传感器和机械臂，用于近距离的测量任务和干预。在本文中，我们描述了在商业温室环境中，以确保正确运行的蝙蝠设计选择。作为一个调查平台，我们收集了一些数据集，其中包括甜椒和番茄。我们展示了PATHoBot如何通过结合车轮的里程测量法和深度信息，首先改进了我们之前的水果计数工作，从而实现了新的监测方法。我们发现，通过引入重新投影和深度信息，我们能够在“在野外”的情况下，实现比基线技术高出20个点的绝对改进。最后，我们提出了一个三维测绘案例研究，进一步展示了PATHoBot的作物测量能力。

2023

ORB-Livox: A real-time dynamic system for fruit detection and localization（Computers and Electronics in Agriculture）

摘要：准确的水果定位在许多农业任务中发挥着重要作用，也是自主收割机器人最重要的组成部分之一。尽管静态条件下的果实定位已被广泛研究，但动态条件下进行果实定位的方法却很少研究。动态条件下的水果定位更具挑战性，因为运动会在视觉传感器上引入连续不规则的自我运动，这可能导致相当大的精度下降甚至系统故障。然而，动态条件下的果实定位是一项重要任务，因为它可以显着提高采收效率。在本研究中，提出了一种水果定位方法，可以在动态条件下进行准确的水果定位。首先，利用ORB-SLAM3 SLAM算法来估计动态条件下相机的位姿。其次，YOLO-V5用于识别RGB图像中的苹果。此外，激光雷达还用于精确测量每个苹果的深度。最后，提出了一种基于高斯分布的聚类技术，以减轻动态条件下的精度损失，从而优化苹果位置。我们的方法在室内和室外实验中得到了广泛的评估。室内实验结果表明，平均定位误差为21.1毫米，90%的误差小于30毫米。果园环境中的实验结果表明，我们提出的方法可以在非结构化自然环境中动态条件下检测和定位苹果。

论文的贡献：

1. 提出了一种利用ORB-SLAM3、YOLO-V5、欧氏聚类滤波和局部点云滑动窗口的实时苹果全局定位方法。
2. 提出了一种基于激光雷达相机融合的以视觉里程计为中心的姿态估计的实时果园测绘方法。
3. 该方法的性能在真实果园环境中得到了验证。
   

2024

FruitNeRF: A Unified Neural Radiance Field based Fruit Counting Framework

code: https://github.com/meyerls/FruitNeRF

摘要：我们介绍了FruitNeRF，一个统一的新的水果计数框架，利用最先进的视图合成方法直接在3D中计数任何水果类型。我们的框架采用一组由单眼相机捕获的无序姿态图像，并在每张图像中分割水果。为了使我们的系统独立于水果类型，我们使用了一个基础模型，为任何水果生成二进制分割掩模。利用RGB和语义这两种模式，我们训练了一个语义神经辐射场。通过对隐式果场的均匀体积采样，得到了纯果点云。通过对提取的点云进行级联聚类，实现了精确的果实计数。与传统的目标跟踪或光流等方法相比，神经辐射场的使用具有显著的优势，因为计数本身会被提升到三维数据中。我们的方法防止了重复计算水果，也避免了计算不相关的水果。我们使用真实世界和合成数据集来评估我们的方法。真实世界的数据集包括三棵人工计算的苹果树，一个基准苹果数据集和一行地面真实水果位置，而合成数据集包括各种水果类型，包括苹果、李子、柠檬、梨、桃子和芒果。此外，我们使用基础模型与U-Net相比，评估了水果计数的性能。