农业自动化被视为该行业面临的社会经济挑战的可行解决方案。这种技术通常依靠智能感知系统提供有关作物、植物和整个环境的信息。传统2D视觉系统面临的挑战可以通过现代3D视觉系统来解决，这些系统能够直接定位物体、大小和形状估计，或处理遮挡。到目前为止，3D传感的应用主要局限于室内或结构化环境。

　　在本文中，评估了现代传感技术，包括立体相机和时间飞行(time-of-flight，ToF)相机在农业中的三维形状感知，并研究了它们在基于形状从背景中分割水果的可用性。这两款相机分别是英特尔RealSense D435红外立体传感器和飞行时间Pico Zense DCAM710，使用不同方法感知的4个不同数据集的点云形状比较，如图1。

　　图1 比较不同的水果/植物和传感技术，它们的点云和RGB图像，以及形状和表面分析的正常变化率。(A)富士苹果数据集，(B)西兰花数据集，(C)草莓立体相机，(D)草莓ToF。

　　提出了一种新的3D深度神经网络，网络结构如图2，它利用了来自基于相机的3D传感器的信息的组织性。

　　图2 CNN3D体系结构用于语义分割。箭头表示编码器和解码器之间的跳过层连接。

　　为了充分评估当前三维传感技术和所提出的分割方法的局限性，提出引入一个真实的模拟环境，该环境具有与真实设备相似的特征和参数，但允许控制深度传感质量。模拟的固有部分是一个现实的环境，如图3和图4。真实农场如图5。

　　图3 在Unity引擎中实现桌面草莓农场的逼真模拟。

　　图4 通过模拟传感器看到的草莓场侧视图，包括彩色图像(a)、深度图像(b)、曲率图(c)和地面真实注释(d)。

　　图5草莓农场，一个机器人在桌子上收集数据(左图)。用于数据采集的传感器设置(右)。

　　与最先进的3D网络相比，显示该架构的优越性能和效率，如表1，具体输出如图6。图7展示了每个传感器的放大示例。出现了相同的错误特征，立体相机数据缺乏形状和增加假阴性，ToF创建噪声区域增加假阳性，噪声添加到模拟数据，模糊草莓周围的区域，产生不精确的物体轮廓。

　　表1 与2D和3D网络相比，提出的CNN3D架构的性能。

　　图6 CNN3D对来自立体(上行)、ToF(中行)和模拟数据(下行)的数据进行训练后的分割结果。颜色分别为TP(绿色)、FP(橙色)、FN(紫色)、TN(灰色)和no data(黑色)。左栏是一个下面的视图，而右边是一个侧视图(除了模拟，两者都是侧视图)

　　图7 CNN3D对来自立体(左)、ToF(中)和模拟数据(右)的数据进行训练，在特别困难的情况下，分割结果的精细细节。颜色分别为TP(绿色)、FP(橙色)、FN(紫色)、TN(灰色)和no data(黑色)。

　　这项工作的结果将鼓励研究人员和公司开发更精确、更强大的3D传感技术，以确保它们在实际农业应用中得到更广泛的应用。

　　来源：Le Louëdec J, Cielniak G: 3D shape sensing and deep learning-based segmentation of strawberries. Computers and Electronics in Agriculture 2021, 190:106374.

　　编辑：王春颖