基于立体视觉的密集场景植物检测


发布时间:

2024-05-15

来源:

作者:

自动化精确杂草控制需要直观的方法来区分作物和杂草。现有的植物检测方法无法可靠地检测杂草,特别是在密集和闭塞的场景中。在过去,使用手工制作的检测模型,同时使用颜色(RGB)和深度(D)数据在密集场景中进行植物检测。值得注意的是,颜色和深度数据的组合并没有广泛应用于当前基于深度学习的农业视觉系统中。因此,使用立体视觉相机收集了RGB-D数据集。该数据集包含甜菜作物在多个生长阶段与不同的杂草密度。该数据集是公开的,并用于评估两种新的植物检测模型:D模型,使用深度数据作为输入;CD模型,使用颜色和深度数据作为输入。为了便于使用,对于现有的2D深度学习架构,深度数据使用颜色编码转换为2D图像。作为参考模型,C模型仅使用颜色数据作为输入。深度图像训练数据的可用性有限,需要使用数据增强和迁移学习。使用三种检测模型,研究了深度数据转换为二维图像的数据增强和迁移学习的有效性。研究发现,几何数据增强和迁移学习对于参考模型和使用深度数据的新模型都是同样有效的。这表明将颜色编码深度数据与几何数据增强和迁移学习相结合可以改进RGB-D检测模型。

 

图1  图像采集设置。(a)安装在田间拖拉机后面的图像采集装置。摄像头用红圈表示;(b)立体摄像机。

 

图2  校正彩色图像和彩色编码深度图,颜色条显示与每种颜色对应的像素差。请注意,由于直接的自然阳光,在彩色图像中存在强烈的阴影,并且深度图没有显示照明的变化。请注意,在植物叶片的边缘附近,深度值丢失,因为这些区域在图像对的其中一张图像中被遮挡。

 

图3  随机几何数据增强的例子。这些示例图像中的每一个都派生自相同的原始图像。可以看到旋转、平移、缩放和翻转的变化。剪切转变的影响是有限的。颜色编码的视差映射和彩色图像接受了完全相同的转换,因此仍然对齐。

 

图4  光谱数据增强的例子。深度图和彩色图像没有得到完全相同的光谱变换。深度图上的亮度可能会增加,而彩色图像上的亮度可能会降低。

 

图5  不同数据增强方案对检测性能的影响。左图显示了模型对甜菜类的性能,右图显示了模型对马铃薯类的性能。误差条表示在所有测试样本上计算的平均值的标准误差。

 

图6  使用双侧Wilcoxon检验检验不同模型实例之间差异的显著性。左图显示了甜菜类的结果,右图显示了马铃薯类的结果。

 

图7  使用迁移学习的结果,甜菜和马铃薯类的检测性能。误差条表示在所有测试样本中计算的平均值的标准误差。

 

图8  C-、D-和CD -模型对不同植被密度的检测性能。在y轴上,检测性能表示为AP,在x轴上,植被密度表示为图像中被绿色像素覆盖的百分比。计算每10%植被密度类别的性能。左图显示了甜菜类的性能,右图显示了马铃薯类的性能。透明区域表示平均值的标准误差。

 

图9  C-、D-和CD -模型在三种不同植被密度下的检测性能。三列图分别表示0 ~ 10%、40 ~ 50%和80 ~ 90%的植被密度。对于每个植被密度,选择一个场景,每个检测模型显示同一场景上的检测结果。第1行是C模型的检测结果在彩色图像上的可视化,第2行是D模型的检测结果,在彩色和深度图像上的可视化,第3行是CD模型的检测结果,在彩色和深度图像上的可视化。

 

来 源

Ruigrok, T.; van Henten, E.J.; Kootstra, G. Stereo Vision for Plant Detection in Dense Scenes. Sensors 2024, 24, 1942.

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。