应用案例

AgroCounter:一个利用深度学习算法对农业物体计数的资源库的框架与评估


发布时间:

2024-06-01

来源:

作者:

AgroCounters是一个利用深度学习算法对农业领域图像中的物体进行计数的开源资源库。本文介绍了AgroCounters的框架,该框架集成了最先进的深度学习模型,包括基于回归的计数、基于检测的计数和基于密度估计的计数,以准确地对单张图像中的各种农业物体(如水果、蔬菜和牲畜)进行计数。该框架利用迁移学习技术优化模型在农业领域有限标注数据上的表现。我们提供了AgroCounters的开源实现,包括多种计数应用的算法和一个工具箱,该工具箱包括度量标准、训练数据工具、可视化以及多个计数方法的开源实现的简单安装指南。我们评估了AgroCounters在多个来自RGB传感器的农业数据集上的表现,这些数据集包括植物叶片、甜瓜、小麦粒、樱桃番茄、葡萄、苹果花、香蕉(果实和叶片)、梨和鸡。我们比较了各种实现方法在这些数据集上的结果,并展示了每种数据集最合适的解决方案。最新的YOLOv5目标检测器在所有被检查的数据集上提供了最佳结果,而Faster-RCNN和RetinaNet之间没有明显的“赢家”。基于分析的数据集,当需要更高精度时,应使用直接回归网络(DRN);对于小数据集,多尺度回归(MSR)提供了更优异的结果。基于这些发展,我们提出了针对农业应用开发基于深度学习的计数解决方案的指南,重点介绍了农业领域的解决方案和最佳实践。总的来说,AgroCounters为农业领域的自动化计数提供了一个有前景的解决方案,具有减少手工劳动、改善作物管理和提高生产力的巨大潜力。

 

图1 直接回归。该架构是最简单的计数实现。它基于一个CNN骨干网络,使用回归头代替原来的分类头。

 

图2 多尺度回归(MSR)模型。该架构基于RetinaNet实现。在本工作中,我们使用了两个变体:MSR1和MSR2。MSR1仅使用金字塔层来预测最终的计数估计。它的参数比MSR2少,因此运行速度更快。MSR2使用了五个金字塔层中的每一个,并为每个层级附加了一个计数子模型,每个子模型输出一个计数估计。由于有五个计数估计,我们使用了Farjon等人(2021)提出的MLE高斯融合方法来输出最终的计数估计。

 

图3 Faster-RCNN模型。该算法是一个两步的目标检测器。第一步是生成可能包含物体的ROI(感兴趣区域)。第二步是将ROI分类到目标类别。

 

图4 YOLOv5模型。该模型的设计与YOLOv4相同,但在工程上进行了一些改进,从而成为最先进的目标检测器。由于YOLOv5实现简单易用,因此我们采用了该实现。

 

图5 RetinaNet架构。该网络由Lin等人(2017b)提出。该架构包括基于CNN的骨干网络、特征金字塔网络(FPN)以及检测和回归子网络。

 

图6 检测和回归网络。该算法基于RetinaNet实现。它使用金字塔层来检测和计数物体实例。由于金字塔层包含高级特征表示,并且最接近原始图像分辨率,因此可以找到大小不同的物体。

 

图7 数据集中的示例图像。A-D—来自叶片计数挑战(LCC)中计算机视觉植物表型测定问题(CVPPP)的A1-A4。E—甜瓜数据集,一张完整图像及其提取的一个小块示例。F—小麦穗上小麦粒的计数。G—笼中鸡只的计数。H—灌木上樱桃番茄簇的计数。I—簇中樱桃番茄的计数。J—葡萄藤上葡萄簇的计数。K—每个葡萄簇中葡萄数量的计数。

 

图8 数据集中的示例图像。A—苹果花:一张完整图像及其提取的一个小块示例。B—香蕉串上的香蕉果实。C—树上的梨。D—盆栽植物上的香蕉叶。

 

图9 小麦穗预测每穗粒数的可视化。使用我们开发的可视化工具,我们能够可视化中间层和最终预测的激活情况。该示例来自DRN模型的预测。红色椭圆突出显示了主穗后面的一个小麦穗,该穗未被标注,但算法仍然检测到了并计数了小麦粒。这些示例表明,错误的标注可能导致不正确的预测。

 

图10 在同一图像上比较目标检测器。YOLOv5s检测器呈现出最佳结果。

 

图11 对苹果花进行基于RetinaNet检测的计数的可视化。绿色框表示地面实况标注。红色框表示检测器预测的框。蓝色箭头指向一个FN示例。红色箭头指向FP示例;黄色箭头指向错误的未标记示例。

 

图12 两年连续的苹果树。即使是单一年份也可能产生极端的变异性,因此,收集多个季节的数据并考虑可能变异的每一个方面非常重要。

 

图13 不同数据集上检测器的示例结果。A—YOLOv5在樱桃番茄数据集图像上的结果。B—YOLOv5在甜瓜数据集图像上的检测结果。C—Faster-RCNN在梨数据集图像上的结果。D—RetinaNet在葡萄数据集图像上的结果。

 

来 源

Farjon G, Edan Y. AgroCounters—A repository for counting objects in images in the agricultural domain by using deep-learning algorithms: Framework and evaluation[J]. Computers and Electronics in Agriculture, 2024, 222: 108988.

https://doi.org/10.1016/j.compag.2024.108988

 

编辑

小王博士在努力

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。