无人机RGB图像中玉米雄穗的轻量化检测与计数


发布时间:

2025-03-03

来源:

作者:

将无人机遥感与先进的深度目标检测技术相结合,实现玉米雄穗的大规模、高通量检测与计数。然而,高光照会模糊反射区域的特征,而低光照会阻碍特征识别。现有的方法难以平衡实时性能和准确性。为了应对这些挑战,提出了基于YOLOv8框架的轻量级网络DLMNet。DLMNet的特点是:(1)有效的通道和空间注意机制(efficient channel and spatial attention mechanism,ECSA),在低光照条件下抑制高反射噪声,增强细节;(2)动态特征融合模块(dynamic feature fusion module,DFFM),通过动态融合浅特征和深特征,提高流穗识别能力。此外,建立了不同光照条件下(低光照、正常光照和高光照)的玉米雄穗检测与计数数据集(MTDC-VS),包含22,997个真实玉米雄穗目标。实验结果表明,在MTDC-VS数据集上,DLMNet的检测准确率AP50为88.4%,比基线YOLOv8模型提高了1.6%,参数数量减少了31.3%。DLMNet的计数指标r2为93.66%,比YOLOv8高0.9%。在公开的玉米雄穗检测与计数数据集(MTDC)上,DLMNet的AP50值达到83.3%,比YOLOv8提高了0.7%,进一步证明了DLMNet出色的泛化能力。该研究增强了模型对阳光的适应性,在次优条件下实现了高性能,并为无人机技术的实时智能农业监测提供了见解。

 

1  玉米雄穗细节图像。(a)原始图像;(b)玉米雄穗细部图像;(c)经过图像增强后的玉米雄穗细节图。

 

图2  图像收集区域。

 

图3 无人机采集地点及无人机型号。

 

图4  数据处理流程图

 

图5  不同光照强度下田间玉米雄穗数据集。(a)正常阳光条件下的玉米雄穗图像;(b)强光条件下玉米雄穗图像;(c)低光照条件下的玉米雄穗图像。


 图6  DLMNet网络架构。(a) Backbone Network; (b) Neck Section; (c) Detection Head;

(d) C2F Structure; (e) BottleNeck Structure; (f) SPPF Structure; (g) Detect Section; (h) CBS Structure

 

图7  ECSA模块的详细信息。

 

 图8  DFFM模块细节。

 

 图9  显示了DLMNet在两个数据集(MTDC- vs和MTDC)上与其他八个高级检测网络相比的精度(Pr)和召回(Re)性能。每个条上的数字表示相应度量的具体值。蓝色条表示MTDC- vs数据集上的Precision,橙色条表示MTDC- vs数据集上的Recall,黄色条表示MTDC数据集上的Precision,绿色条表示MTDC数据集上的Recall。

 

图10  DLMNet网络在高、低光照条件下对玉米雄穗的检测结果。(a)为强日照条件下的检测结果。(b)为低日照条件下的检测结果。红框表示DLMNet网络检测到的玉米雄穗。

 

 图11  现有8个先进检测网络在强日照条件下对玉米雄穗的检测结果。第一行为高日照条件下RetinaNet、SSD、CenterNet和FCOS网络的检测结果。(a-h)分别为RetinaNet、SSD、CenterNet、FCOS、YOLOv8、YOLOv10、YOLOv11、TasselLFANet模型的检测结果。红色实框表示每个网络检测到的玉米穗。蓝色实框表示网络错误地将玉米穗枝检测为独立玉米雄穗的区域。黑色实框表示缺失的玉米雄穗。第二行显示误检和漏检的详细视图,显示在紫色实框中。第三行显示DLMNet网络对相同区域的检测细节,用绿色实框表示。第四行为高日照条件下YOLOv8、YOLOv10、YOLOv11和TasselLFANet网络的检测结果。图像中的淡蓝色方向线指向原始图像中遗漏或误检测区域的具体细节。

 

图12  展示了8种先进检测网络在低光照条件下对玉米雄穗的检测性能。第一行为低光照条件下,RetinaNet、SSD、CenterNet和FCOS网络对玉米穗的检测结果。(a-h)分别为RetinaNet、SSD、CenterNet、FCOS、YOLOv8、YOLOv10、YOLOv11、TasselLFANet模型的检测结果。图中,红色实框表示每个网络检测到的玉米雄穗目标。黄色实框表示网络将玉米穗枝误认为独立的玉米雄穗目标的区域。浅蓝色实框表示网络错过玉米雄穗目标的区域。第二行被紫色实框包围的图像,代表了网络误检和漏检区域的详细视图。第三行用绿色实框包围的图像显示了DLMNet在同一区域的检测细节。第四行为低光照条件下YOLOv8、YOLOv10、YOLOv11和TasselLFANet网络对玉米雄穗的检测性能。绿色有向线表示原始图像中误检测或遗漏检测区域的具体细节。

 

图13  模型计数结果散点图。绿色曲线为理论计数结果,红色曲线为实际计数结果。左上角的区域显示两条曲线的偏差和斜率,右下角提供各种计数指标的详细数据。

 

  图14 不同模型的计数结果。(a-f)表示从测试集中随机选择的6张图像进行计数。图中数字表示模型统计的玉米雄穗数,红框表示模型检测到的玉米雄穗目标。


来源

Yang, H.; Wu, J.; Lu, Y.; Huang, Y.; Yang, P.; Qian, Y. Lightweight Detection and Counting of Maize Tassels in UAV RGB Images. Remote Sens. 2024, 17, 3. 

 

编辑

王春颖
 

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。