无人机小麦穗检测深度学习方法


发布时间:

2022-07-15

来源:

本站

作者:

PhenoTrait

  从麦田图像中检测和表征穗子对于精确农业的小麦生长监测至关重要。随着各种技术的发展,基于深度学习的方法已经显著地提高了小麦穗的检测性能。然而,由于田间小麦高穗遮挡和复杂背景会导致错检和漏检的问题,在无人机图像中检测小的和重叠的小麦穗仍具有挑战性。本文提出了一种用于定向小尺寸小麦穗检测的深度学习方法(OSWSDet)。与经典的小麦穗粒检测方法不同,OSWSDet通过集成圆形平滑标签(CSL)和微尺度检测层,将小麦穗粒的方向引入YOLO框架。这些改进提高了检测小尺寸麦穗的能力,防止了麦穗检测错误。实验结果表明,OSWSDet优于经典的麦穗检测方法,平均精度(AP)为90.5%。OSWSDet能够准确地检测出具有复杂田间背景的无人机图像中的麦穗,为今后田间小麦表型监测提供了技术参考。

 

  图1 实验地点和无人机的麦穗图像。(a)清晰的图像,(b)模糊的图像,(c)人工标注的图像。

 

  图2 OSWSDet 的总体框架。红色标签是OSWSDet中提出的改进,包括 CSL(圆形平滑标签)、微尺度检测层、基于 CIoU(Complete Intersection over Union)和 RNMS(Rotation Non-Maximum Suppression)的优化定位损失。

 

  图3 据增强:(a)原始图像,(b)旋转90°,(c)旋转180°,(d)旋转270°,(e)垂直翻转,(f)水平翻转,(g)和(h)亮度平衡。

 

  图4 两个定向检测框的 WIoU 计算。左图显示了小麦穗的定向检测框,右边的6幅图像显示了两个重叠框之间重叠区域的形状。根据形状的不同,两个重叠框有6种不同类型的黄色相交图,可以用三角形的面积来计算WIoU:(a)相交图是三角形,(b)相交图是四边形,(c)相交图是五边形,(d)相交图是六边形,(e)相交图是七边形,(f)相交图是八边形。

 

  图5 所提方法和其他最先进方法的小麦穗子检测的精确性和召回率曲线。

 

  图6图像上标注的真实穗子数量与Faster RCNN、SSD、standard YOLOv5、standard YOLOv5 with micro-sclae layer、standard YOLOv5 with micro-sclae layer and CIoU以及OSWSDet估计的穗子数量的比较。

 

  图7 角度等级的小麦穗数从0到179,具有100个以上小麦穗的类标有特定编号。

 

  图8使用OSWSDet(a)和标准YOLOv5(b)的检测结果。红色边框代表检测结果。

 

  图9使用CSL(a)和无CSL(b)角度分类的模型检测结果。红色边框表示检测结果。

 

  图10 不同大小的穗子的数量分布。

 

  图11在训练过程中,用微尺度检测层(a)、小尺度检测层(b)、中尺度检测层(c)和大尺度检测层(d)实现的正样本边界框和麦穗边界框。正样本边界框(浅蓝色)。小麦穗的边界框(粉红色)。

 

  图12使用CIoU进行定位损失的模型的检测结果(a)和使用IoU进行定位损失的检测结果(b)。红色边框代表检测结果。

 

  来源:Zhao J, Yan J, Xue T, et al. A deep learning method for oriented and small wheat spike detection (OSWSDet) in UAV images[J]. Computers and Electronics in Agriculture, 2022, 198: 107087.

  https://doi.org/10.1016/j.compag.2022.107087

  

  编辑:小王博士在努力

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。