MFNet:复杂场景下小麦抽穗检测与计数的多尺度特征增强网络


发布时间:

2024-09-19

来源:

作者:

由于田间麦穗分布密集、大小多样,且杂草覆盖严重,开发高精度的麦穗检测算法具有挑战性。在这项工作中,我们提出了用于复杂场景下麦穗检测和计数的多尺度特征增强网络(MFNet)。首先,引入一种可变形空间注意机制(deformable spatial attention mechanism,DSAM)并将其嵌入到主干网络中,在抑制无关特征的同时增强对麦穗特征的提取,有效提高了闭塞环境下麦穗的检测效果。其次,结合改进的轻量化特征金字塔模块,设计了多尺度感受野特征融合(multi-scale receptive field feature Fusion,MRFF)模块,实现了对不同尺寸麦穗的更精确检测,同时提高了定位精度;此外,改进的可变形卷积检测头能够适应不同形状的麦穗特征,并能准确预测边界盒。提出的方法在GWHD数据集上以30 FPS的速度达到94.2% AP@50,为了验证所提出方法的通化性,构建了一个带注释的密集小麦麦穗检测(DWHD)数据集,在DWHD和SPIKE数据集上进行了实验,并将它们与最先进的算法进行了比较。实验结果表明,所提方法优于现有的大多数方法,进一步证明了所提方法的优越性和鲁棒性,也证明了我们的模型具有优异的适应性,能够灵活应对复杂田间环境下尺度差异显著和严重遮挡的麦穗场景,为小麦表型监测提供了技术参考。

 

图1  实验现场和无人机麦穗图像。(a)原始图像,(b)翻转图像,(c-f)手动标记图像。

 

图2  来自数据集的图像示例:(a) GWHD数据集,(b) SPIKE数据集和(c) DWHD数据集。

 

图3  MFNet的总体框架。它包括四个部分:(a)数据增强:通过对输入数据进行随机翻转和随机截断操作来增强样本的复杂度;(b)特征提取:从输入图像中提取麦穗特征;(c)特征融合:对(b)中提取的不同尺度的特征图进行融合,增强麦穗特征;(d)检测头:输出三个分支,分别用于麦穗特征分类、回归和质心校正。

 

图4  骨干网络。(a)骨干网总体结构,由5个阶段组成。(b) Resnet50。(c)内置Dconv和DSAM。

 

图5  建议的DFPN。设计的MRFF结合改进的特征金字塔网络,最终输出三种不同尺度的特征映射。

 

图6 GWHD数据集小麦穗尺度统计。

 

图7  修改后的检测头。回归分支和中心性分支共享参数,在分类分支中分离。

 

图8  最新技术检测性能的可视化比较。

 

图9  MFNet可以在密集和阴影场景中准确检测麦穗,但对于严重遮挡的场景,MFNet会被误认为是麦穗。

 

来 源

Yurong Qian, Yugang Qin, Hongyang Wei, Yiguo Lu, Yuning Huang, Peng Liu, Yingying Fan. MFNet: Multi-scale feature enhancement networks for wheat head detection and counting in complex scene. Computers and Electronics in Agriculture, 2024. 109342. 

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。