CTWheatNet:田间小麦穗精确检测模型


发布时间:

2024-09-09

来源:

作者:

麦穗检测是麦田产量估算中不可缺少的环节,是实现麦田科学管理的关键。然而,田间麦穗形状各异,重叠频繁,且易受光照变化的影响,这给麦穗检测工作带来了重大挑战。为了满足田间产量估算的要求,提高麦穗检测精度,本文提出了CTWheatNet模型,该模型将CNN和Transformer相结合,克服了各自在麦穗检测任务上的局限性,实现了田间麦穗的精确检测。首先,提出了一种CNN特征提取模块,获取多尺度麦穗特征,避免了因斑块切割导致的麦穗边缘信息丢失;特征处理模块采用双分支结构,实现多尺度特征的交互融合。其次,将CNN特征提取模块的输出输入到Transformer特征提取模块中,捕获全局麦穗特征。双分支关注机制的多分支自关注模块同时关注低/高分辨率特征,以获得局部依赖和全局特征。为了降低自注意模块的计算成本,提高模型的适用性,提出了四元注意。最后,在公共麦穗数据集(GWHD-2021)上对该模型进行了验证。实验结果表明,CTWheatNet的检测准确率为52.7% AP和93.0% AP50。与其他先进模型相比,CTWheatNet的性能也很好。该模型可为麦田产量估算和其他谷类作物检测过程中的智能计数提供技术支持和理论参考。

 

图1  麦穗数据集的例子提出了各种挑战。

 

图2  原始图像和增强图像显示。

 

图3  CTWheatNet的网络架构。

 

图4  FFN-T和MBSA-T块的结构。

 

图5  MBSA的架构。

 

图6 Softmax的架构。

 

图7  Quad 注意力的结构。

 

图8  GT框与预测框的回归。黄框是GT框,蓝框是预测框。红色箭头表示偏移量。

 

图9  各模型在不同类型下的评价指标图。

 

图10  麦穗检测图像的视觉比较。

 

图11  部分放大的复杂区域的小麦图像。

 

来 源

Guan, Y., Pan, J., Fan, Q., Yang, L., Yin, X., & Jia, W. (2024). CTWheatNet: Accurate detection model of wheat ears in field. Computers and Electronics in Agriculture. 109272.

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。