学术中心
CTWheatNet:田间小麦穗精确检测模型
发布时间:
2024-09-09
来源:
作者:
麦穗检测是麦田产量估算中不可缺少的环节,是实现麦田科学管理的关键。然而,田间麦穗形状各异,重叠频繁,且易受光照变化的影响,这给麦穗检测工作带来了重大挑战。为了满足田间产量估算的要求,提高麦穗检测精度,本文提出了CTWheatNet模型,该模型将CNN和Transformer相结合,克服了各自在麦穗检测任务上的局限性,实现了田间麦穗的精确检测。首先,提出了一种CNN特征提取模块,获取多尺度麦穗特征,避免了因斑块切割导致的麦穗边缘信息丢失;特征处理模块采用双分支结构,实现多尺度特征的交互融合。其次,将CNN特征提取模块的输出输入到Transformer特征提取模块中,捕获全局麦穗特征。双分支关注机制的多分支自关注模块同时关注低/高分辨率特征,以获得局部依赖和全局特征。为了降低自注意模块的计算成本,提高模型的适用性,提出了四元注意。最后,在公共麦穗数据集(GWHD-2021)上对该模型进行了验证。实验结果表明,CTWheatNet的检测准确率为52.7% AP和93.0% AP50。与其他先进模型相比,CTWheatNet的性能也很好。该模型可为麦田产量估算和其他谷类作物检测过程中的智能计数提供技术支持和理论参考。
图1 麦穗数据集的例子提出了各种挑战。
图2 原始图像和增强图像显示。
图3 CTWheatNet的网络架构。
图4 FFN-T和MBSA-T块的结构。
图5 MBSA的架构。
图6 Softmax的架构。
图7 Quad 注意力的结构。
图8 GT框与预测框的回归。黄框是GT框,蓝框是预测框。红色箭头表示偏移量。
图9 各模型在不同类型下的评价指标图。


图10 麦穗检测图像的视觉比较。
图11 部分放大的复杂区域的小麦图像。
Guan, Y., Pan, J., Fan, Q., Yang, L., Yin, X., & Jia, W. (2024). CTWheatNet: Accurate detection model of wheat ears in field. Computers and Electronics in Agriculture. 109272.
编辑
王春颖
推荐新闻
视频展示