WheatLFANet:利用高实时性的全局回归网络进行田间麦穗检测与计算


发布时间:

2023-12-06

来源:

作者:

麦穗的检测和计算在植物科学领域具有重要研究意义,可以用于作物田间管理、产量预测和表型分析,随着计算机视觉技术在植物科学中的广泛应用,自动化高通量植物表型平台的监测成为可能。目前,许多创新方法和新技术被提出,在麦穗识别的准确性和稳定性方面取得了重大进展。然而,这些方法需要高性能的计算设备,从而缺乏实用性。在资源受到限制的情况下,这些方法无法得到有效的应用和部署,从而无法满足实际应用的需求。根据最近的玉米雄穗研究,我们提出了TasselLFANet,这是目前蕞先进的检测和计数玉米雄穗的神经网络。在此工作的基础上,开发了一个称为WheatlFANet的高实时轻量级神经网络用于麦穗检测。WheatlFANet具有更紧凑的编码器-解码器结构和有效的多维信息映射融合策略,使其能够在低端设备上高效运行,同时保持了较高的准确性和实用性。在全球麦穗检测数据集上的评估报告表明,WheatlFANet优于其他先进方法,其平均精度AP为0.900,预测值与真实值之间的R²值为0.949。此外,它的运行速度比所有其他方法都快一个数量级( Tassel LFANet : FPS : 61)。大量实验表明,WheatlFANet表现出比其他先进方法更好的泛化能力,在保持精度的同时实现了一个数量级的速度提升。本研究的成功证明了在低端设备上实现实时小麦穗重检测的可行性,也表明了简单强大的神经网络设计的实用性。

 

图1 小麦麦穗自动识别的视觉挑战和难点

a 由于不同地区的品种差异而导致的外观变异

b 不同生长阶段导致的质地差异

c 由于天气条件变化引起的光照变化

d 精耕细作造成的密集分布和显著遮挡

e 复杂背景导致的多样性和诱导的视觉形态

f 由风、成像角度和视角差异引起的形态变化

 

图2 Gwhd-2021数据集的样本,下标对应于源码

 

图3 GWHD-2021数据集中的实例分布,红线表示每幅图像的中位数实例数,黄线表示每幅图像的平均实例数

 

图4 WheatLFANet全局回归架构,输出通道数C1、C2和C3分别为32、64和128,( Conv k × k),其中k为卷积核的大小,相比于TasselLFANet的核心架构,下采样方法由普通的Conv层代替,特征映射层为更轻量级的CSPLayer

 

图5 不同方法的预测结果示意图,GT表示真实计数,PD表示预测计数,红色点是基于GWHD-2021数据集的人工标注

 

图6 模型的计数检验结果图,左图显示了模型预测计数和真实计数的线性回归结果,右图显示了计数误差的直方图,每个模型的计数误差的中值点被标记成一条红线

 

图7 Area-F1-Confdence ( AFC )曲线

 

图8 比较了不同模型在不同分辨率下的速度,WheatLFANet显示出绝对的优势

 
来 源

Jianxiong Y ,Zhenghong Y ,Yangxu W , et al. WheatLFANet: in-field detection and counting of wheat heads with high-real-time global regression network.[J]. Plant methods,2023,19(1).

 

编辑

王瑞丹

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。