TasselNetV2++:双分支植物计数网络


发布时间:

2024-07-08

来源:

作者:

植物计数在评估播种机效益、评估种子质量、制定农业管理计划和估计作物产量方面发挥着重要作用。鉴于其重要性和获取农业图像的便利性,开发适用于各种农业环境的端到端基于图像的植物计数模型至关重要。提出的TasselNetV2++是用于植物计数的TasselNetV2+的改进版本,在保持现有规范化的同时,对其编码器和计数器进行了显著的增强。在编码器中,本文设计了一个双分支架构,一个分支是定制的YOLOv5s主干,另一个分支是配备了注意机制的原始编码器。正是双分支架构下的分支级迁移学习,结合多层融合,极大地增强了网络在多种场景下的特征提取能力。此外,计数器还通过注意机制得到增强,该机制可以根据平均池化重新校准其对关键空间位置和通道明智特征的关注。实验结果表明,TasselNetV2++在多个计数任务上优于其前身。与TasselNetV2+相比,TasselNetV2++实现了相对均方根误差(rRMSE)的大幅降低。其中,大豆种苗计数数据的rRMSE相对降低33.3%,小麦穗检测数据的rRMSE相对降低8.4%,玉米穗计数数据的rRMSE相对降低28.6%,高粱穗计数数据的rRMSE相对降低18.0%。特别是,消融实验证明了分支级迁移学习在实现精确植物计数中的重要性。分支级迁移学习使大豆幼苗的rRMSE显著降低,分别为31.4%、7.9%、36.5%和2.0%。提出的TasselNetV2++取得了显著的进步,并引入了一种简单而高效的分支级迁移学习策略。

 

图1  54个大豆品种试验田地理定位及无人机影像分布。

 

图2  三层NSPH的边界框和虚线标注:(a)和(b)每孔1粒种子;(c)和(d)每孔2粒种子;(e)和(f)代表每孔3粒种子。

 

图3  TasselNetV2+的架构。

 

图4  CBAM-TasselNetV2+架构。

 

图5  yolov5 - counter的体系结构。

 

图6 BranchCatCount的框架。

 

图7  TasselNetV2++的框架。

 

图8  SSC数据集计数结果的可视化。

 

图9  WED数据集计数结果的可视化。

 

图10  MTC数据集计数结果的可视化。

 

图11  SHC数据集计数结果的可视化。

 

图12  多数据集模式雷达图:(a) SSC数据集不同模式雷达图;(b) ww数据集上不同模式的雷达图;(c) MTC数据集上不同模式的雷达图;(d) SHC数据集上不同模式的雷达图。

 

来 源

Xue, X., Niu, W., Huang, J., Kang, Z., Hu, F., Zheng, D., Wu, Z., & Song, H. (2024). TasselNetV2++: A dual-branch network incorporating branch-level transfer learning and multilayer fusion for plant counting. Computers and Electronics in Agriculture.

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。