多生育期植物识别实例:棉花田中的棕榈苋识别


发布时间:

2023-08-17

来源:

本站

作者:

PhenoTrait

用于植物育种、大田作物研究和特定地点的作物管理的先进的、基于图像的精准农业技术都依赖于对形态高度可变生长阶段的植物进行可靠的检测和表型分析,而卷积神经网络( Convolutional Neural Networks,CNNs )在基于图像的植物表型分析和杂草识别方面表现出了良好的前景,但它们识别的能力经常受到外观差异的影响,所以对生长阶段的识别并不稳定,在棉花(陆地棉)生产过程中,长芒苋( Palmer amaranth )是一个特别棘手的杂草植物,由于高度的遗传多样性,在生长季节的不同生长阶段以及在特定生长阶段的植物之间都表现出高度变异的植物形态。在本文中,我们研究了棉花中长芒苋的八类生长阶段识别,作为You Only Look Once ( YOLO )架构的一个具有挑战性的模型。我们在长芒苋的8类生长阶段数据集上比较了来自YOLO v3、v5、v6、v6 3.0、v7和v8的26种不同变体。v8-X对所有生长阶段类的最高mAP@ [0.5:0.95 ]为47.34 %,在视觉相似的生长阶段类间混淆。将所有生长阶段归为一类,识别能力有所提高,v7- Original的平均精度最高( mAP@ [0.5:0.95])达到67.05 %,v5-X实现了高达81.42 %的单类召回率,v8-X实现了高达89.72 %的准确率。类激活图( CAM )用于理解复杂数据集上的模型,按视觉或尺寸特征分类提高了8类数据集上生长阶段的真实性,生长阶段的成功检测凸显了利用开源目标检测架构改进植物表型鉴定和杂草识别技术的重大机遇。

左下                                右下

图1 装载FLIR BlackFly BFS-7C-C相机的自定义图像采集背包(顶部);田间视角,棉花行内背包界面(左下)和灌水器下棉花行背包界面(右下)。

 

图片

图2 长芒苋YOLO物种和变体在单个(上)类和所有8个(下)类上训练的成长阶段识别表现,同一YOLO物种内的变体由相似的颜色表示,每个系列内最大的变体表现相似。

图3 在完整的八类数据集(灰色)上测试时,单类训练的v5-X ( 1280 × 896分辨率)模型(橙色)之间的类间错误分类在幼苗、开花单茎类和丛生开花类的分组中,更相似的外观之间的类间混淆更大。

 

图4 使用图像大小为1600 × 1120的v5-X算法对八个类别中的每个类别进行高置信度的错误检测的五个例子。

 

图片

图5 选取YOLOv5 M在640 × 448图像分辨率下叠加特征类激活图( Eigen class activation map,CAM )的测试图像进行分析。对模型检测有贡献的区域用红色表示,贡献较小的区域用蓝黄色表示,明显发现棉花冠层和其他一些背景杂草模型产生了混淆。

 

图6 通过YOLOv5 M架构进行逐层的特征类激活映射( Eigen class activation map,CAM )。第1层到第23层对应卷积层。为了提高效率,去掉最大池化层的影响。最后三层与检测头相对应。

 

图7 对8个类别中每个类别的不同地面像素宽度的召回率进行相关性分析。随着图像分辨率的降低,像素宽度增加,导致对较小杂草的识别能力降低。较大的模型变体受到降低的分辨率的影响越小,然而,在杂草尺寸最小的情况下,性能仍有大幅度的降低。

 

图8 生长阶段在的四个分辨率下的检测示意图、v5-X和v5-N模型变体。在低分辨率下,较小模型和较大模型之间的差异存在明显差异。

 

图9 通过每个基于大小的类的平均边界框面积,四个模型度量指标(精确率、召回率、mAP0.5和mAP0.5:0.95)在八类检测中的性能变化。通过比较1600 × 1120和320 × 224分辨率图像的性能,计算性能的变化。随着包围盒面积的增大,性能提升幅度减小。回忆量的变化受边界框面积增加的影响最大,表明在低分辨率下,体型小的植物往往被遗漏。

 

图10 v5X模型在1280 × 896不同类别分组下的表现变化。更多的类降低了所有度量的性能。特有识别的视觉特征进行手动分组或根据包围盒大小进行自动分组并没有显著改变。

 

图11 模型大小和图像大小直接影响模型的计算需求,包围盒面积与最低和最高分辨率图像之间的性能变化之间的所有指标和变量都存在显著的负相关关系,这一结果证实了在高分辨率下,对于更大的物体,性能增益会降低。高分辨率图像为小的物体生长阶段提供了巨大的好处,但是在高分辨率下大物体有精度损失的迹象。

比较在1280 × 896图像分辨率下手动分组(橙色)和尺寸分组的八类(深灰色) YOLOv5X模型的分类性能。在每个类中都与手动标签进行比较,但这些标签并不反映基于大小的组,而是为每个大小组中均匀分布的实例自动计算的。

 

来 源

Guy RY Coleman, Matthew Kutugata, Michael J Walsh, et al. Multi-growth stage plant recognition: a case study of Palmer amaranth (Amaranthus palmeri) in cotton (Gossypium hirsutum).ArXiv [Preprint]. 2023 Jul

 

编辑

王瑞丹

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。