茂密叶子的像素实例分割


发布时间:

2022-04-02

来源:

本站

作者:

PhenoTrait

  利用图像分析对植物进行检测和识别是精准农业中许多应用的关键步骤(从表型分析到特定场地的杂草管理)。实例分割通常用于检测整个植物。然而,被检测物体的形状在个体和生长阶段之间会发生变化。减少这些变化的一个相关方法是缩小对叶子的检测范围。然而,当图像中包含混合的植物种类,当个体重叠时,尤其是在不受控制的户外环境中,分割叶子是一项困难的任务。

  为了充分利用这一问题,本研究基于最新的卷积神经网络机制,提出了一种基于像素的实例分割方法来检测茂密叶子环境中的叶子,如图1,其中输入图像如图2,试验地点如图3,图像是用六波段多光谱相机拍摄(图4)。所提出的方法结合了“深度轮廓感知”(通过边缘分离大叶片的内部)、“通过分类边缘分割叶片”(将特定内部边缘分离的实例)和“茂密叶片金字塔CNN”(考虑不同尺度的边缘)。但分割输出也使用分水岭和计算优化植被指数的方法(DeepIndices)进行了细化。如图1,由三个上游模块(Initial Image Transforms( IIT)、Input Band Filter(IBF)、Universal Function Approximator (UFA,图5))组成,改善了输入数据,消除了不必要的信息。利用核心网络考虑图像上不同尺度的空间信息,得到4个缩小比例的特征图。最后,在网络的末端,提出了三个下游模块( CoordConv(图6), UFA, Classification(图7))来融合光谱和空间信息。在所有卷积层的末端使用Sigmoid激活函数来学习更复杂的结构,并允许重构函数的非线性。

  图1CNN网络架构与损耗图(虚线图)。多个箭头显示连接作为输入层。

 

  图2 输入数据的例子:从左到右,多光谱相机的前三个波段(RGB),三个边缘类和内部个体类。

 

  图3 位于Montoldre的试验区鸟瞰图。

 

  图4 实验装置:多光谱相机和机器人平台。

 

  图5基于DenseNet的通用函数逼近器。多个箭头显示连接作为输入层。

 

  图6 基于MFP-Unet的核心网综合。红色箭头显示MaxPooling。蓝色箭头表示Conv + UpSampling。黑色箭头显示的是相对比例。在相应的图层上标注了子比例。最后的输出是UpSampling特征的串联。多个箭头显示连接作为输入层。

 

  图7 辅助输出和分类模块。多个箭头显示连接作为输入层。

 

  为了估计分割质量,可以通过预测和地面真相的每个连通组件的像素数的排序直方图来评估未检测的、在/过分割和融合的对象,如下图8所示。所提出的网络产生4类,前两个与“big”叶边界相关联(标记为Edges = Outer + Inner)。第三种是小薄叶,记作Thin;第四种是大叶内,记作Big。用下面的公式5定义分水岭种子,生成种子掩码,如图9。

 

  图8 与每个组件相关联的像素数的排序直方图,蓝线表示每个组件的真实像素数,红线表示每个组件的预测像素数。

 

  图9 通过分水岭和深度指数对CNN输出的细化。公式5中的种子可以在“分水岭种子”图像上看到。

 

  该方法与其他运行叶片分割挑战(由国际植物表型网络提供,如图10,分为四组:A1-A4)的方法进行了比较,并应用于小松植物的数据集,如图11。FGBGDice指标用于评价土壤与植被分割,BestDice指标用于评价实例分割。在小松数据集上,土壤和植被的分割结果比较理想,FGBGDice为0.97。误差很少,如图12所示。对于叶片分割挑战数据集的所有子数据集,FGBGDice的得分略低于Komatsuna数据集,结果如图13-16。此外,还引入了一个新的包含300张豆科植物图像的多光谱数据集(包括茂密的叶片、个体重叠、物种混合和自然光照条件)。地面真实值(例如叶子边界)是由标记的多边形定义的,可以用来训练和评估用于叶子检测或作物/杂草分类的各种算法的性能。在通常的数据集上,所提出的方法的性能与通常的方法所涉及的叶分割挑战相似,但由于提出的损失函数迫使过分割,导致在芥菜发育较早的情况下检测小叶而不是叶子,如图17所示。在新的数据集上,它们的结果明显优于通常的RCNN方法,如图18。剩余的误差主要是相邻区域融合不良和多叶过分割。

 

  图10 来自CVPPP数据集的图像示例(上)和它们对应的地面真相(下)。

 

  图11 上图为来自小松纳数据集(Komatsuna dataset)的RGB图像及其对应的地面真实(bottom)。

 

  图12 训练后小松的视觉比较数据集,输入图像中的红色箭头显示一个绿色的瓶子。

 

  图13 A1的LSC结果的可视化示例。

 

  图14 A2的LSC结果的可视化示例。

 

  图15 A3的LSC结果的可视化示例。

 

  图16 A4的LSC结果的可视化示例。

 

  图17 Airphen数据集的可视化结果示例。

 

  图18 Airphen数据集的Watershed输出与Mask-RCNN的示例。

 

  综上所述,在自己的数据集上,与Komatsuna和LSC数据集相比,所开发的方法的性能损失较小。评估导致这种损失的原因将是有趣的,因为它可能来自于不受控制的采集条件、图像的多光谱特性、叶片之间的大小差异或每幅图像中叶片的重要数量。在所有情况下,这种方法应该导致特征提取的增强,这可能改善作物/杂草分类。这些增加的性能将导致更好地跟踪杂草植物。这些算法在自然采集条件下具有良好的鲁棒性。分割结果的速度足够快,可用于实时作物/杂草识别设置,并可嵌入无人地面车辆(UGV)进行快速和局部干预。应用于从无人机(UAV)获得的图像,可以用于工具辅助的土地管理,以帮助农民的决策。

 

  来源:Vayssade J-A, Jones G, Gée C, Paoli J-N: Pixelwise instance segmentation of leaves in dense foliage. Computers and Electronics in Agriculture 2022, 195:106797.

 

  编辑:王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。