Eff-UNet++:一种用于植物叶片分割和计数的新架构


发布时间:

2022-03-15

来源:

本站

作者:

PhenoTrait

  叶片分割能够更充分了解叶子的特征,如叶面积、数量、应力和发育阶段。在植物表型中,由于叶子之间有相当多的重叠和不同的环境条件,包括亮度变化、阴影、风造成的模糊等,叶子的分割和计数一直是一个重大挑战。此外,植物本身固有属性也带来很多的挑战,如叶子的纹理、基因型、大小、形状和密度的变化,使叶子的分割任务更加复杂。为了应对这些挑战,本工作提出了一种采用Eff-Unet++(一种基于编码器-解码器的架构)进行叶子分割和计数的新方法。该架构使用EfficientNet-B4作为编码器进行精确的特征提取。重新设计的跳跃连接和编码器中的残差块利用了编码器输出,有助于解决信息退化的问题。此外,重新设计的跳跃连接降低了计算的复杂性,引入侧向输出层将解码器的低级特征聚合到高级特征,从而提高分割的准确性。所提出的方法在三个数据集上验证了性能:KOMATSUNA数据集、多模态植物图像数据集(MSU-PID)和植物表型计算机视觉数据集(CVPPP)。在KOMATSUNA、MSU-PID和CVPPP数据集上,所提出的方法优于现有最先进方法UNet、UNet++、Residual-UNet、InceptionResv2-UNet和DeeplabV3的叶片分割结果,分别获得的分割最好结果的累计评分(BestDice)分别为83.44、71.17、78.27,前景-背景分割情况累计系数分别为97.48、91.35和96.38。此外,在三个数据集上,叶片计数结果的计数差异(DiffFG)分别为0.11、0.03、0.12以及计数绝对差异(AbsDiffFG)分别为0.21、0.38和1.27。

 

  图1 CVPPP数据集的挑战:(a)重叠,(b)纹理变化,(c)阴影以及(d)亮度变化

 

  图2 来自三个数据集的图像示例:(a)CVPPP、(b)KOMATSUNA和(c)MSU-PID

 

  图3 来自CVPPP数据集的拟南芥和烟草植物在不同生长阶段的A1、A2、A3和A4子集的样本图像。

 

  图4 所有图像的分布。(a) 源自A1-A4的原始图像 (b) 带有平衡类的增强图像。

 

  图5 第一和第二行为空间增强,第三和第四行为像素增强,(a)原始图像,(b)随机裁剪,(c)旋转,(d)垂直翻转,(e)旋转、移动和缩放,(f)CLAHE,(g)高斯模糊,(h)随机亮度,(i)HSV颜色。

 

  图6 叶子分割的整体架构,其中,EfficieNet B4是编码器,修改后的UNet++是解码器。

 

  图7 提出的Eff-UNet++架构,Efficientnet-B4作为编码器,带有改进的 U-Net++ 解码器和侧向输出层。

 

  图8 重新设计了修改后的 U-Net++ 的跳跃连接。

 

  图9 Eff-UNet++架构中的残差块

 

  图10 在KOMATSUNA数据集上用各种架构进行叶子分割的定性结果比较,列表示植物的不同生长阶段。(红框表示显示细部特征识别的差异)

 

  图11 在MSU-PID数据集上用各种架构进行叶子分割的定性结果比较,列表示植物的不同生长阶段。(红框表示显示细部特征识别的差异)

 

  图12 使用各种网络在CVPPP数据集上进行叶子分割的定性结果。(a) 原始图像,(b) 提出的Eff-Unet++, (c) ResUNet和(d) DeepLabV3。

 

  图13 所提方法在识别精细特征方面的效果(a)RGB原始图像,(b)地面真实图像,(c)标准UNet输出和(d)提议的Eff-UNet++结果。(I)来自KOMATSUNA数据集的叶子重叠情况的结果,(II)来自MSU-PID数据集的叶子叶柄的结果

 

  来源:Bhagat S, Kokare M, Haswani V, et al. Eff-UNet++: A novel architecture for plant leaf segmentation and counting[J]. Ecological Informatics, 2022: 101583.

  https://doi.org/10.1016/j.ecoinf.2022.101583

 

  编辑:小王博士在努力

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。