基于深度条件GANs和二值语义分割的植物根表型分析


发布时间:

2023-01-26

来源:

植物表型资讯

作者:

PhenoTrait

本文提出了一种利用条件生成对抗网络(conditional generative adversarial network,cGAN)对拟南芥根系图像(图1和图2)进行二值语义分割(图3)的方法,如图6,用于植物根系表型分析,以解决像素级的类不平衡问题。具体来说,使用Pix2PixHD(一种图像到图像的转换cGAN,图4)来生成逼真和高分辨率的植物根图像,以及类似于原始数据集的注释。此外,使用经过训练的cGAN将原始根数据集的大小增加两倍,以减少像素级的类不平衡,如图7和图8。然后,将原始数据集和生成的数据集都输入SegNet(图5),从语义上将根像素从背景中分割出来(图9)。此外,对分割结果进行后处理(图10),以关闭沿主根和侧根的小而明显的间隙。最后,提出了二值语义分割方法与最先进的根分割方法的比较。结果表明,cGAN可以产生真实和高分辨率的根图像,减少像素级的分类不平衡,并且所提出的分割模型产生了高测试精度(超过99%),低交叉熵误差(小于2%),高骰子分数(Dice Score,接近0.80),以及用于近实时处理的低推断时间。
 

图1 在受控的室内环境中生长的拟南芥植物的捕获图像帧的示例

 

图2 对应于图1的注释示例。

 

图3 在根图像的一个补丁上的语义标签映射的说明性示例。补丁示例被视为一个矩阵,其中索引值为0的对应于后台类,红色值为1的对应于根类。由于根注释的宽度在1到3个像素之间,我们用浅灰色突出显示这里的红色索引,以便根的形式清晰可见。

  

图4 Pix2PixHD架构

 

图5 SegNet architecture

 

图6 本文方法流程

 

图7 cGAN生成的图像的例子。根清晰可见,看起来与原始数据集相似。拟南芥叶片在生成的图像中没有翻译,因为语义标签图没有为它们创建。

 

图8 图7中对应的注释示例。注释很清楚,并包括图7中所示的相同的生成的根体系结构。

 

图9 语义分割的例子来自我们训练过的SegNet模型。主根和侧根结构被成功分割,但沿着它们有小的间隙。

 

图10 对分割结果进行后处理的示例。沿着分段的侧根和主根的间隙用白线封闭。

 
来 源

Thesma, V .;Mohammadpour V elni, J. Plant Root Phenotyping Using Deep Conditional GANs and Binary Semantic

Segmentation. Sensors 2023, 23, 309. https://doi.org/10.3390/s23010309

 

编 辑

王春颖

 

扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。