使用深度学习方法跟踪小松菜生长的表型组学


发布时间:

2022-12-24

来源:

植物表型资讯

作者:

PhenoTrait

植物生长跟踪在植物育种研究、作物管理、理解基因-环境相互作用、胁迫分析和产量预测等方面具有潜在的应用价值。在这项工作中,我们通过确定植物表型来跟踪植物随时间的生长,如图1。我们使用一个公开的小松菜植物数据集(图2-5),其中包括小松那植物随时间推移捕获的时间序列彩色图像序列,以跟踪植物生长。首先,利用基于深度神经网络的多类语义分割算法对图像序列中的植物叶片进行跟踪,如图6;采用DeepLabV3+模型,实现了多类语义分割的平均准确率为97.41%,MIoU为0.9032,Dice系数(dice coefficient)为0.9147,如图7和图8。该模型可以在整个图像序列中跟踪部分郁闭和微小的新出现的叶子。在第二阶段,我们利用第一阶段获得的分割图像确定植物表型,如叶片数量,投影的植物面积,叶片的出苗时间,如图9-14。我们通过评估和比较植物表型值的分割和真实图像来研究算法的性能。生长曲线显示所有图像序列的相似模式,证明了该方法在植物生长分析中的适用性。

 

 图1 植物生长跟踪的多阶段方法

 

图2 小松菜多视角图像数据集的植物叶片数量分布

 

图3 具有编码器-解码器架构的DeepLabV3+模型

 

图4 叶片在训练集、验证集和测试集的四个数据集(a)、(b)、(c)和(d)中的分布

 

图5在增强植物图像集的植物叶片分布

 

图6 样本图像序列的多类语义分割结果。在一个序列中的60个图像中,采样的7个图像间隔为40小时。(a)原始RGB图像序列(b)多类语义分割地真/标签图像(c) DeepLabV3+模型的结果(d) U-Net模型的结果和,(e) SegNet模型的结果(f) Swin-UNet模型的结果

 

图7 在DeepLabV3+模型之间,AvgAbsDiff、Std和RMSE等度量的差异(叶片数)预测了所有15个图像序列的输出和真实值

 

图8 在所有15个图像序列中,对于DeepLabV3+模型预测输出和真实值之间的投影植物(像素数)面积的差异,AvgAbsDiff、Std和RMSE等度量的扩散

 

图9 (a)预测和(b)真实图像序列的叶片出现时间分布。纵轴表示叶片出现事件发生次数,横轴表示出现时间(小时),深轴表示叶片数量。

 

图10 用DeepLabV3+模型预测植物生长的叶数与真实值的比较。(a) DeepLabV3+模型的样本序列叶数曲线和地面真相,(b)样本序列和地面真相的叶数分布,(c) DeepLabV3+模型的样本序列叶数曲线和地面真相的叶数分布,(d)样本序列和地面真相的叶数分布

 

图11 利用DeepLabV3+模型预测的植物生长面积与真实值的比较。(a) DeepLabV3+模型的样本序列投影植物面积曲线和真实值,(b)样本序列投影植物面积曲线和真实值,(c) DeepLabV3+模型投影植物面积曲线和真实值,(d)样本序列投影植物面积曲线和真实值

 

图12 根据DeepLabV3+模型预测产量(蓝色)和真实值(红色)的叶片数量的植物生长模式

 

图13 根据DeepLabV3+模型预测产量的预测植物面积和真实值(红色)的植物生长模式

 

图14 对于(a)和(b)样本图像序列,预测图像和真实叶片出现时间的比较。纵轴表示叶片在水平时间轴上给定时刻的出芽。深度轴提供叶数。字母P的叶数属于预测图像序列,字母Y的叶数属于真实图像序列

 

来 源

Shrikrishna Kolhar, Jayant Jagtap. 2022. Phenomics for Komatsuna plant growth tracking using deep learning approach. Expert Systems with Applications, 119368. https://doi.org/10.1016/j.eswa.2022.119368.

 

编 辑

王春颖
 

扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。