结合域适应和三维植物模型模拟的自监督植物表型:在小麦苗期叶片计数中的应用


发布时间:

2023-04-21

来源:

植物表型资讯

作者:

PhenoTrait

给定时间内叶片的数量对植物生长发育的特征很重要。在这项工作中,开发了一种通过检测RGB图像中的叶尖来计算叶片数量的高通量方法。数字植物表型平台用于模拟小麦幼苗阶段的大量不同的RGB图像和相应的叶尖标签数据集(15万张图像,超过200万个标签)。然后在训练深度学习模型之前,使用域适应方法提高图像的真实感。结果证明了在不同的测试数据集上评估所提出方法的效率,收集了来自五个国家的测量数据,在不同的环境、生长阶段和不同的相机(450张图像,超过2162个标签)的光照条件下获得的测量结果。在深度学习模型与领域自适应技术的6种组合中,采用CycleGAN自适应技术的Faster-RCNN模型表现最佳(R2 = 0.94, RMSE = 8.7)。补充研究表明,在应用域自适应技术之前,模拟具有足够真实感的图像(背景、叶子纹理、光照条件)是至关重要的。此外,叶尖识别的空间分辨率应优于0.6 mm/像素。该方法声称是自监督的,因为模型训练不需要手动标记。这里开发的自我监督表型方法为解决广泛的植物表型问题提供了巨大的潜力。

 

经过训练的网络可以在https://github.com/YinglunLi/Wheat-leaf-tip-detection上找到。

 

图1 利用数字植物表型平台(D3P)模拟田间小麦图像。从左到右,通过D3P在模拟管道中占到越来越多的因素(上一列),模拟图像会变得越来越逼真(下一列)。

 

图2 利用CycleGAN将模拟小麦图像(Sim数据集)转换为Sim2Real数据集。

 

图3 使用t-SNE技术在给定数据集上训练的模型学习的特征分布。

 

图4 模型的性能作为开发阶段的函数。当没有应用域自适应时,显示的结果与用真实数据集训练的模型相对应。

 

图5 不同域适应策略的可视化结果和Sim2Real数据集训练模式的性能。 

 

图6 不同空间分辨率对估计精度的影响(左)。右侧为不同空间分辨率的模拟图像。

 
 
来 源
Li, L., et al. (2023). Self-supervised plant phenotyping by combining domain adaptation with 3D plant model simulations: application to wheat leaf counting at seedling stage. Plant Phenomics. https://doi.org/10.34133/plantphenomics.0041
 

编辑

王春颖
 

扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。