结合多模态深度学习和动态建模的大豆生长时序田间表型分析


发布时间:

2024-05-18

来源:

作者:

大豆冠层建立速度在很大程度上决定了光周期敏感性,进而影响产量潜力。然而,在大规模田间育种试验中评估大豆冠层发育速度既费力又费时。基于无人机(unmanned aerial vehicle,UAV)系统的高通量表型方法可用于监测和定量描述不同基因型大豆冠层的发育。在本研究中,利用无人机收集了田间大豆种群的高分辨率和时序原始数据。将RGB(红、绿、蓝)和红外图像作为输入,构建多模态图像分割模型——RGB &红外特征融合分割网络(RIFSeg-Net)。随后,利用片段任意模型从RIFSegNet获得的分割结果中提取完整的单个叶子。这些叶片纵横比有助于将大豆群体准确地划分为2个不同的品种:椭圆形叶型品种和披针形叶型品种。最后,利用动态建模方法鉴定了5个与冠层发育速率相关的表型性状,这些性状在大豆分类品种间存在较大差异。结果表明,所开发的多模态图像分割模型RIFSeg-Net在无人机图像中提取大豆冠层覆盖物的效果优于传统的深度学习图像分割网络(precision = 0.94, recall = 0.93, F1-score = 0.93)。该方法在种质资源鉴定领域具有较高的实用价值。这种方法可以为进一步的基因型分析和靶基因的选择提供实用的工具。

 

图1  用于数据收集的无人机和传感器(A)和分组位置试验(黄框)(B)。

 

图2  方法流程图。利用RIFSeg-Net对农田无人机影像中的大豆植物冠层进行分割和掩码。利用分割任何模型(segment anything model,SAM)提取冠层单叶,根据长径比对不同基因型大豆进行分类。最后,对不同亚群大豆冠层的建立率进行了评价。

 

图3  RIFSeg-Net由3个模块组成:特征提取模块、特征融合模块和特征解析模块。特征提取模块由2个编码器组成,分别对RGB和红外图像进行特征提取;特征融合模块由2个Upception块组成,用于保证RGB图像和红外图像提取特征的通道数相同,便于融合;特征解析模块由解码器组成,解码器用于恢复特征映射的分辨率。编码器和解码器区域是对称设计的。在RIFSeg-Net结束时,使用sigmoid函数获得分割结果的概率图。

 

图4  Upception块的结构。在块A中,有3个卷积层来维持特征通道的分辨率和数量。输入层和卷积层通过元素求和输出特征映射。

 

图5  典型椭圆形叶型(OLT)和披针形叶型(LLT)大豆品种图像处理的可视化。原始图像(A)、RIFSeg-Net分割结果(B)、被RIFSeg-Net分割结果掩膜后的图像(C)以及使用SAM分割的单叶图像处理结果(D)。

 

图6  不同品种大豆冠层发育动态建模结果。(A) OLT组与LLT组的比较。(B) 2个LLT亚型的比较。(C)两类OLT的比较。

 

图7  不同类群间大豆冠层盖度相关表型性状变异的比较。不同的箱形代表不同的子类。

 

来 源

Yu H, Weng L, Wu S, He J, Yuan Y, Wang J, Xu X, Feng X. TimeSeries Field Phenotyping of Soybean Growth Analysis by Combining Multimodal Deep Learning and Dynamic Modeling. Plant Phenomics. 2024, 6: Article 0158. 

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。