基于多光谱无人机图像和SRGAN的白菜单株快速表型测量


发布时间:

2022-12-28

来源:

植物表型资讯

作者:

PhenoTrait

利用配备成像设备的无人机(unmanned aerial vehicle,UAV)可以准确、快速地评价作物的表型参数。利用低成本无人机系统采集白菜种质资源(图1),用于估算白菜的宽度、长度和相对叶绿素含量(SPAD( soil-plant analysis and development )值是一种快速、方便、非破坏性的诊断植物叶片相对叶绿素或氮含量的仪器测量的值)。采用超分辨率生成对抗网络(super-resolution generative adversarial network,SRGAN)提高原始图像的分辨率(图6),采用语义分割网络(Unity Networking, UNet,图2)对图像进行处理,对每棵大白菜进行分割。最后,根据单个白菜的像素值和地面采样距离,计算出实际的长度和宽度,如图3,以及对去除背景后的单颗大白菜RGB图像进行SPAD值分析。使用ArcMap对白菜进行标注,如图4。G和D网络的训练Loss如图5。通过对各种模型的比较,采用SRGAN增强可见图像的模型表现最好,如图7和8。使用验证集和UNet模型,分割精度为94.43%。对于大白菜尺寸,该模型较好地估计了长度而不是宽度,如图9和11,采用SRGAN增强图像的可见光波段模型R2 > 0.84。对于SPAD预测,SRGAN图像增强后模型的R2大于0.78。3种语义分割网络模型的均方根误差均小于2.18。结果表明,利用无人机成像预测大白菜的宽度、长度和SPAD值与现场人工测量结果相当。总的来说,这项研究不仅表明无人机对获取大白菜的定量表型数据是有用的,而且回归模型可以提供可靠的SPAD预测。该方法为大白菜育种性状的研究提供了可靠、方便的表型分析工具。

 

图1 研究地点地图。红框里的大白菜是商业品种。以其他白菜为主要研究对象。

  

图2 深度学习分割模型的框架。在本实验中,输入可以是多光谱图像、RGB图像或增强分辨率的RGB图像。输出为预测标签,用于对大白菜图像进行分割。在图中,conv表示卷积层,up-conv表示上采样层,然后卷积层,maxpooling表示最大池化层,copy表示卷积层的副本,merge表示2-function层的合并,dropout表示退出层。

  

图3 大白菜排列示意图及3个表型参数的预测。通过像素数估计植物的长度和宽度,并根据灰度值预测SPAD值。

  

图4 在ArcMap(地图制作,空间分析,空间数据建库软件)中生成标签的步骤。(A)原始图像。(B)给大白菜一个个贴标签。(C)标签图。

 

图5 G网络loss和D网络loss 

 

图6 SRGAN分辨率增强效果。两个单独的中国卷心菜显示为示例;左边是实际图像,右边是经过SRGAN分辨率增强的图像。

 

图7 3个模型的精度和损失为(A)精度和(B)损失。对于验证集,采用SRGAN增强RGB图像的模型表现最佳,精度最高,损失最小。

 

图8 验证集的预测性能。(A)使用所有波段的结果。(B)使用RGB波段的结果。(C)使用RGB波段与SRGAN分辨率增强的结果。

 

图9 3种UNet模型的拟合性能。(A)多光谱图像模型的实际宽度与预测宽度。(B)使用RGB图像且没有分辨率增强的模型的实际宽度与预测宽度。(C) RGB图像和分辨率增强模型的实际宽度与预测宽度。(D)多光谱图像模型的实际长度与预测长度。(E)使用RGB图像且没有分辨率增强的模型的实际长度与预测长度。(F) RGB图像和分辨率增强后模型的实际长度与预测长度。

 

图10  3种模型的实际值与预测值的比较。红色三角形代表实际值,聚类直方图代表3个模型的预测值。

 

图11 SPAD预测的性能。(A)基于G通道的多光谱图像模型的实际与预测SPAD值。(B)基于G通道的RGB模型的实际与预测SPAD值。(C)基于G通道的分辨率增强的RGB模型的实际与预测SPAD值。(D)实际的vs基于3个RGB通道的多光谱图像模型的SPAD值预测。(E)基于3个RGB通道的RGB模型的实际与预测SPAD值。(F)基于3个RGB通道的分辨率增强的RGB模型的实际与预测SPAD值。

 

来 源

JUN ZHANG, XINXIN WANG, JINGYAN LIU, et al. Multispectral Drone Imagery and SRGAN for Rapid Phenotypic Mapping of Individual Chinese Cabbage Plants. PLANT PHENOMICS (2022). https://doi.org/10.34133/plantphenomics.0007

 

编 辑

王春颖

 

扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。