无人机多传感器数据融合和多任务深度学习用于高通量玉米表型分析


发布时间:

2023-03-06

来源:

植物表型资讯

作者:

PhenoTrait

无人机(unmanned aerial vehicles,UAV)、微型和移动传感器以及地理空间和人工智能研究的融合 (a blend of geospatial and artificial intelligence (AI) research,GeoAI)的最新进展是农业创新的主要亮点,旨在提高作物生产力,从而保障脆弱的粮食系统。本研究研究了在玉米高通量表型分析的多任务深度学习框架内无人机多传感器数据融合的多功能性。在生长季节,在美国伊利诺伊州厄巴纳的一个试验性玉米田里收集了一组配备了包括高光谱、热成像和激光雷达在内的小型化传感器的无人机。在季末对8个表型进行了实地测量,以获得地面真实数据,具体为干茎生物量、穗轴生物量、干籽粒产量、收获指数、籽粒氮利用效率(Grain NutE)、籽粒氮含量、全株氮含量和籽粒密度。在经过一系列辐射校准和地质校正后,航空数据采用三种主要方法进行分析处理。首先,扩展版归一化差异谱指数(Normalized difference spectral index,NDSI)作为不同数据模态的简单算术组合,用于探索与玉米表型的相关性。扩展的NDSI分析表明,仅近红外光谱(750 ~ 1000 nm)与所有8个玉米性状都有很强的相关性。其次,从每个数据模态中选择手工制作的植被指数、结构指数和热指数的融合被馈送到经典的机器学习回归器、支持向量机(Support Vector Machine,SVM)和随机森林(Random Forest,RF)。不同表型的预测效果不同,籽粒密度R2 = 0.34,籽粒氮含量和全株氮含量R2 = 0.85。此外,高光谱和LiDAR数据的融合完全超越了单一数据模态的限制,特别是解决了光学遥感中发生的植被饱和效应。第三,定制多任务深度卷积神经网络(Convolutional neural network,CNN),对高光谱、热成像和激光雷达的原始图像数据进行融合,一次对玉米性状进行多项预测。与单任务深度学习和机器学习回归器相比,多任务深度学习在某些特征上的预测表现相当,甚至更好。对深度学习模型进行数据增强,提高了预测精度,有助于缓解遥感研究中样本量小、样本类不平衡的内在局限性。在研究的讨论中,还明确了对植物育种者和作物种植者的理论和实际意义。

 

图1 美国伊利诺斯州厄巴纳的实验地点位置(红点)(a),无人机航空高光谱、激光雷达和田间采集的热成像数据(b),玉米田和样品地块的正交拼接(c),放大并可视化投影的随机样点的无人机高光谱、激光雷达高度、激光雷达强度和热成像数据(d)。

 

图2 激光雷达(R5阶段远程捕获)与地面真实高度(R6阶段测量)之间的散点图,单位为米。

 

图3 研究整体的工作流程。有四个主要阶段:无人机数据收集、遥感数据处理、特征工程和建模。由于样本量小且数据中存在极值,特征工程和建模阶段通过随机变换数据集(bootstrapping)迭代5次。最好的预测表型最终被绘制在空间地图上作为最终的交付物。

 

图4 八种玉米表型在生长季节收集的真实数据的标准化形式。各表型分布值重标后的均值为0,标准差为1。干粒产量、籽粒含氮量、全株含氮量均呈二项数据分布,无极端情况。其他分布看起来正常,但在他们的数据集中包含了极端值。

  

图5 5个随机样地的分割结果,使用k-means聚类从非植被像素(土壤、作物残馀、重阴影等)中提取纯植被像素(兴趣区域,AOIs)。分割是在无杂草样地上进行的,而不是在可能含有杂草的整个田地的正交拼接图像上进行的。对纯植被的高光谱剖面进行了激光雷达高度、强度和热光谱的验证和确认。

 

图6 多模态融合和多任务深度学习方案同时预测所有玉米表型。每个卷积层流在被融合和提取到多任务回归器之前自动处理不同的数据模态。

 

图7 扩展的NDSI相关热图。每个NDSI通过组合和归一化两个269个奇异光谱波段(398 nm - 1000 nm) (a),并融合光谱、LiDAR冠层高度、LiDAR冠层强度和冠层热数据(b)的特征来建立。石灰色交叉符号表示每个玉米性状的最佳R2。在NDSI[534, 868]下,干秸秆生物量的最大R2 = 0.357。在NDSI[715,855]条件下,穗轴生物量获得了最佳的R2 = 0.384。NDSI[715,917]的干粒产量R2 = 0.746最高。收获指数在NDSI[504,700]处R2 = 0.451最高。在NDSI[749, 866]条件下,籽粒氮利用效率(nutE)达到R2 = 0.271。NDSI[751, 769]下籽粒氮含量(Grain N) R2 = 0.796。总植物氮含量(Total Plant N)在NDSI[751, 778]的峰值为R2 = 0.80。在NDSI[751, 789]处,籽粒密度R2 = 0.276。

 

图8 用R2表示的8种玉米表型(8a-h)在不同特征类型和回归量上的预测性能。

 

图9 基于多模态多任务深度学习模型的预测干粮产量(kg/ha)和全氮含量(kg/ha)的空间分布图。

 

图10 用平均不纯度减少法(Mean decrease impurity,MDI)进行特征重要性分析,按降序排列10个最重要的植被指数。

 

图11 数据增强对不同数据模态和融合多任务深度学习预测性能的影响。

 

图12 不同数据类型和融合的Moran’s I值,以及不同回归量的比较。

 

 

来 源
Nguyen, C.; Sagan, V.; Bhadra, S.; Moose, S. UAV Multisensory Data Fusion and Multi-Task Deep Learning for High-Throughput Maize Phenotyping. Sensors 2023, 23, 1827. https://doi.org/10.3390/s23041827
 
 

编辑

王春颖
 
扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。