通过机载多模态数据融合和深度学习进行杂草抗性评估:可持续农业的新方法


发布时间:

2023-06-11

来源:

植物表型资讯

作者:

PhenoTrait

抗除草剂杂草是现代农业面临的重大挑战。随着抗除草剂杂草的威胁不断升级,对创新和可持续杂草管理策略的需求日益迫切。无人机和各种传感器已成为植物表型研究中不可缺少的工具。在本研究中,提出了一种综合抗性评分(comprehensive resistance score, CRS)来有效地量化田间杂草的抗性。利用多模态数据融合和深度学习对CRS、3D-CNN和2D-CNN三种不同的融合方法进行回归,提取并融合无人机采集到的多模态信息,包括光谱、结构和纹理信息。

 

研究结果表明:(1)敏感杂草和抗性杂草的光谱响应存在明显差异,连续投影算法(Successive Projections Algorithm, SPA)选择的最佳波段与抗性表达的最佳波段一致;(2)通过多模态数据融合提高了阻力评估的准确性,其中后期深度融合网络的准确率最高,R2为0.777,RMSE为0.547;(3)多模态融合网络模型对不同密度的杂草抗性评估具有较强的适应性,可有效生成杂草抗性图谱。总体而言,本研究证明了使用多模态数据融合和CRS结合深度学习在农业领域实现准确可靠的杂草抗性评估的有效性。

 

图1 实验点。玉米田RGB图、高光谱图和冠层高度模型(canopy height model,CHM)。CHM由数字高程模型(digital elevation model,DEM)减去地面采样距离(ground sampling distance,GSD)为0.41 cm像素¶1的数字地表模型(digital surface model,DSM)得到。

 

 图2 无人机杂草抗性评估方法的工作流程。(a)高光谱无人机、大疆幻影4 RTK、RTK GPS仪器以及用于采集和处理多模态数据的软件;地面数据采用五点采样法进行采样。(b)综合抗性指数的组成部分包括杂草鲜重点云数据回归和杂草形态专家评分。(c)抗性杂草评价模型。(d)杂草抗性图的建立。

 

图3本研究采用多模态深度卷积网络模型架构进行回归综合抗力评分。(a)后期融合网;(b)早期融合网络;(c)后期深度融合网络。

 

图4 杂草新鲜重量和CRS。(a)杂草地上鲜重利用地上体积线性回归。(b)回归鲜重和真鲜重来计算CRS。

 

 图5 抗性杂草的密度、鲜重、形态抗性评分和综合抗性评分的分类能力。(a) 4个抗杂草评价指标曲线下面积;(b)感、抗性杂草组成的形态抗性评分和密度;(c)鲜重密度图;(d)综合抗性评分密度图。

 

 图6 (a)不同电阻和密度下的高光谱反射率;(b)不同电阻和密度的高光谱一阶导数。虚线表示抗性杂草,实线表示易感杂草,颜色表示杂草密度。

 

 图7 冠层光谱特征分析。(a) SPA均方根误差的变化;(b)利用SPA选择的最佳波段。(c)抗杂草评价指标与各植被指数的相关系数。

图片图8 不同输入特征类型和数量下不同融合模型对综合阻力得分的回归性能

 

图9 不同密度处理的抗性评价(a)不同密度处理的感、抗性谱曲线。(b)不同密度处理的预测和实测综合抗性得分小提琴图。

 

 图10 实测和预测CRS的散点图。

 

图片图11 测量和预测杂草抗性图。

 

 

来 源

Fulin Xia, Zhaoxia Lou, Deng Sun, Hailong Li, Longzhe Quan, Weed resistance assessment through airborne multimodal data fusion and deep learning: A novel approach towards sustainable agriculture, International Journal of Applied Earth Observation and Geoinformation, 2023, 120, 103352. https://doi.org/10.1016/j.jag.2023.103352.

 

编辑

王春颖
 
 

扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。